Wed, Apr 15 · 7:00 PM CEST
Los modelos de lenguaje actuales muestran una degradación severa de calidad a medida que crece el tamaño y la complejidad de la información de entrada, un fenómeno conocido como context rot. Este límite no se debe únicamente al tamaño de la ventana de contexto, sino a una restricción más profunda: los LLMs están obligados a manipular cadenas largas exclusivamente dentro de su espacio de tokens, donde la atención y la memoria no escalan.
En esta charla presento Recursive Language Models (RLMs), un paradigma general de inferencia propuesto por MIT CSAIL que replantea el problema del contexto como un problema de sistemas. En lugar de introducir el prompt completo en la ventana del modelo, los RLMs lo colocan en un entorno externo persistente, accesible mediante un REPL, y permiten que el propio LLM genere código para inspeccionar, filtrar, descomponer y procesar ese contexto mediante llamadas recursivas a otros modelos. En benchmarks como CodeQA y BrowseComp+, los RLMs alcanzan hasta un 91 % de precisión donde los enfoques tradicionales fallan por completo.
Los RLMs escalan el contexto efectivo en órdenes de magnitud sin depender de arquitecturas de contexto largo, y muestran cómo el entrenamiento de modelos nativamente recursivos (como RLM-Qwen3-8B) puede convertirse en un nuevo eje de escala. A lo largo de la charla mostraré cómo funcionan los RLMs, por qué superan a enfoques clásicos como la truncación o la resumización, y cómo implementarlos en la práctica a través de rlm-runtime, un runtime open-source que materializa el paradigma RLM y reproduce los resultados clave del paper.
Agenda
---
Speaker
Antonio Peña Batista - Caixabank Tech (Technical Lead)
I'm a Computer Engineering graduate with over 9 years of experience in software development. I specialize in technologies such as React, Django, and Python, and I've played a pivotal role in crafting innovative solutions for various industries. My passion for coding is complemented by a strong background in designing and implementing design systems, allowing me to create intuitive and visually…
Hosted By
Laura Morillo-Velarde, GDG & WTM Organizer
Ruben Aguilera, GDG Organizer
Jesus Cuesta, GDG Organizer
Jesús Cuesta es Senior Specialist Lead / Senior Manager en Deloitte, donde lidera proyectos de arquitectura web, temas de innovación y es manager de recruiting. Además colabora con diferentes comunidades tecnológicas como administrador y/o mentor, a destacar GDG Madrid, Adalab, Codemotion Ambassador , DASA Ambassador, Openexpo Europe Ambassador, etc.
Actualmente está cursando un Doctorado en IA en la Universidad Rey Juan Carlos, además de tener tener diferentes másters en IA e Innovación, en soluciones web y formación universitaria especializada en Recursos Humanos, además de en tecnología.
Jaime Conde Segovia, GDG Organizer
Xavier Portilla Edo, GDG Organizer
Xavier born in Valencia, but currently living in Madrid. He has over 7 years of experience. He has a focus on Java, DevOps, Q&A, microservices, and voice-based applications. He is the organizer of DevopsDays Madrid and organizer of the Alexa community in Spanish and GDG Madrid. In his spare time, he enjoys music, beer, and friends. Author of the book "The Revolution of Alexa".
Maritere Nieto Galán, WTM Organizer
Maria Teresa (Maritere) es ingeniera informática y actualmente trabaja en Telefónica como Senior Product Manager. Desde 2017, ha combinado su trabajo principal con la enseñanza de en universidades españolas. Es embajadora de Women Techmakers, una iniciativa dirigida por Google que proporciona visibilidad, comunidad y recursos para las mujeres en tecnología y co-organiza la comunidad de WTM Madrid. En 2022, fue reconocida por Mujer Hoy en la categoría Next Generation, como una mujer líder en tecnología.
Rei Aguilera, Business Development
---
Partner
Sirviendo Codigo (https://sirviendocodigo.com/)
---
Complete your event RSVP here: https://gdg.community.dev/events/details/google-gdg-madrid-presents-cuando-el-contexto-se-convierte-en-un-problema-de-sistemas-recursive-lm/.
