TALK - Gigas vs Tokens. Ddesplegando un LLM en tu propia Infra

¡Estrenamos imagen de la nueva comunidad! Gracias por seguir por aquí, ojalá Murcia Tech nos dé muchos buenos momentos, ¡cómo este meetup!

Estrena temporada Cristian Gutiérrez, SRE / AI Platform Engineer en Helmcode, y nos trae una charla sobre alojamiento de modelos en Infra propia, entendiendo las diferentes propiedades. Esta charla nos permitirá dar un paso en la dirección de usar IA manteniendo absoluta privacidad y siendo independencia de los cambios de condiciones y cuantizado de los modelos servidos por los grandes proveedores.

Sobre la charla:

Servir un modelo open-weight parece fácil hasta que entra más de un usuario: el modelo cabía, lo que no cabía era el contexto de cada usuario

En esta charla vemos que pasa dentro de la GPU al servir un LLM y que ocupa de verdad cada GB. Los pesos son la parte fácil y la única que casi todo el mundo tiene en cuenta, el problema es todo lo demás.

Veremos qué se pierde realmente al cuantizar los pesos a 4 bits, por qué el tamaño de la KV-caché depende más de la arquitectura del modelo que de su número de parámetros, y cómo el batching decide si tu GPU funciona para dos usuarios o para veinte.

Aunque no hay fórmula exacta para calcular cuantos usuarios va a aguantar tu GPU, te llevarás una forma de acercarte lo bastante al número real.

¡No te lo pienses mucho y anímate al comienzo de temporada!

Datos del evento:

💬 TALK - Gigas vs Tokens. Desplegando un LLM en tu propia Infra.
⭐ Cristian Gutiérrez López
📍 CEEIM. Campus de Espinardo.
🕑 22 de octubre / 19.00 comienzo de la charla
🍋 ¡Tras la charla un ratito de Networking!
🍽️ Cena por la zona de Myrtea
------
⬇️ Conoce un poco más Murcia Tech ⬇️
TODAS NUESTRAS REDES

¡Apúntate y entérate de todos los eventos que se organicen!