M12 - RAG Night

L'evento è gratuito: per partecipare, è necessario iscriversi qui.

Dodicesimo meetup della nostra community, questa volta dedicato a Retrieval-Augmented Generation, la tecnica più utilizzata quando dobbiamo chiedere ad un LLM di produrre testo che consideri anche informazioni non disponibili al momento della data di cut-off del training.
Cosa rende ChatGPT (l'app)... ChatGPT? Perché, ad esempio, a parità di modello ChatGPT spesso risponde diversamente da Copilot?

18:30 Apertura check-in
19:00 Talk "Opening"
19:15 Talk "ChatGPT under the hood"
19:45 Talk "Dal feedback umano ai dati: RAG evaluation senza sorprese"
20:15 Aperitivo e networking

ChatGPT under the hood
Cosa rende ChatGPT (l'app)... ChatGPT? Perché, ad esempio, a parità di modello ChatGPT spesso risponde diversamente da Copilot?
Diamo una occhiata sotto al cofano, e capiamo come e perchè il modello è solo una parte della soluzione

Dal feedback umano ai dati: RAG evaluation senza sorprese
Valutare i sistemi RAG è complesso: il feedback umano è soggettivo, lento e non standardizzato, rendendo difficile misurare l’efficacia dei sistemi in scenari diversi. Aletheia nasce per risolvere questo problema. È un pacchetto Python che rende la valutazione dei sistemi RAG semplice, veloce e riproducibile. Grazie a metriche standardizzate, fornisce misure quantitative e oggettive delle performance.
L’intervento mostrerà come Aletheia analizzi sia la qualità dei contenuti recuperati (i chunk) sia quella delle risposte generate dai LLM, offrendo una visione completa e integrata del sistema. I team potranno così diagnosticare problemi, ottimizzare flussi di retrieval e generation e prendere decisioni basate su dati concreti.