Observability & AI benchmark: meetup congiunto con PyData Roma Capitale | RomaJS
Dettagli
Meetup congiunto con PyData Roma Capitale, con un doppio talk!
Dati, metriche, benchmark: strumenti per valutare qualcosa. Ma sappiamo cosa stanno davvero misurando? Due talk, due prospettive: osservabilità del software e benchmark dell'AI.
***
Customers don't complain. Your metrics do.
Speaker: Matteo Manchi
Richieste lente, code che crescono, checkout abbandonati: il software può deludere gli utenti senza lanciare un errore e senza che nessuno si lamenti. Logs, metrics e traces sono i tre pilastri dell'observability. Vedremo come usarli per capire cosa sta succedendo davvero nel sistema quando nessuno lancia un errore, e quali sono le difficoltà pratiche del monitoraggio: farsi un quadro chiaro, correlare i segnali, trovare il problema.
Beyond Benchmarks: What ARC Teaches Us About Measuring Intelligence
Speaker: Egon Ferri
La maggior parte dei benchmark di AI misura compiti facili da raccogliere, valutare e scalare: ma misurano davvero l'intelligenza? Partendo dal paper di François Chollet del 2019, "On the Measure of Intelligence", ripercorreremo una domanda vecchia di un secolo con l'occhio di chi fa ingegneria: cosa dovrebbe significare, per una macchina, imparare in modo efficiente, generalizzare da pochi esempi e risolvere problemi davvero nuovi? Dalle idee storiche sulla misura dell'intelligenza arriveremo ad ARC (Abstraction and Reasoning Corpus), un benchmark costruito su ragionamento astratto, conoscenze a priori minime e compiti facili per gli umani ma difficili per gli attuali sistemi di AI. Non è un talk sull'hype dell'AGI, ma su come il modo in cui misuriamo l'intelligenza condiziona la ricerca, le aspettative di prodotto e la nostra idea di progresso. Uscirete sapendo leggere un benchmark con più occhio critico.
***
Programma
18:30 - 19:00 | Accoglienza e check-in
19:00 - 19:40 | Beyond Benchmarks: What ARC Teaches Us About Measuring Intelligence (Egon Ferri)
19:40 - 20:20 | Customers don't complain. Your metrics do. (Matteo Manchi)
20:20 - 21:00 | Q&A, networking e drink
***
L'evento è organizzato insieme a PyData Roma Capitale, che lo pubblica anche sul proprio gruppo: https://www.meetup.com/pydata-roma-capitale/events/316894717/
***
Questo evento sarà ospitato negli uffici di Sourcesense, in Via del Poggio Laurentino, 9.