Testing de aplicaciones de GenAI en Go

Empezamos fuerte el año escolar. En esta ocasión Manuel de la Peña nos hablará de un aspecto muy importante del tema que centra la mayoría de las noticias tecnológicas: las aplicaciones de inteligencia artificial generativa y como verificar de forma automática su funcionamiento.

La evolución de las aplicaciones de GenAI traen nuevos nuevos retos a la hora de seleccionar los métodos de testing que pueden evaluar de manera efectiva la complejidad de las respuestas generadas por los LLMs.
La propuesta para utilizar un LLM como un Agente Validador representa un enfoque prometedor, abriendo camino a una nueva era de desarrollo y evaluación de software en el campo de la inteligencia artificial.
Esta propuesta conlleva definir un criterio de evaluación detallado, usando un LLM como un "Evaluador" para determinar si las respuestas cumplen los requisitos especificados. Este enfoque puede ser aplicado para validar respuestas a preguntas específicas, basándose tanto en el conocimiento general del modelo como con información especializada. Al incorporar instrucciones detalladas y ejemplos, un Evaluador puede proporcionar evaluaciones precisas y justificadas, ofreciendo claridad sobre el por qué una respuesta sea considerada correcta o incorrecta.
En esta sesión mostraremos langchain para interactuar con los modelos, Testcontainers para crear las dependencias necesarias para utilizar RAG, y Docker Model Runner para correr los modelos.