O modelo certo para a tarefa certa: estratégias de roteamento para LLMs

Bluetalks são encontros vibrantes com discussões aprofundadas sobre tecnologia e inovação, apresentando os mais recentes projetos de pesquisa da IBM Research Brasil.

Com o crescente número de opções de Modelos de Linguagem de Grande Escala (LLMs) de código aberto, é comum utilizarmos dados de benchmark para compará-los. Essas comparações são fundamentais para escolher o melhor modelo para cada caso de uso, analisando qual apresenta melhor desempenho e precisão, auxiliando no processo de tomada de decisões. Embora alguns grandes modelos se destaquem em muitos benchmarks, nenhum modelo, isoladamente, atinge a melhor precisão em todos os tipos de tarefas e aplicações.

Nesta apresentação, vamos explorar um estudo [1] que aborda o desafio de selecionar o melhor LLM entre um conjunto de modelos para novas tarefas. O estudo utiliza conjuntos de dados de benchmarks para desenvolver um novo modelo de "roteador" que ajuda na seleção do LLM mais adequado. Além disso, apresentaremos a plataforma de coleta de dados para treinamento do CARROT [2], um roteador que pode selecionar modelos com base em qualquer compensação desejada com base em estimativas de custo e desempenho dos modelos.

[1] Large Language Model Routing with Benchmark Datasets [https://arxiv.org/pdf/2309.15789 ](https://arxiv.org/pdf/2309.15789)
[2] CARROT: A Cost Aware Rate Optimal Router https://arxiv.org/abs/2502.03261