Evaluar grandes modelos de lenguaje (LLM) es un proceso que implica tanto un alto costo científico como económico. A medida que la industria avanza hacia modelos cada vez más grandes, contar con una metodología sólida para evaluarlos y compararlos se vuelve fundamental, no solo para obtener buenas puntuaciones en benchmarks, sino para tomar decisiones informadas durante el desarrollo. Investigadores del Allen Institute for Artificial Intelligence (Ai2) han presentado un marco de trabajo basado en dos métricas clave: señal y ruido, y su relación, conocida como la proporción señal-ruido (SNR). Este enfoque ayuda a reducir la incertidumbre y a mejorar la confiabilidad en la evaluación de modelos de lenguaje, respaldado por pruebas en cientos de modelos y diversos benchmarks.
¿Qué es la señal y el ruido en la evaluación de LLM?
La señal representa la capacidad de un benchmark para distinguir claramente entre modelos mejores y peores. Esto significa que los puntajes obtenidos por distintos modelos en una tarea dada tienen una distribución amplia; cuanto mayor es esta dispersión, más fácil es ordenar los modelos y comparar su desempeño de forma significativa. Por el contrario, un benchmark con baja señal presenta puntajes muy similares entre modelos, lo que dificulta saber cuál es realmente superior.
El ruido, en cambio, se refiere a la variabilidad aleatoria en los puntajes de un benchmark causada por factores como la inicialización aleatoria, el orden de los datos durante el entrenamiento o las diferencias entre puntos de control dentro de una misma corrida de entrenamiento. Un alto nivel de ruido hace que el benchmark sea menos confiable, ya que repetir el experimento puede producir resultados inconsistentes aún con el mismo modelo y las mismas condiciones.
La proporción señal-ruido (SNR) es la relación entre la señal y el ruido y es el principal indicador de la utilidad de un benchmark para el desarrollo de modelos. Aquellos benchmarks con una SNR alta ofrecen evaluaciones más fiables y permiten tomar decisiones acertadas, incluso en escenarios a pequeña escala que luego se replican en modelos más grandes.
¿Por qué la SNR es importante para el desarrollo de modelos?
En la práctica, durante el desarrollo de LLM se utilizan benchmarks para tomar dos tipos de decisiones críticas:
- Precisión en la selección: entrenar varios modelos pequeños con distintas configuraciones y elegir el mejor para escalarlo. - Predicción de rendimiento a gran escala: ajustar una ley de escalado basada en modelos pequeños para anticipar cómo funcionará un modelo mucho más grande.
Las investigaciones muestran que los benchmarks con alta SNR son mucho más confiables para estas situaciones. Por ejemplo, se encontró una fuerte correlación entre la SNR y la precisión en decisiones de selección de modelos (R^2 = 0.626), así como una correlación relevante con los errores en la predicción de las leyes de escalado (R^2 = 0.426). Cuando la señal es baja o el ruido es alto, tomar decisiones basadas en pruebas a pequeña escala implica un mayor riesgo, ya que los resultados no suelen mantenerse cuando se escala el modelo.
¿Cómo se miden la señal y el ruido?
De forma práctica, la señal se calcula como la máxima diferencia en puntajes entre cualquier par de modelos, normalizada por el puntaje promedio, considerando un conjunto de modelos entrenados con recursos similares. Por su parte, el ruido se estima como la desviación estándar relativa de los puntajes entre los últimos puntos de control de un mismo entrenamiento. La relación señal-ruido (SNR) se obtiene dividiendo la señal por el ruido.
Es importante destacar que la variabilidad entre puntos de control correlaciona muy bien con otras fuentes de ruido, como la inicialización y el orden de los datos, por lo que esta medida sirve como un proxy práctico para la incertidumbre general en el entrenamiento.
¿Cómo mejorar los benchmarks para evaluar mejor?
El equipo de Ai2 propone varias estrategias que aumentan la SNR y fortalecen la toma de decisiones:
1. Filtrar subtareas según su SNR: En benchmarks multi-tarea (como MMLU o AutoBencher) no siempre todas las subtareas aportan valor. Seleccionar solo aquellas con alta SNR mejora significativamente la precisión de las evaluaciones. Por ejemplo, usar las 16 mejores subtareas de MMLU en lugar de las 57 disponibles aumentó la SNR y la exactitud de las predicciones. Además, esta selección ayuda a eliminar subtareas con errores de etiquetado o baja calidad de datos.
2. Promediar los puntajes de varios puntos de control: En vez de tomar solo el resultado final del entrenamiento, promediar los puntajes de varios puntos finales o usar promedios móviles durante el entrenamiento reduce el impacto del ruido momentáneo. Esta práctica incrementa la precisión en la selección y disminuye los errores en la predicción de las leyes de escalado. Por ejemplo, promediar resultados mejoró la precisión en un 2.4% y redujo los errores en la mayoría de benchmarks analizados.
3. Usar métricas continuas como bits por byte (BPB): Las métricas de clasificación como la exactitud no capturan bien la riqueza de las salidas continuas de los LLM, especialmente en tareas generativas. Medir el desempeño con BPB, relacionado con la perplexidad, resulta en una SNR mucho mayor. Por ejemplo, en tareas de matemáticas y código, el cambio de exactitud a BPB aumentó la SNR de GSM8K de 1.2 a 7.0 y de MBPP de 2.0 a 41.8, mejorando notablemente la precisión en la evaluación.
Conclusiones clave
- Al elegir benchmarks para evaluar LLM, prioriza aquellos con alta proporción señal-ruido para que las decisiones tomadas a pequeña escala tengan validez en producción. - No siempre más datos o subtareas garantizan mejores evaluaciones; seleccionar tareas según su SNR y usar métricas continuas mejora la calidad. - Durante el desarrollo, promediar resultados de múltiples puntos de control ayuda a reducir el ruido y aumentar la confiabilidad. - Preferir métricas continuas frente a métricas de clasificación aporta mayor estabilidad y precisión en tareas complejas o generativas.
En resumen, el marco de señal y ruido del Ai2 ofrece una nueva forma de abordar la evaluación de modelos de lenguaje, centrada en propiedades estadísticas que reducen riesgos y permiten anticipar el comportamiento a escala. Además, Ai2 ha publicado un conjunto de datos con 900,000 evaluaciones sobre 465 modelos de código abierto, brindando herramientas robustas para avanzar en la ciencia de la evaluación de LLM.
