AutoDS: Bayesian Surprise-Driven Engine for Autonomous Scientific Discovery

El Allen Institute for Artificial Intelligence (AI2) ha presentado AutoDS (Autonomous Discovery via Surprisal), un innovador sistema prototipo diseñado para la exploración científica autónoma sin límites predeterminados. A diferencia de los asistentes de investigación tradicionales que dependen de objetivos o preguntas definidas por humanos, AutoDS genera, prueba y ajusta hipótesis de manera independiente, guiado por la búsqueda del “Bayesian surprise” o sorpresa bayesiana, un indicador riguroso que mide descubrimientos genuinos, incluso más allá de lo que los humanos podrían estar buscando específicamente. De la Investigación Guiada por Objetivos a la Exploración Abierta Mientras que los métodos convencionales de descubrimiento científico autónomo se centran en responder preguntas formuladas de antemano —es decir, generar hipótesis relacionadas con un problema específico y luego validarlas experimentalmente— AutoDS rompe con este esquema. Inspirado en la curiosidad natural de los científicos humanos, trabaja de forma abierta y flexible: decide qué preguntas hacer, qué hipótesis investigar y cómo avanzar con base en los resultados previos, sin un objetivo fijo definido desde el inicio. El descubrimiento abierto plantea grandes retos, ya que es necesario moverse a través de un espacio enorme de hipótesis y decidir cuáles merecen realmente la exploración. Para esto, AutoDS formaliza la idea de “surprisal” o sorpresa, que mide el cambio en la creencia sobre una hipótesis antes y después de obtener evidencia empírica. Cuantificando la Sorpresa Bayesiana con Modelos de Lenguaje Avanzados El motor central de AutoDS es un novedoso modelo para calcular la sorpresa bayesiana. Para cada hipótesis generada, modelos de lenguaje avanzados como GPT-4o actúan como observadores probabilísticos, evaluando su “creencia” en la hipótesis —en forma de probabilidades— tanto antes como después de realizar la prueba experimental. Estas evaluaciones se representan mediante distribuciones Beta basadas en múltiples juicios extraídos del modelo. Para identificar descubrimientos significativos, AutoDS calcula la divergencia de Kullback-Leibler (KL) entre la distribución posterior (después de la evidencia) y la prior (antes de la evidencia), un método formal para medir la sorpresa bayesiana. Solo los cambios de creencia que superan un umbral establecido, por ejemplo, alterar la probabilidad de “probablemente verdadera” a “probablemente falsa”, se consideran auténticamente sorprendentes, lo que evita centrarse en cambios triviales o poca relevancia. Búsqueda Eficiente de Hipótesis con Monte Carlo Tree Search Dado el vasto espacio de hipótesis potenciales, es fundamental explorar de forma inteligente, no simplemente muestreando al azar. Para ello, AutoDS emplea Monte Carlo Tree Search (MCTS) con un método de ampliación progresiva que dirige la búsqueda hacia descubrimientos más prometedores. En esta estructura, cada nodo representa una hipótesis, y las ramas corresponden a nuevas hipótesis basadas en hallazgos anteriores, equilibrando la exploración de nuevas ideas con el seguimiento de resultados interesantes. A diferencia de métodos voraces o de búsqueda por heurística, que pueden sobreespecializarse o descartar prematuramente opciones valiosas, MCTS mantiene una eficiencia alta con recursos limitados. Cuando se probó en 21 conjuntos de datos de campos tan diversos como la biología, economía y ciencias del comportamiento, AutoDS superó en un 5 a 29% a otros métodos en cantidad de hipótesis realmente sorprendentes detectadas por el modelo de lenguaje. Una Arquitectura Modular con Múltiples Agentes de Modelo de Lenguaje AutoDS coordina una serie de agentes especializados, cada uno encargado de una tarea dentro del flujo científico autónomo: - Generación de hipótesis - Diseño experimental - Programación y ejecución - Análisis y revisión de resultados Para evitar repeticiones, utiliza un sistema de agrupamiento jerárquico que combina representaciones de texto basadas en modelos de lenguaje con comprobaciones semánticas par a par, asegurando que las hipótesis finales sean todas realmente distintas. Alineación con la Intuición Humana y Facilidad de Interpretación Un aspecto clave es la coherencia con la intuición científica humana. En una evaluación realizada por expertos con formación avanzada en STEM, el 67% de las hipótesis que AutoDS consideró sorprendentes fueron también calificadas así por los especialistas. Además, la medida de sorpresa bayesiana se alineó mejor con el juicio humano que otras métricas proxy como la “interesancia” o la “utilidad” predicha. Interesantemente, el tipo y dirección de los cambios sorprendentes en la creencia varió según el campo científico. Por ejemplo, en algunas disciplinas, afirmaciones confirmatorias necesitan evidencias más contundentes para resultar verdaderamente sorprendentes, mientras que las falsificaciones novedosas requieren menos evidencia para llamar la atención. Consideraciones Prácticas y Perspectivas Futuras AutoDS demostró un alto grado de validez tanto en la implementación como en los experimentos, con más del 98% de los descubrimientos evaluados reconocidos como correctamente ejecutados por revisores humanos. Aunque actualmente funciona mediante APIs de modelos de lenguaje, lo que implica cierto retraso en la respuesta, también se ha probado una versión basada en búsqueda programática que es mucho más rápida, aunque con resultados conceptualmente menos profundos. Por ahora AutoDS es un prototipo de investigación, con planes futuros de liberar su código, pero su estructura y resultados indican un camino prometedor para avanzar en la ciencia impulsada por la inteligencia artificial. En resumen, AutoDS marca un avance significativo en el razonamiento científico autónomo. Al pasar de un enfoque enfocado en metas a otro basado en la exploración motivada por la curiosidad y sustentado en la sorpresa bayesiana, abre la puerta a sistemas de IA capaces de complementar, acelerar e incluso liderar procesos de descubrimiento científico con mayor autonomía.