La investigación en inteligencia artificial avanza rápidamente más allá del simple reconocimiento de patrones, enfocándose ahora en desarrollar sistemas capaces de razonamientos complejos y similares a los humanos. La última innovación en este campo es la creación de los Transformadores Basados en Energía (EBTs), una nueva familia de arquitecturas neuronales diseñadas para habilitar el “Pensamiento del Sistema 2” en las máquinas, sin depender de supervisión específica ni señales de entrenamiento restrictivas.
El pensamiento humano se suele dividir en dos sistemas: el Sistema 1, rápido, intuitivo y automático; y el Sistema 2, lento, analítico y deliberado. Aunque los modelos de IA actuales destacan en el pensamiento tipo Sistema 1, al hacer predicciones rápidas basadas en la experiencia, la mayoría no logra realizar razonamientos complejos y en varios pasos necesarios para resolver tareas difíciles o novedosas. Los enfoques actuales, como el aprendizaje por refuerzo con recompensas verificables, suelen funcionar bien solo en dominios donde es fácil evaluar la corrección, como las matemáticas o la programación, pero tienen problemas para generalizar más allá de esos ámbitos.
La clave de los Transformadores Basados en Energía está en su diseño y método de entrenamiento. En lugar de generar una salida directa en un solo paso, estos modelos aprenden una función de energía que asigna un valor escalar a cada par de entrada y predicción, indicando qué tan compatibles son o cuál es su “probabilidad sin normalizar”. Así, el razonamiento se convierte en un proceso de optimización: partiendo de una suposición inicial aleatoria, el modelo mejora su predicción de forma iterativa minimizando la energía, algo similar a cómo las personas exploran y revisan sus soluciones antes de decidirse.
Este enfoque permite que los EBTs tengan tres capacidades clave para el razonamiento avanzado, que suelen faltar en los modelos actuales: - Asignación dinámica del cálculo: pueden dedicar más “pasos de pensamiento” y esfuerzo computacional a problemas difíciles o predicciones inciertas, en lugar de tratar todas las tareas o elementos por igual. - Modelado natural de la incertidumbre: al monitorear los niveles de energía durante el proceso, los EBTs pueden estimar su grado de confianza, algo particularmente útil en dominios complejos y continuos como la visión, donde los modelos tradicionales tienen limitaciones. - Verificación explícita: cada predicción va acompañada de un puntaje energético que indica qué tan bien encaja con el contexto, lo que permite al modelo autocorroborar y preferir respuestas que sabe plausibles.
A diferencia de enfoques basados en aprendizaje por refuerzo o supervisión externa, los EBTs no necesitan recompensas diseñadas manualmente ni supervisión adicional; sus capacidades de razonamiento emergen directamente de objetivos de aprendizaje no supervisado. Además, son inherentemente agnósticos al tipo de dato: funcionan tanto en dominios discretos (como texto y lenguaje) como en continuos (imágenes o video), algo que la mayoría de las arquitecturas especializadas no consigue.
Las pruebas experimentales demuestran que los EBTs no solo mejoran el rendimiento en tareas de lenguaje y visión cuando se les permite “pensar más tiempo”, sino que también escalan de forma más eficiente durante el entrenamiento en términos de datos, cómputo y tamaño del modelo, comparados con los transformadores más avanzados. De manera destacada, su capacidad de generalización aumenta a medida que las tareas se vuelven más difíciles o fuera de distribución, en línea con estudios de ciencia cognitiva sobre el razonamiento humano frente a la incertidumbre.
Este paradigma de Transformadores Basados en Energía abre las puertas a sistemas de IA más poderosos y flexibles, capaces de ajustar la profundidad de su razonamiento según la complejidad del problema. En un escenario donde los datos son cada vez más limitantes para el crecimiento, la eficiencia y robusta generalización de los EBTs pueden impulsar avances en modelado, planificación y toma de decisiones en una amplia variedad de campos.
Aunque aún existen limitaciones, como el mayor costo computacional en el entrenamiento y desafíos con datos altamente multimodales, futuras investigaciones podrán aprovechar esta base para integrar EBTs con otros enfoques neuronales, desarrollar estrategias de optimización más eficientes y aplicar este método a tareas nuevas que requieran razonamientos multimodales y secuenciales.
En resumen, los Transformadores Basados en Energía representan un avance significativo para lograr que las máquinas “piensen” más como los humanos: no solo respondiendo automáticamente, sino deteneniéndose a analizar, verificar y adaptar su razonamiento frente a problemas complejos y abiertos, en cualquier tipo de dato o modalidad.
