El análisis semántico consiste en transformar el lenguaje natural en consultas formales como SQL o Cypher, facilitando una interacción más intuitiva con bases de datos. Sin embargo, el lenguaje natural es ambiguo por naturaleza y puede tener múltiples interpretaciones válidas, mientras que los lenguajes de consulta requieren precisión absoluta. Aunque la ambigüedad en consultas tabulares ha sido estudiada, las bases de datos gráficas representan un reto mayor por su estructura interconectada. Las consultas en lenguaje natural sobre nodos y relaciones de grafos suelen dar lugar a interpretaciones diversas debido a la riqueza y variedad estructural de los datos. Por ejemplo, una consulta como “restaurante mejor evaluado” puede entenderse según calificaciones individuales o puntajes agregados, generando ambigüedad.
Esta ambigüedad es problemática, ya que fallos en el análisis semántico pueden hacer que las consultas no reflejen la intención real del usuario, provocando accesos innecesarios a información y un gasto superfluo de recursos. En escenarios críticos como la toma de decisiones en tiempo real, esto puede afectar el rendimiento, aumentar costos y disminuir la eficiencia. Los modelos de lenguaje extensos (LLM) prometen ayudar a resolver consultas complejas y ambiguas mediante conocimientos lingüísticos e interacción para aclarar dudas, pero enfrentan el problema del sesgo hacia las preferencias de quienes los entrenan, lo que puede causar un desajuste sistemático con la intención del usuario final.
Un equipo de investigadores de la Universidad Bautista de Hong Kong, la Universidad Nacional de Singapur, BIFOLD & TU Berlín y Ant Group ha desarrollado una metodología para abordar la ambigüedad en la generación de consultas sobre grafos. Definen tres tipos principales de ambigüedad en consultas a bases gráficas: atributos, relaciones, y una combinación de ambos. Para evaluar soluciones, presentaron AmbiGraph-Eval, un conjunto de referencia con 560 consultas ambiguas y ejemplos de bases gráficas, que mide cómo diferentes modelos enfrentan estas situaciones. Al probar nueve LLMs, descubrieron que las capacidades de razonamiento ofrecen una ventaja limitada, destacando la necesidad de comprender bien la ambigüedad en grafos y dominar la sintaxis de las consultas.
AmbiGraph-Eval permite evaluar la habilidad de los modelos para generar consultas Cypher correctas tanto sintáctica como semánticamente a partir de textos ambiguos. El banco de datos fue elaborado en dos etapas: recopilación y revisión humana. Las consultas ambiguas se obtuvieron de tres formas: extrayéndolas directamente de bases gráficas, generándolas a partir de datos claros con ayuda de LLMs, y creando casos totalmente nuevos también mediante LLMs. Para la evaluación, probaron cuatro modelos cerrados como GPT-4 y Claude-3.5-Sonnet, y cuatro abiertos como Qwen-2.5 y LLaMA-3.1, utilizando APIs o hardware potente con GPUs NVIDIA.
Los resultados en modo zero-shot (sin entrenamiento previo en ejemplos específicos) muestran diferencias entre modelos en la resolución de ambigüedades. En tareas de ambigüedad por atributos, O1-mini destacó en consultas donde se refería a la misma entidad, mientras que GPT-4o y LLaMA-3.1 también mostraron buen desempeño. Sin embargo, GPT-4o lideró en escenarios que involucraban varias entidades, demostrando gran capacidad de razonamiento. En ambigüedad por relaciones, LLaMA-3.1 fue el mejor, aunque GPT-4o tuvo dificultades en consultas sobre una misma entidad pero se destacó en las que cruzaban entidades. Las ambigüedades que combinan atributos y relaciones resultaron las más complejas, con LLaMA-3.1 rindiendo mejor en casos de una sola entidad y GPT-4o en las que involucraban múltiples entidades. En general, los modelos presentaron más dificultades con ambigüedades multidimensionales que con aquellas centradas sólo en atributos o relaciones.
En conclusión, AmbiGraph-Eval es un recurso valioso para medir cuán bien los LLMs manejan la ambigüedad en consultas sobre bases de datos gráficas. Las pruebas con nueve modelos evidencian que todavía existen grandes retos para generar consultas Cypher precisas. Aunque el razonamiento avanzado ayuda, no basta para superar obstáculos clave como identificar intenciones ambiguas, generar sintaxis correcta, interpretar la estructura del grafo y realizar cálculos numéricos. Reconocer la ambigüedad y producir sintaxis válida son los principales cuellos de botella. Para mejorar, las investigaciones futuras deberían enfocarse en técnicas que ayuden a los modelos a detectar y resolver ambigüedades y a manejar mejor la sintaxis, mediante métodos como indicaciones conscientes de la sintaxis y señales explícitas de ambigüedad.
