Un grupo de investigadores europeos ha publicado un estudio que vuelve a encender las alertas sobre la privacidad en el uso de la inteligencia artificial. Han demostrado que es posible recuperar el prompt exacto que un usuario ingresó al interactuar con un chatbot, lo que coloca a las empresas de IA en una situación comprometida, ya que podrían conocer mucho más sobre nosotros de lo que imaginamos.
El estudio, titulado "Los modelos lingüísticos son inyectivos y, por lo tanto, invertibles", explica que los grandes modelos de lenguaje (LLM) presentan un problema de privacidad inherente a su arquitectura transformer. Esto se debe a que cada prompt diferente genera una "incrustación" o representación única en el espacio latente del modelo.
Los investigadores desarrollaron un algoritmo llamado SIPIT (Sequential Inverse Prompt via Iterative updates), que puede reconstruir el texto de entrada original a partir de los estados internos o activaciones ocultas del modelo de forma rápida y con garantía lineal en tiempo. En otras palabras, el modelo puede "delatarse" fácilmente, revelando exactamente qué se le preguntó.
Lo alarmante es que esta información no está solo en la respuesta final que entrega la IA, sino en esos estados ocultos o embeddings que el modelo usa para generar sus respuestas. Muchas empresas almacenan esos estados internos para tareas como cacheo, monitoreo o personalización. Por eso, aunque eliminen las conversaciones en texto plano, si no borran estos embeddings, el prompt original puede ser recuperado con total precisión, representando un riesgo significativo para la privacidad.
Desde el punto de vista legal, esto cambia el panorama. Reguladores y empresas solían argumentar que estos estados internos no se consideraban datos personales recuperables, pero al ser invertibles, esto ya no es válido. Una empresa que dice que no guarda los prompts, pero conserva los embeddings, ofrece una falsa sensación de seguridad.
Aunque en principio un atacante necesitaría acceso a esos embeddings para recuperar los prompts, una fuga de esos datos en formato de estados ocultos dejaría expuesta información sensible en texto claro, como datos financieros o contraseñas que los usuarios hayan utilizado al hacer consultas al modelo.
Este hallazgo también complica el cumplimiento de normativas de protección de datos como el RGPD y el derecho al olvido. Para alguien que solicite la eliminación total de sus datos, la empresa tendría que borrar no solo los registros visibles de la conversación, sino también todos los embeddings asociados. Si persiste algún estado oculto en cachés o registros, el prompt original podría reconstruirse.
En resumen, este estudio pone en evidencia un serio problema de privacidad ligado a cómo funcionan los modelos de lenguaje actuales y plantea nuevos retos legales y técnicos para quienes manejan estos sistemas.
