Los dispositivos vestibles están revolucionando el monitoreo de la salud al permitir la recopilación continua de señales fisiológicas y conductuales, como la frecuencia cardíaca, la actividad física, la temperatura y la conductancia de la piel. Sin embargo, los datos que generan suelen estar incompletos debido a fallos en los sensores, la retirada del dispositivo, la carga de batería, artefactos por movimiento, modos de ahorro de energía y otros factores que interrumpen la señal. Este problema representa un gran desafío para los métodos de aprendizaje auto supervisado y los modelos base, que normalmente requieren datos completos y regulares. Hasta ahora, muchas soluciones intentaban rellenar o descartar datos incompletos, lo que puede generar sesgos o perder información valiosa.
Un equipo de investigadores de Google DeepMind presentó LSM-2 (Large Sensor Model 2), una nueva propuesta que, junto con una estrategia llamada Adaptive and Inherited Masking (AIM), aborda directamente la problemática de datos incompletos en dispositivos vestibles. Esta técnica permite aprender representaciones robustas sin necesidad de realizar imputaciones explícitas. A continuación, resumimos sus innovaciones técnicas, resultados y principales hallazgos.
El reto fundamental es la “falta de datos” en los vestibles. En un conjunto de datos masivo con 1.6 millones de muestras de un día completo (1440 minutos), no hubo ni un solo registro completamente completo. Los datos faltantes aparecen con frecuencia y suelen estar agrupados en largos periodos de ausencia, no solo dispersos al azar.
Las causas más comunes de estas ausencias son:
- El dispositivo apagado (por carga o no estar en uso). - Desactivación selectiva de sensores (por ahorro de energía o uso específico). - Interferencias por movimiento o ruido ambiental. - Lecturas fuera de rango o imposibles, filtradas durante el preprocesamiento.
Esto dificulta el análisis de patrones fisiológicos importantes, como ritmos circadianos o variabilidad cardíaca, que necesitan secuencias largas donde la ausencia de datos es casi inevitable.
La estrategia Adaptive and Inherited Masking (AIM) combina dos tipos de “máscaras” para facilitar el aprendizaje:
- Máscara heredada: señala los sitios de datos realmente ausentes. - Máscara artificial: enmascara al azar datos visibles para crear objetivos de reconstrucción durante el entrenamiento auto supervisado.
Estas máscaras se combinan y son procesadas en un esquema basado en un codificador-decodificador tipo transformer, lo que permite que el modelo:
- Aprenda directamente de datos incompletos sin realizar imputación. - Se adapte de manera dinámica a la ausencia real de datos durante la inferencia. - Genere representaciones resistentes ante brechas parciales o sistemáticas.
Durante el preentrenamiento, se simulan diferentes tipos de ausencia de datos para mejorar la robustez del modelo: se ocultan aleatoriamente el 80% de los datos para imitar ruido, se eliminan ventanas temporales completas, o se desactivan sensores enteros durante periodos prolongados. AIM combina la eficiencia de eliminar tokens del proceso computacional con la flexibilidad de enmascarar la atención, permitiendo lidiar con secuencias muy largas (más de 3,000 tokens en un día completo).
El entrenamiento se realizó con una escala enorme: 40 millones de horas de datos multimodales, recolectados de 60,440 personas entre marzo y mayo de 2024. Los sensores incluían fotopletismografía (PPG), acelerómetro, actividad electrodermal, temperatura de la piel y altímetro, con datos agregados cada minuto en un ciclo de 24 horas. La muestra era diversa en edades (18 a 96 años), géneros y categorías de índice de masa corporal (IMC).
Para evaluar, se usaron conjuntos anotados con tareas concretas: predicción de hipertensión y ansiedad en 1,250 usuarios, y reconocimiento de 20 clases de actividad con más de 104,000 eventos.
Respecto a resultados, LSM-2 con AIM fue probado en clasificación (hipertensión, ansiedad, actividades), regresión (edad, IMC) y generación (reconstrucción de datos faltantes). Algunas mejoras destacadas son:
- En predicción de hipertensión, el F1 score mejoró un 1.7% respecto a la versión anterior. - En reconocimiento de actividad, la mejora fue del 0.8%. - En regresión para IMC, la correlación aumentó un 1%. - Para reconstrucción de datos faltantes, el error cuadrático medio bajó hasta un 77%.
Cuando se removieron sensores específicos o ventanas temporales a propósito, LSM-2 con AIM mostró caídas de rendimiento un 73% menores que su predecesor. Por ejemplo, al eliminar el acelerómetro para actividad, perdió sólo un 57% en F1, comparado con un 71% del modelo previo, manteniendo un 47% más de la puntuación original.
Pese a la ausencia de datos, el modelo conservó coherencia clínica. Por ejemplo, la eliminación de señales nocturnas redujo la precisión para predecir hipertensión y ansiedad, reflejando la importancia real de esos períodos para el diagnóstico.
Además, LSM-2 escaló mejor que versiones anteriores en términos de cantidad de usuarios, volumen de datos, capacidad computacional y tamaño del modelo, sin mostrar signos de saturación.
Entre los aspectos técnicos más relevantes están su capacidad de trabajar directamente con datos incompletos sin imputar, combinando la eficiencia y flexibilidad en su mecanismo de enmascaramiento. Sus representaciones resultan altamente generalizables, logrando excelentes resultados incluso con modelos relativamente simples en tareas clínicas y de reconocimiento. Igualmente, es el único modelo evaluado que puede tanto recuperar señales faltantes como generar embeddings útiles para múltiples aplicaciones.
En resumen, LSM-2 con la técnica AIM representa un avance significativo para aprovechar datos reales y heterogéneos de dispositivos vestibles en el ámbito de la salud. Al aceptar la ausencia estructurada de datos, y combinar capacidades generativas y discriminativas con eficiencia y robustez, este enfoque marca una base sólida para el futuro de la inteligencia artificial aplicada a la salud y el monitoreo conductual en condiciones reales e imperfectas.
