Las simulaciones basadas en partículas y las aplicaciones con nubes de puntos están impulsando un enorme crecimiento en el tamaño y complejidad de los conjuntos de datos científicos y comerciales, alcanzando miles de millones o incluso billones de puntos individuales. Gestionar, reducir, almacenar y analizar esta información sin saturar las capacidades de las modernas GPUs representa un gran desafío en áreas como cosmología, geología, dinámica molecular y captura 3D.
Recientemente, un grupo de investigadores de la Universidad Estatal de Florida, la Universidad de Iowa, el Laboratorio Nacional Argonne, la Universidad de Chicago y otras instituciones desarrollaron GPZ, un compresor con pérdidas optimizado para GPU que mejora significativamente la velocidad, la relación de compresión y la fidelidad de los datos de partículas, superando ampliamente a cinco herramientas líderes actuales.
¿Por qué es tan complejo comprimir datos de partículas? A diferencia de las mallas estructuradas, las nubes de puntos representan sistemas como conjuntos irregulares de elementos discretos multidimensionales. Este formato es vital para capturar fenómenos físicos complejos, pero su baja coherencia espacial y temporal, junto con la falta casi total de redundancia, dificulta mucho la compresión tradicional.
Por ejemplo, la supercomputadora Summit generó una sola instantánea de simulación cosmológica que ocupa 70 TB utilizando GPUs Nvidia V100, mientras que el Programa de Elevación 3D del USGS tiene nubes de puntos del terreno estadounidense que superan los 200 TB. Técnicas comunes como reducir el muestreo o procesar datos sobre la marcha suelen desechar hasta el 90% de la información original y limitan la reproducibilidad por la falta de almacenamiento. Además, los compresores diseñados para mallas no funcionan bien con datos de partículas por la ausencia de patrones que estos explotan, resultando en bajas tasas de compresión y un rendimiento pobre en GPU.
GPZ aborda estos retos con una tubería paralela en cuatro etapas específicamente diseñada para las particularidades de datos de partículas y el hardware paralelo moderno. Primero, realiza una cuantización espacial donde las posiciones flotantes se mapean a identificadores y desplazamientos enteros, respetando límites de error definidos por el usuario y usando operaciones rápidas FP32 para maximizar el rendimiento en GPU. Luego, dentro de cada bloque asignado a un warp CUDA, los puntos se ordenan según los segmentos para mejorar la codificación sin pérdida usando operaciones a nivel de warp que evitan sincronicaciones costosas. La siguiente etapa aplica técnicas paralelas de codificación por longitud y diferencias para eliminar redundancias, además de codificación por planos de bits optimizada para accesos eficientes a memoria. Finalmente, los bloques comprimidos se ensamblan en un flujo continuo con un método en tres pasos que reduce considerablemente la sobrecarga de sincronización y aprovecha al máximo la capacidad de memoria de la GPU—alcanzando hasta 809 GB/s en una tarjeta RTX 4090, muy cerca del máximo teórico.
Las optimizaciones específicas para hardware son claves en GPZ: la alineación cuidadosa de accesos a memoria mejora el ancho de banda (hasta 1.6 veces respecto a accesos no contiguos), el manejo eficiente de registros y memoria compartida mantiene alta la ocupación de la GPU, se emplean operaciones CUDA intrínsecas como FMA, y se eliminan divisiones o módulos lentos reemplazándolos por máscaras y recíprocos precomputados.
En pruebas con seis conjuntos de datos reales de distintas disciplinas y tres arquitecturas de GPU (RTX 4090, H100 SXM y Nvidia L4), GPZ demostró no solo robustez frente a herramientas generalistas optimizadas para mallas científicas (que fallaban o perdían calidad con más de 2 GB) sino una velocidad de compresión hasta 8 veces superior a la mejor alternativa. En promedio, alcanzó tasas de 169 GB/s en L4, 598 GB/s en RTX 4090 y 616 GB/s en H100; la descompresión fue aún más rápida. En cuanto a la relación de compresión, GPZ logró mejoras de hasta 600% en escenarios difíciles, manteniendo además una calidad notable: sus reconstrucciones casi no se distinguían del original en análisis visuales detallados, mientras que otros métodos mostraban artefactos evidentes.
En resumen, GPZ establece un nuevo estándar para la reducción en tiempo real y a gran escala de datos de partículas usando GPUs modernas. Su diseño reconoce las limitaciones de los compresores genéricos y ofrece soluciones adaptadas que maximizan el paralelismo y ajuste de precisión. Esto representa una herramienta valiosa para científicos e ingenieros que manejan inmensos volúmenes de datos, facilitando compresión con límites claros de error, amplias tasas de transferencia y una fidelidad casi perfecta para análisis posteriores, visualización y modelado.
A medida que los conjuntos de datos científicos continúen creciendo, iniciativas como GPZ marcarán un camino fundamental en la evolución del cómputo científico basado en GPU y la gestión eficiente de datos a gran escala.
