Buró Meteorológico de Guizhou: Computación a Máxima Potencia, Almacenamiento a Escala Completa

Desde 2023, gracias a la implementación de políticas como las "Opiniones del Gobierno Popular de la Provincia de Guizhou sobre la Promoción del Desarrollo de Alta Calidad de la Meteorología en Guizhou" y el "Plan de Acción Trienal para el Desarrollo de Alta Calidad de la Meteorología en Guizhou (2023-2025)", el sector meteorológico de la provincia ha entrado en una fase de rápido desarrollo. Sin embargo, la limitada capacidad de cómputo y una capacidad de almacenamiento prácticamente saturada ya no podían hacer frente al vertiginoso aumento del volumen de datos. La modernización de la infraestructura de cómputo y almacenamiento se volvió esencial para eliminar los cuellos de botella. En este contexto, la Oficina Meteorológica de la Provincia de Guizhou colaboró ​​con Huawei para completar con éxito un proyecto de expansión de computación de alto rendimiento (HPC) dividido en tres fases. El proyecto establece una infraestructura de cómputo y almacenamiento resiliente, escalable y de alto rendimiento que permite realizar pronósticos más precisos y refuerza las capacidades de prevención y mitigación de desastres.

El Apoyo Normativo y el Crecimiento de los Servicios Impulsan la Demanda de Potencia de Cómputo

Como autoridad meteorológica de nivel provincial dependiente de la Administración Meteorológica de China (CMA), la Oficina Meteorológica de la provincia de Guizhou es responsable de la vigilancia meteorológica y la alerta temprana, el desarrollo de recursos climáticos, la investigación sobre el cambio climático y la prevención y mitigación de desastres. Sus operaciones abarcan diez departamentos internos, nueve instituciones afiliadas y nueve oficinas meteorológicas municipales (o de prefectura), conformando una red de vigilancia espacial, aérea y terrestre. A medida que los servicios de predicción adquieren mayor granularidad y los ciclos de actualización se aceleran, el procesamiento y almacenamiento de datos se enfrentan a diversos desafíos:

El primer desafío es el volumen de datos. Guizhou genera actualmente pronósticos localizados con una resolución espacial de 1 kilómetro, y de hasta 500 metros en algunas zonas. Los radares meteorológicos de última generación completan un barrido volumétrico cada 6 a 10 minutos, mientras que los satélites meteorológicos captan imágenes regionales cada 5 a 15 minutos. Los sistemas de predicción a muy corto plazo (nowcasting) actualizan los pronósticos para las próximas dos horas cada seis minutos. Sumados a la asimilación y el análisis continuos de datos de observación multidimensionales, estos flujos de trabajo están impulsando un crecimiento exponencial en el volumen de datos meteorológicos. Un único conjunto de datos históricos de asimilación alcanza la escala de petabytes, y la capacidad de almacenamiento implementada en las dos primeras fases ya se encuentra al 75 % de su utilización, lo que hace imperativa su ampliación.

El rendimiento plantea un desafío igualmente crítico. La capacidad de respuesta en tiempo real y la precisión de los pronósticos meteorológicos influyen directamente en la prevención y mitigación de desastres. A medida que la precisión de los pronósticos alcanza el nivel del kilómetro, las exigencias computacionales aumentan exponencialmente, lo que impone mayores demandas al rendimiento de E/S del sistema. Se requiere una arquitectura de almacenamiento basada en E/S distribuida y sistemas de archivos paralelos para mantener las cargas de trabajo de pronóstico operando a máxima velocidad.

Para satisfacer estas demandas, la Oficina Meteorológica de la provincia de Guizhou y la Oficina Provincial de Big Data de Guizhou pusieron en marcha un proyecto de tres fases destinado a modernizar la plataforma de computación meteorológica de la provincia, alcanzando un rendimiento de cálculo máximo de 2000 TFLOPS y una capacidad de almacenamiento de 10 PB. La tercera fase, finalizada en 2025, añadió 360 TFLOPS de capacidad de cómputo y 3 PB de almacenamiento, demostrando la experiencia de Huawei en infraestructuras de HPC.

Solución de Almacenamiento HPC de Huawei: Construyendo una Base de Datos a Medida

Para hacer frente a los crecientes desafíos operativos, Huawei suministró una solución de almacenamiento HPC a medida, basada en el sistema de almacenamiento de archivos paralelo y escalable OceanStor Pacific. Gracias a la optimización conjunta de los recursos de computación, red y software de planificación, la solución ofrece avances significativos en cuatro áreas críticas: capacidad, rendimiento, compatibilidad y fiabilidad.

• Escalabilidad elástica para el aluvión de datos

Huawei OceanStor Pacific utiliza una arquitectura de escalabilidad horizontal (scale-out) totalmente simétrica que permite ampliar linealmente tanto la capacidad como el rendimiento. El sistema de almacenamiento puede escalar de forma fluida hasta alcanzar miles de nodos y una capacidad a escala de exabytes, proporcionando un amplio margen para satisfacer las necesidades meteorológicas de Guizhou. La política de equilibrio de carga automático distribuye los datos y los metadatos entre todos los nodos de almacenamiento, eliminando así los cuellos de botella en el acceso a los metadatos. Las tecnologías FlashLink, como la agregación inteligente de stripes y la programación de E/S basada en prioridades, ofrecen un gran ancho de banda y baja latencia, facilitando el procesamiento de volúmenes masivos de datos en cuadrícula (gridded data).

• Diseño de ultra alta densidad que mantiene un rendimiento térmico eficiente

Para maximizar el espacio limitado de los centros de datos, Huawei ha presentado los modelos OceanStor Pacific 9550 y 9950, diseñados para ofrecer gran capacidad y alto rendimiento. El hardware de alta capacidad OceanStor Pacific 9550 cuenta con una estructura de alta integración que maximiza la densidad de discos. Además, emplea canales de aire duales y ventiladores presurizados de rotación inversa para mejorar la disipación del calor. Se trata del primer dispositivo de almacenamiento de ultra alta densidad del sector que se integra perfectamente en armarios de 1,1 metros. El hardware de alto rendimiento OceanStor Pacific 9950 utiliza una arquitectura PCIe 4.0 completa y unidades SSD NVMe de formato "half-palm" desarrolladas por Huawei para lograr un rendimiento totalmente basado en tecnología flash (all-flash). Al desplegar menos dispositivos, Huawei ofrece mayor capacidad, un procesamiento de datos más eficiente y un aprovechamiento óptimo del espacio.

• Convergencia de servicios que elimina los silos de datos

La solución de Huawei admite la interoperabilidad entre servicios de almacenamiento de datos no estructurados de tipo archivo, objeto y HDFS, así como múltiples interfaces estándar como NFS, SMB, POSIX, MPI-IO, S3 y HDFS, lo que permite que diversos servicios compartan los mismos datos. Esta solución proporciona el alto ancho de banda y la baja latencia necesarios para los servicios de archivos de HPC, permite una escalabilidad flexible para el almacenamiento de objetos y satisface las exigencias del análisis de big data; todo ello sin necesidad de migración de datos, lo que mejora significativamente la eficiencia del servicio.

• Sistema de archivos paralelo exclusivo diseñado para la resiliencia

Impulsada por el sistema de archivos paralelo exclusivo de Huawei, la solución ofrece un alto rendimiento. Un único nodo all-flash proporciona un ancho de banda de hasta 90 GB/s y 65.000 OPS, mientras que el ancho de banda de flujo único alcanza los 8 GB/s. Un solo sistema de almacenamiento admite de manera eficiente diversos modelos de rendimiento, como el modelo de archivos grandes con gran ancho de banda, el modelo de E/S aleatoria y el modelo de lectura/escritura de archivos pequeños. El diseño de fiabilidad de cuatro niveles, que incluye redundancia de hardware a nivel de módulo, protección contra fallos de alimentación y conmutación por error a nivel de nodo, erasure coding (EC) entre nodos a nivel de sistema y verificación de integridad de datos de extremo a extremo (DIF), así como una detección integral de estados de salud degradada a nivel de solución, garantiza la resiliencia de los datos meteorológicos y protege contra la corrupción silenciosa de datos y la pérdida de información.

Convirtiendo la Colaboración en Impacto, Impulsando un Desarrollo Meteorológico de Alta Calidad

Tras completar la Fase III de la expansión de computación de alto rendimiento (HPC) con Huawei, la Oficina Meteorológica de Guizhou cuenta ahora con una plataforma de computación y almacenamiento de mucha mayor capacidad. La potencia de cálculo adicional de 360 ​​TFLOPS y los 3 PB de almacenamiento, sumados a la infraestructura de las fases anteriores, permiten a la plataforma alcanzar su objetivo de 2.000 TFLOPS de rendimiento máximo de cómputo y 10 PB de capacidad de almacenamiento. Esta infraestructura mejorada permite ejecutar localmente modelos nacionales de predicción numérica del tiempo (NWP) y elimina los cuellos de botella en el almacenamiento.

En la capa de aplicaciones de servicio, el almacenamiento de gran ancho de banda y baja latencia ha acelerado la asimilación de datos meteorológicos y el cálculo de los modelos NWP, lo que posibilita actualizaciones más rápidas y una predicción a muy corto plazo (nowcasting) más precisa. La plataforma optimizada refuerza las capacidades de alerta temprana ante fenómenos meteorológicos convectivos severos, como lluvias torrenciales, granizo y tormentas eléctricas. Las tecnologías propias y la escalabilidad elástica reducen el coste total de propiedad (TCO) y ofrecen la flexibilidad necesaria para facilitar el futuro entrenamiento de modelos de IA y el aprovechamiento de recursos climáticos. Todo ello contribuye a la transición de una respuesta reactiva ante desastres a un modelo proactivo de prestación de servicios.

Esta alianza combina el apoyo institucional con la colaboración en el mercado, consolidándose como un testimonio de la filosofía de Huawei centrada en el cliente. Desde la ampliación de la capacidad de cómputo hasta el fortalecimiento de la infraestructura de datos, la solución de computación de alto rendimiento (HPC) de Huawei ha acelerado la transición de Guizhou hacia una nueva era de la meteorología. De cara al futuro, la Oficina Meteorológica de la provincia de Guizhou y Huawei profundizarán su colaboración, aprovechando la posición de Guizhou como centro nacional de la red integrada de potencia de cálculo de China para seguir impulsando las capacidades de computación meteorológica. Juntos, protegerán el entorno y los medios de vida de la provincia, construyendo la resiliencia climática necesaria para garantizar un futuro económico sostenible para Guizhou.