Construimos el primer prototipo de SKA en el mundo con el almacenamiento de datos masivos OceanStor de Huawei
Este sitio utiliza cookies. Si continúa navegando en este sitio, acepta nuestro uso de cookies. Lea nuestra política de privacidad>
Este sitio utiliza cookies. Si continúa navegando en este sitio, acepta nuestro uso de cookies. Lea nuestra política de privacidad>
Productos, soluciones y servicios empresariales
El observatorio astronómico de Shanghái ha desplegado el almacenamiento masivo de datos OceanStor de Huawei para construir un prototipo de arquitectura de almacenamiento de servicios centrales para el Square Kilometer Array (SKA), un proyecto científico internacional que pretende construir el mayor radiotelescopio del mundo, con el objetivo de llegar a tener un área de captación de más de un kilómetro cuadrado en total.
Concebido a principios de la década de 1990 y puesto en marcha por más de 10 países, los telescopios que conforman el SKA se instalarán en zonas con escasas interferencias de radio, en emplazamientos situados en ocho países, incluidos Australia y Sudáfrica. El observatorio astronómico de Shanghái dio a conocer su prototipo de centro regional SKA en la Reunión SKA de Shanghái en noviembre de 2019 y la Organización SKA lo reconoció como el primero en ser desarrollado; por tanto, se seleccionó como uno de los 10 principales avances nacionales en ciencia y tecnología astronómica en China en 2019.
SKA producirá el mayor flujo de datos jamás visto en la historia de la astronomía. Sólo la primera fase de SKA -que representa apenas el 10% de todo el proyecto- creará datos a un ritmo de crecimiento de aproximadamente 106 PB cada año una vez que esté en marcha. Para 2027, se espera que el volumen de datos que SKA genera alcance los 760 PB.
Está claro que la construcción de sistemas de almacenamiento de apoyo es fundamental para el proyecto, dados los volúmenes de datos, así como los clusters de cómputo de alto rendimiento (HPC) asociados y una base mundial de usuarios del SKA.
Estos sistemas de almacenamiento deben ofrecer un ancho de banda extremadamente alto y una baja latencia, para soportar esos clusters HPC y procesar big data literalmente astronómicos. La expansión dinámica de la capacidad y un diseño modular, para maximizar el retorno de la inversión (ROI), también son clave, ya que la capacidad de expansión sin inconvenientes es fundamental para minimizar el costo total de propiedad (TCO). Y, por supuesto, la confiabilidad total con tolerancia cero a la pérdida de datos es un hecho.
El almacenamiento masivo de datos OceanStor de Huawei, que incluye el algoritmo para las tablas de hash distribuidas (DHT) y compatibilidad con hardware de alto rendimiento, con las unidades de estado sólido (SSD) y la memoria exprés no volátil (NVMe) configuradas, demostró contar con una alta capacidad de soportar la mayor prueba de flujo de trabajo de SKA jamás realizada.
De hecho, el innovador mecanismo de caché de lectura por capas de OceanStor acorta considerablemente los tiempos de acceso a los datos. En el caso de una lectura/escritura de datos de 4 KB, la latencia media es de aproximadamente 1 ms. En cuanto a la red interna, se utilizan switches InfiniBand de alto rendimiento y baja latencia para ampliar el ancho de banda interno de intercambio de datos, de 10 Gbit/s a 128 Gbit/s, que aceleran el acceso a los datos y mejoran el rendimiento de entrada/salida (E/S) para soportar el procesamiento de big data astronómico.
Con un innovador algoritmo de código de borrado que garantiza la fiabilidad de los datos, la arquitectura totalmente distribuida permite ampliar la capacidad de forma dinámica y flexible. El rendimiento aumenta linealmente a medida que se añaden más nodos, satisfaciendo las necesidades de crecimiento de datos del centro regional SKA en los próximos años.
