Высокопроизводительная аналитика данных

Высокопроизводительная
аналитика данных сегодня

По данным International Data Corporation 67% мировых центров обработки данных высокопроизводительных вычислений (HPC) используют технологии искусственного интеллекта (ИИ) и больших данных. Ускоренная конвергенция высокопроизводительных вычислений, искусственного интеллекта и больших данных привела к возникновению технологии высокопроизводительной аналитики данных (HPDA) с интенсивным использованием данных. Рост приложений с интенсивным использованием данных, таких как системы автономного вождения, секвенирование генома и прогнозирование погоды, повышает требования к анализу данных в реальном времени. По мере того, как вычислительные мощности трансформируются из однооблачных в многооблачные гетерогенные, модели рабочих нагрузок становятся более сложными. Это вызывает острую потребность в решении, которое позволит более эффективно и экономично раскрыть потенциал массивов данных.

Взрывной рост объемов данных

Сложные модели рабочих нагрузок

Низкая эффективность
анализа и мобильности

К 2025 году объем глобальных данных достигнет 180 ЗБ. Все больше и больше данных требуется хранить в течение длительного времени.

Сценарии HPDA, такие как секвенирование генома, приводят к увеличению объема данных в десятки раз.

Согласно официальному документу Hyperion Research о «Тенденциях развития высокопроизводительных вычислений с интенсивным использованием данных‎»‎ при переходе от вычислительных нагрузок к нагрузкам с интенсивным использованием данных* исследователи, инженеры и аналитики хотели бы получить результаты быстрее. Производительность системы хранения играет основную роль и это требует решения ряда проблем и переосмысления.
*Нагрузки с интенсивным использованием данных — HPDA, ИИ, машинное обучение и глубокое обучение.

Загрузить официальный документ

Взрывной рост объемов данных

Сценарии HPDA, такие как секвенирование генома, приводят к увеличению объема данных в десятки раз.

Сложные модели рабочих нагрузок

На смену универсальным вычислениям приходят гетерогенные (GPU, ASIC и FPGA), которые усугубляют проблемы диверсифицированных рабочих нагрузок.

Различные этапы обработки услуг имеют разные модели рабочих нагрузок, поэтому одно устройство хранения должно обеспечивать и высокую пропускную способность, и большое количество операций ввода-вывода в секунду.

Низкая эффективность анализа и мобильности

Производительность чтения/записи данных не соответствует вычислительным мощностям, в результате система хранения становится «узких мест» эффективного анализа данных.

Разнообразные протоколы доступа к данным приводят к неэффективной мобильности данных между протоколами и длительной миграции.

Согласно официальному документу Hyperion Research о «Тенденциях развития высокопроизводительных вычислений с интенсивным использованием данных‎»‎ при переходе от вычислительных нагрузок к нагрузкам с интенсивным использованием данных* исследователи, инженеры и аналитики хотели бы получить результаты быстрее. Решающее значение здесь у производительности системы хранения, что требует решения ряда проблем и переосмысления.

Загрузить официальный документ

Решения HPDA с интенсивным использованием данных

HPDA включает рабочие нагрузки с интенсивным использованием данных, которые задействуют ресурсы HPC. Например, задачи, связанные с большими данными и ИИ. Это ведет к проблемам с огромными объемами данных, обработке, чувствительной к задержкам и сложным алгоритмам. Решения HPDA с интенсивным использованием данных обеспечивают инфраструктуру данных для супервычислительных центров, исследовательских центров и предприятий. Они помогают решать проблемы с приложениями, которые интенсивно используют данные и раскрывать их потенциал.

Эффективные сервисы

Анализ данных со сверхмалой задержкой позволяет мгновенно предоставить аналитические данные и сократить время на исследования и разработки. Данные беспрепятственно распределяются между процессами разработки, тестирования и производства. Это обеспечивает эффективную мобильность.

Простое управление

Одна система хранения обеспечивает мобильность данных по протоколам, предоставляет унифицированные ресурсы эксплуатации и техобслуживания (O&M) с высокой гибкостью сервисов, и отвечает требованиям диверсифицированной вычислительной мощности.

Оптимизация затрат

Интеллектуальные многоуровневые системы хранения позволяют хранить «горячие» и «холодные» данные на различных носителях. При этом максимально увеличивается ценность данных, сокращается занимаемое пространство и энергопотребление. Это гарантирует минимизацию издержек на протяжении всего жизненного цикла данных.

Решения HPDA с интенсивным использованием данных

Решение HPDA предназначено для поддержки стратегического бизнес-ресурса — данных. Основываясь на высокопроизводительных системах хранения, эти решения обеспечивают эффективную и экономичную платформу для сценариев высокопроизводительных вычислений с интенсивным использованием данных, таких как метеорология и океанография, супервычислительные центры, секвенирование генома и поиск источников энергии.

Метеорология и океанография | Высокая точность

Прогнозирование погоды становится всё точнее, а частота обновления данных увеличивается с 1 раза в 2 часа до 1 раза в несколько минут. Это увеличивает требования к параллельным вычислениям ЦОД. Наше решение обеспечивает:

Стабильную работу критически важных сервисов в реальном времени за счет применения высокопроизводительных систем хранения;

Высокоточный анализ и обработку данных в режиме реального времени за счет применения задач смешанного типа.

Супервычислительный центр | Больше интеллектуальных функций

С переходом от традиционных к интеллектуальным вычислениям производительность возрастает от петафлопсных до эксафлопсных значений.Это увеличивает объемы данных. Система хранения данных должна поддерживать межпротокольный доступ, изоляцию ресурсов и качество обслуживания (QoS), чтобы адаптироваться к сложным моделям многопользовательской рабочей нагрузки супервычислительных центров. Наше решение обеспечивает

Высокую эффективность обработки благодаря выделенным параллельным файловым системам HPC;

Поддержку нескольких протоколов, которая удовлетворяет потребности в доступе различных прикладных систем и обеспечивает мобильность данных между платформами HPC, больших данных и искусственного интеллекта для снижения совокупной стоимости владения (TCO);

Высокую эффективность управления за счет интеллектуального управления на протяжении всего жизненного цикла.

Секвенирование генома | Более высокая эффективность

Эффективное секвенирование генома помогает лечить болезни и разрабатывать новые лекарства. В эпоху HPDA один секвенатор ежедневно генерирует до 6 ТБ данных. Они должны храниться в течение длительного времени, что требует высокой производительности, стабильности и рентабельности систем хранения. Наше решение позволяет:

Ускорить вывод отчетов с 13 лет до 1 дня благодаря более высокой производительности системы хранения и более быстрому анализу и тестированию генома, что стало возможным путем обеспечения стабильной высокой пропускной способности;

Расширить возможности анализа генома за счет быстрого гибридного анализа без миграции данных.

Изучение недр земли | Большая экономическая эффективность

Эволюция методов сейсморазведки от 2D к 3D и 4D приводит к увеличению объема данных в 5-10 раз. При обработке данных сейсморазведки суммарная пропускная способность достигает от 2 до 20 Гбит/с на один ПБ, а задержка ввода-вывода должна составлять от 200 до 400 мкс. Это требует отличной масштабируемости устройств хранения, высокой пропускной способности и минимальной задержки. Более эффективное и экономичное изучение недр земли приводит к снижению совокупной стоимости владения. Наше решение обеспечивает:

Использование меньшего физического дискового пространства при более низкой совокупной стоимости владения за счет применения многоуровневых систем хранения;

Стабильное долгосрочное увеличение объема данных за счет однократного развертывания и расширения по требованию.

Метеорология и океанография

Супервычислительный центр

Секвенирование генома

Изучение недр земли

Метеорология и океанография | Высокая точность

Высокоточный анализ и обработку данных в режиме реального времени за счет применения задач смешанного типа.

Супервычислительный центр | Больше интеллектуальных функций

Высокую эффективность обработки благодаря выделенным параллельным файловым системам HPC;

Секвенирование генома | Более высокая эффективность

Расширить возможности анализа генома за счет быстрого гибридного анализа без миграции данных.

Изучение недр земли | Большая экономическая эффективность

Почему Huawei?

В 12 центрах исследований и разработок Huawei — 4000 сотрудников и 3000 патентов по СХД. Эти центры обслуживают более 15 000 клиентов в 150 странах. Решение Huawei HPDA предназначено для гибридных рабочих нагрузок. Благодаря сверхвысокой плотности и возможностям многопротокольного обмена данными решение раскрывает потенциал данных и устраняет проблемы с приложениями, которые интенсивно используют данные.

Ориентация на гибридные рабочие нагрузки

Каждая стойка в СХД поддерживает высокоскоростной доступ на уровне 32 Гбит/c. Производительность одной стойки превышает 400 000 операций ввода-вывода в секунду (IOPS). Это обеспечивает лучшую в отрасли плотность производительности.

Подробнее

Многопротокольный обмен данными

В СХД реализован принцип многопротокольного обмена данными между подсистемами: Portable Operating System Interface (POSIX), Network File System (NFS), Common Internet File System (CIFS), Hadoop Distributed File System (HDFS), S3 и MPI-IO. Данные копировать не нужно. Это обеспечивает плавный переход к HPDA.

Подробнее

Высокая плотность хранения

Высокая плотность оборудования (24 диска на пространство в стойке высотой 1U), сквозная архитектура энергонезависимой памяти (NVMe), архитектура аппаратного обеспечения, основанная на флеш-памяти (16 SSD на пространство в стойке высотой 1U) и многоуровневое хранение «горячих» и «холодных» данных.

Подробнее