Big Data

Descripción

La solución de nivel empresarial Big Data de Huawei incluye herramientas, almacenamiento y análisis de datos de Big Data. Esta plataforma permite lograr nuevas oportunidades comerciales y detectar riesgos gracias a un proceso rápido de análisis y minería de grandes cantidades de datos. Desde febrero de 2018, más de 1000 clientes de 55 países han confiado en la solución de Big Data FusionInsight de Huawei. Huawei tiene más de 300 partners comerciales y múltiples laboratorios abiertos en todo el mundo para fomentar la innovación conjunta con sus clientes y partners en los ámbitos de las tecnologías cloud y Big Data. Las soluciones se utilizan ampliamente en las áreas de finanzas, telecomunicaciones, gobierno, energía, salud, producción y transporte, entre otras.

Ventajas de la solución de Big Data y la IA de Huawei Las tecnologías de Big Data permiten la prevención de delitos

¿Qué necesita la IA para fomentar la innovación comercial?

Ventajas

Agilidad
- Ofrece una amplia gama de funciones de procesamiento de datos, entre las que se incluyen los almacenes de datos convergentes, el procesamiento offline, el procesamiento de secuencias en tiempo real, las recuperación en tiempo real, las consultas interactivas y los análisis de relaciones.
- Admite la gestión unificada multi-cluster y multi-tenant.
- Admite el upgrade continuo sin tiempo de inactividad.
- Utiliza Elk y Spark SQL conforme a los estándares SQL.
Inteligencia
- La base de datos orientada a grafos responde a los análisis de datos correlacionados que cubren decenas de miles de millones de registros en cuestión de segundos y ofrece rápidamente los resultados de las consultas, que incluyen centenas de miles de millones de relaciones que abarcan decenas de miles de millones de nodos.
- RTD que permite el control de riesgos en tiempo real a nivel de milisegundos y realiza la transición del control de riesgos tras un evento al control de riesgos en tiempo real.
- Esta solución ha integrado más de 10 algoritmos para lograr la gestión unificada de algoritmos y mejorar la utilización de recursos de clústeres de IA en un 100 %.
Convergencia
- DLF para integración, desarrollo y gestión de datos en un único paso.
- Convergencia de datos Hadoop y MPPDB.
- Entorno híbrido ARM y x86.

Arquitectura de la solución

La solución Big Data de Huawei consta de dos productos: FusionInsight HD y GaussDB. FusionInsight HD es una edición empresarial Hadoop que incluye varios componentes: HDFS, Yarn, HBase, Spark, MapReduce, Flink, Storm, Elk, Solr, Kafka, Loader, Flume, etc. GaussDB es una base de datos de procesamiento paralelo a gran escala que ofrece escalabilidad flexible, excelente rendimiento, sólida fiabilidad y elevada rentabilidad.

HDFS

Ofrece acceso a datos con un elevado rendimiento; puede procesar conjuntos de datos de gran escala.

Yarn

Como sistema de gestión de recursos de Hadoop 2.0, Yarm implementa la programación y gestión de recursos para aplicaciones.

Spark

Marco de procesamiento distribuido en memoria.

Elk

Proporciona un motor SQL estándar y permite la migración sencilla de aplicaciones convencionales a la plataforma de Big Data.

MapReduce

Motor de procesamiento distribuido que admite el procesamiento masivo de lotes fuera de línea.

Flink

Marco de procesamiento unificado para procesamiento de lotes y secuencias o solo de secuencias. En esencia, se trata de un motor de procesamiento de secuencias que admite la distribución de datos y el procesamiento paralelo.

Storm

Sistema de procesamiento de secuencias de datos en tiempo real distribuido, fiable y con tolerancia a errores. Ofrece idiomas lenguajes de consulta similares a SQL (StreamCQL).

Solr

Servidor de búsqueda de aplicaciones independiente y de clase empresarial basado en Apache Lucene.

Kafka

Sistema distribuido y particionado de publicación-suscripción con múltiples copias.

Loader

Intercambia datos y archivos entre FusionInsight, bases de datos relacionados y sistemas de archivos.

HBase

Sistema de almacenamiento distribuido orientado en columnas adecuado para datos masivos no estructurados o semiestructurados. Ofrece un nivel avanzado de disponibilidad, rendimiento y escalabilidad. HBase admite la lectura y escritura de datos en tiempo real.

Flume

Sistema distribuido de transmisión, agregación y recopilación de grandes cantidades de datos de logs con un elevado nivel de fiabilidad y disponibilidad.
GaussDB
Base de datos de procesamiento masivo paralelo que ofrece escalabilidad flexible, rendimiento excelente, fiabilidad sólida y elevada rentabilidad. Puede reemplazar los sistemas de almacenamiento de datos convencionales y lograr mayor eficacia en el proceso de toma de decisiones.

Escenarios de aplicación

Almacenamiento de datos convergente
Procesamiento offline
Consulta interactiva
Procesamiento en tiempo real

Almacenamiento de datos convergente

La solución de cloud privada de Huawei se centra en las principales industrias —como seguridad pública, operadoras, gobierno y finanzas— para desarrollar mercados de cloud privada. Basada en la nube privada, la solución FusionBridge desvía servicios de cloud privada a cloud pública para implementar un despliegue de cloud híbrida.

Procesamiento offline

Se analizan y procesan grandes volúmenes de datos para obtener resultados que se utilizarán más tarde. Las tareas de procesamiento offline no tienen unas exigencias estrictas para los tiempos de procesamiento, pero los datos se presentan en diversos formatos y a menudo alcanzan la escala de petabytes. El procesamiento offline implica con frecuencia varias tareas de MapReduce, Spark, Hive y Spark SQL y se aplica al preprocesamiento de datos y los análisis offline de sectores como las finanzas, la seguridad pública y las operadoras, entre otros.

Consulta interactiva

La consulta y análisis interactivos conllevan unos requisitos exigentes en cuanto a tiempo de respuesta e implican enormes volúmenes de datos. Normalmente, los datos usados en las consultas interactivas se procesan previamente de acuerdo con los modelos de datos adecuados a la tarea. La consulta interactiva incluye consultas precisas, consultas ad hoc, análisis de temas y otras tareas.

big data real time stream processing en 03

Procesamiento en tiempo real

Los datos se recopilan y se analizan en tiempo real, y los resultados se obtienen en el plazo correspondiente. Gracias a su capacidad para procesar con rapidez datos de diferentes fuentes con un elevado nivel de rendimiento, el procesamiento en tiempo real se aplica al control antifraude, la vigilancia de seguridad en tiempo real y otros escenarios.

Almacenamiento de datos convergente
Almacenamiento de datos convergente

La solución de cloud privada de Huawei se centra en las principales industrias —como seguridad pública, operadoras, gobierno y finanzas— para desarrollar mercados de cloud privada. Basada en la nube privada, la solución FusionBridge desvía servicios de cloud privada a cloud pública para implementar un despliegue de cloud híbrida.

Más información
Procesamiento offline
Procesamiento offline

Se analizan y procesan grandes volúmenes de datos para obtener resultados que se utilizarán más tarde. Las tareas de procesamiento offline no tienen unas exigencias estrictas para los tiempos de procesamiento, pero los datos se presentan en diversos formatos y a menudo alcanzan la escala de petabytes. El procesamiento offline implica con frecuencia varias tareas de MapReduce, Spark, Hive y Spark SQL y se aplica al preprocesamiento de datos y los análisis offline de sectores como las finanzas, la seguridad pública y las operadoras, entre otros.

Más información
Consulta interactiva
Consulta interactiva

La consulta y análisis interactivos conllevan unos requisitos exigentes en cuanto a tiempo de respuesta e implican enormes volúmenes de datos. Normalmente, los datos usados en las consultas interactivas se procesan previamente de acuerdo con los modelos de datos adecuados a la tarea. La consulta interactiva incluye consultas precisas, consultas ad hoc, análisis de temas y otras tareas.

Más información
Procesamiento en tiempo real
Procesamiento en tiempo real

Los datos se recopilan y se analizan en tiempo real, y los resultados se obtienen en el plazo correspondiente. Gracias a su capacidad para procesar con rapidez datos de diferentes fuentes con un elevado nivel de rendimiento, el procesamiento en tiempo real se aplica al control antifraude, la vigilancia de seguridad en tiempo real y otros escenarios.

Más información