Big Data

Présentation de la solution

La solution Big Data de Huawei est une offre de classe entreprise convergeant des fonctionnalités de stockage et d'analyse de données et des utilitaires Big Data. Grâce à cette plate-forme, les entreprises peuvent saisir de nouvelles opportunités commerciales et identifier leurs risques en analysant et en explorant rapidement de vastes ensembles de données. En février 2018, la solution de Big Data FusionInsight de Huawei avait déjà obtenu la confiance de plus de 1 000 clients issus de 55 pays. Huawei compte plus de 300 partenaires commerciaux et plusieurs laboratoires OpenLabs répartis à travers le monde, favorisant l'innovation conjointe avec ses clients et partenaires dans les domaines du cloud et du Big Data. Les solutions nées de ces collaborations sont utilisées à grande échelle dans les secteurs de la finance, des télécommunications, de l'administration, de l'énergie, de la santé, de la fabrication et du transport, pour ne citer qu'eux.

In the Moment: Les avantages de l'IA et de la solution de Big Data de Huawei In the Moment: Les technologies Big Data au service de la prévention de la criminalité

In Innovation: Quels sont les éléments dont l'IA a besoin pour stimuler l'innovation des entreprises ?

Avantages

Agile
- Un traitement des données en ligne et hors ligne présentant des délais de réponse inférieurs à une seconde, voire de l'ordre de la milliseconde.
- Les environnements et les API de développement secondaires aident les organisations à obtenir des déploiements 3 à 10 fois plus rapides.
- Un système d'exploitation et de maintenance convivial simplifie l'entretien des systèmes.
- Grâce à des capacités de migration d'activités agiles satisfaisant pleinement aux normes SQL, les organisations peuvent faire migrer en douceur leurs services conventionnels vers la plate-forme Big Data, ce sans la moindre modification de code.
Intelligent
- Capacités d'analyse de données approfondies avec une précision extrême englobant des millions de dimensions.
- Prend en charge les requêtes et analyses hautes performances, ainsi que les comparaisons multidimensionnelles.
Fiable
- Haute disponibilité de tous les composants.
- Le premier logiciel de Big Data entièrement conforme aux normes de sécurité des informations de la Chine applicables au secteur de la finance.
- Fiabilité et sécurité accrues.

Architecture de la solution

La solution Big Data de Huawei se compose de deux produits : FusionInsight HD et FusionInsight LibrA. FusionInsight HD est une version Hadoop pour entreprises, incluant de nombreux composants : HDFS, Yarn, HBase, Spark, MapReduce, Flink, Storm, Elk, Solr, Kafka, Loader, Flume, etc. FusionInsight LibrA est une base de données à traitement parallèle intensif, totalement évolutive, performante et fiable, pour un excellent rapport coût-efficacité.

HDFS

Assure un accès haut débit aux données. Conçu pour traiter de grands ensembles de données.

Yarn

Système de gestion de ressources de Hadoop 2.0, Yarn implémente la gestion des ressources et la planification des applications.

Spark

Framework IT distribué en mémoire.

Elk

Fournit un moteur SQL standard qui permet une migration simplifiée des applications traditionnelles vers la plate-forme Big Data.

MapReduce

Moteur de calcul distribué, prenant en charge le traitement massif de batches hors-ligne.

Flink

Framework de calcul unifié pour le traitement par lots et par flux. Basé sur un moteur de traitement de flux prenant en charge la distribution de données et le calcul parallèle.

Storm

Système distribué de traitement des flux de données en temps réel, fiable et tolérant aux erreurs. Il fournit des langages de requêtes similaires à SQL (StreamCQL).

Solr

Un serveur de recherche indépendant de classe entreprise, basé sur Apache Lucene.

Kafka

Système distribué et partitionné de publication-inscription de messages avec plusieurs copies.

Loader

Échange de données et de fichiers entre FusionInsight, les bases de données relationelles et les systèmes de fichiers.

HBase

Un système de stockage distribué "column-oriented", adapté au données de masse non structurées ou semi-structurées qui assure haute disponibilité, performances et évolutivité. HBase prend en charge la lecture et l'écriture des données en temps réel.

Flume

Système distribué de collecte, agrégation et transmission de logs, combinant disponibilité et fiabilité.
LibrA
Une base de données de traitement parallèle massif, offrant une grande évolutivité, des performances de pointes et une excellente fiabilité. Peut remplacer des systèmes conventionnels de data warehouse systems tout en renforçant l'efficacité de prise de décision.

Scénarios d'application

Offline Processing
Interactive Query
Real-Time Processing

Offline Processing

Massive sets of data are analyzed and processed, and the results are provided for later use. Offline processing jobs do not have intense requirements on processing time, but the data to be processed is in diverse formats and often reaches petabyte-scale. Offline processing frequently involves multiple MapReduce, Spark, Hive, and Spark SQL jobs and applies to data preprocessing and offline analysis in the finance, carrier, public security, and many other sectors.

Interactive Query

Interactive analysis and query have demanding requirements on response time and involve massive sets of data. Data used for interactive query is usually pre-processed based on data models suitable to the task. Interactive query includes precise query, ad hoc query, theme analysis, and other tasks.

Real-Time Processing

Data is collected and analyzed in real time, and analysis results are provided in a timely manner. Capable of rapidly processing data from diverse sources at high throughput, real-time processing applies to anti-fraud monitoring, real-time security surveillance, and other scenarios.

Offline Processing
Offline Processing

Massive sets of data are analyzed and processed, and the results are provided for later use. Offline processing jobs do not have intense requirements on processing time, but the data to be processed is in diverse formats and often reaches petabyte-scale. Offline processing frequently involves multiple MapReduce, Spark, Hive, and Spark SQL jobs and applies to data preprocessing and offline analysis in the finance, carrier, public security, and many other sectors.

En savoir plus
Interactive Query
Interactive Query

Interactive analysis and query have demanding requirements on response time and involve massive sets of data. Data used for interactive query is usually pre-processed based on data models suitable to the task. Interactive query includes precise query, ad hoc query, theme analysis, and other tasks.

En savoir plus
Real-Time Processing
Real-Time Processing

Data is collected and analyzed in real time, and analysis results are provided in a timely manner. Capable of rapidly processing data from diverse sources at high throughput, real-time processing applies to anti-fraud monitoring, real-time security surveillance, and other scenarios.

En savoir plus