Criteo steigert seine Kapazität für die Verarbeitung von „Big Data“

Der fortwährende Erfolg bedeutete für Criteo, ein führendes, weltweit agierendes Technologieunternehmen aus Frankreich, den Ausbau des firmeneigenen Netzwerks. FusionServer erwiesen sich als äußerst effiziente Lösung.

Hintergrund

Das 2005 gegründete Technologieunternehmen Criteo hilft Werbetreibenden dabei, durch personalisierte Performance-Werbung auf globaler Ebene mehr Verkäufe zu generieren. Die proprietären Prognose-Algorithmen können dem richtigen Benutzer zum richtigen Zeitpunkt das richtige Produkt in einem Werbemittel empfehlen. Criteo misst Erfolg auf Basis der Transaktionen, die einem Klick auf ein Criteo-Werbemittel folgen, und hilft Werbetreibenden dabei, den ROI transparent und messbar zu gestalten. Das Angebot ist extrem datenintensiv und wird durch ein Netzwerk von nahezu 17.000 Servern unterstützt.

Kernstück des Ganzen ist die größte in Privatbesitz befindliche Hadoop-Plattform der Welt. Dieses Open-Source-Software-Framework dient zur Speicherung sogenannter „Big Data“ und zur Ausführung von Anwendungen auf Clustern handelsüblicher Hardware. Es stellt eine riesige Menge an Speicherplatz für Daten aller Art sowie eine enorme Verarbeitungsleistung bereit; zudem lässt sich eine nahezu unbegrenzte Anzahl an gleichzeitigen Aufgaben oder Aufträgen durchführen. Criteo kann dadurch täglich bis zu 85.000 Aufträge verarbeiten.

Herausforderungen

Da der Onlinehandel immer beliebter wird, steigt auch die Nachfrage nach den Lösungen von Criteo stark an. Das sich daraus ergebende Anwachsen der Daten, die das Unternehmen verarbeitet, führte dazu, dass Criteo im Januar 2015 die Einrichtung eines neuen Hadoop-Clusters in Angriff nahm. Matthieu Blumberg, Engineering Director for Infrastructure Operations bei Criteo, erläutert:

„Im Hinblick auf Big Data sind wir zu der Erkenntnis gekommen, dass mehr Daten dazu führen, dass man noch mehr Daten will und auch braucht. Für uns bedeutete dies, dass unser vorhandenes Hadoop-Cluster für unsere Anforderungen zu klein wurde. Aus diesem Grund haben wir uns entschieden, ein neues Cluster einzurichten. Außerdem bot sich uns dadurch die Gelegenheit, die gesamte Infrastruktur zu überdenken und nach neuen Hardware-Anbietern Ausschau zu halten."

Lösung

Eine Angebotsanfrage für weitere Server wurde an sechs Unternehmen geschickt, darunter auch Huawei und der damalige Zulieferer. Auf Grundlage der eingegangenen Antworten wurden drei potenzielle Lösungen im Rahmen einer Vorauswahl bestimmt. Zu diesem Zeitpunkt kristallisierte sich Huawei als ernstzunehmender Kandidat heraus. Blumberg erläutert weiter:

„Wir waren von der Antwort von Huawei auf unsere Angebotsanfrage äußerst beeindruckt. Huawei hatte definitiv seine Hausaufgaben gemacht und ein tiefgreifendes Verständnis von unserer Arbeit mit Hadoop demonstriert. Die gelieferten Antworten waren nicht nur alle von großer Relevanz, sondern es wurden auch Alternativvorschläge zur Server-Energiezufuhr gemacht. Dies hat uns deutlich gezeigt, dass die Mitarbeiter von Huawei wirklich verstehen, wie ein Hadoop-Cluster funktioniert."

Die von Huawei angebotene Lösung basierte auf dem FusionServer, einem 2-HE-Dual-Socket-Rackserver der neuen Generation. Dieser stellt flexible Möglichkeiten für die Ressourcenerweiterung sowie eine hohe Rechenleistung bereit und eignet sich ideal für Internet, Big Data, Cloud-Computing und wichtige Unternehmensanwendungen.

Im Rahmen des Evaluierungsprozesses kaufte Criteo zehn Server von jedem der drei Anbieter und richtete mit jeder Gruppe ein kleines Hadoop-Cluster ein, sodass ein Vergleich der Leistung möglich war. Bei dieser Benchmark-Übung wurden Leistung, Linux-Fähigkeit, Energieverbrauch und Treiberunterstützung betrachtet. Da Huawei in allen Bereichen gut abschnitt, entschied sich Criteo für Huawei. Blumberg ergänzt:

„FusionServer hat all unsere Kriterien bestens erfüllt. Was uns an dem Unternehmen jedoch am meisten beeindruckt hat, ist die fortwährende Bereitschaft, uns zu helfen und unsere Fragen zu beantworten. Beispielsweise wollten wir auf einem Level auf die Festplatte zugreifen, auf das andere Anbieter nicht vorbereitet waren. Innerhalb weniger Tage wurden uns die Tools bereitgestellt, die wir hierfür benötigten.“

Vorteile

FusionServer schnitt im Vergleich zu den Wettbewerbern gut ab. Er bot mit ganzen sechzehn Festplatten pro Server – also einer mehr als bei der stärksten Konkurrenz – die höchste Festplattendichte. Und mit einem 20 Prozent geringeren Energieverbrauch stand Huawei auch in diesem Punkt besser da. Was für Criteo den Ausschlag gab: Es wurden nicht nur alle Kriterien erfüllt, sondern auch der Preis stimmte.

„Nach ein paar Monaten haben wir uns dafür entschieden, dass der FusionServer von Huawei zusammen mit der Hardware von unserem Hauptzulieferer im Rahmen unseres weltweiten Katalogs bereitgestellt werden sollte. Seit Anfang 2016 schaffen wir also bereits Server von Huawei für unsere Standorte in den USA, in Europa und in Asien an“, so Blumberg.

Mit Blick auf die Zukunft betrachtet Criteo Huawei als potenziellen Hauptzulieferer für viele Produkte, die für ein modernes Rechenzentrum benötigt werden. Entsprechend hat Criteo bereits weiteres Netzwerk-Equipment bei Huawei gekauft. Blumberg fasst zusammen:

„Huawei stellt die gesamte Produktpalette bereit, die für ein leistungsstarkes Rechenzentrum erforderlich ist. Vom modularen Container über Server bis hin zu Netzwerk-Switches – und all das aus einer Hand. Das ist wirklich ein überzeugendes Angebot."

Informationen zur Huawei Enterprise Business Group

Huawei Enterprise Business Group („Huawei Enterprise“) ist einer von drei Geschäftsbereichen von Huawei, einem führenden globalen Anbieter von Informations- und Kommunikations-Technologie (IKT). Huawei Enterprise nutzt seine starken F&E-Fähigkeiten und seine umfassende technische Fachkenntnis, um der globalen vertikalen Industrie und Unternehmenskunden im staatlichen und öffentlichen Bereich, der Finanzindustrie, Transport und Logistik, Versorgungs- und Energieunternehmen, Handelsgeschäften und ISPs ein breites Angebot an äußerst effizienten kundenorientierten IKT-Lösungen und Services anzubieten. Die innovativen und führenden Lösungen von Huawei Enterprise decken Netzwerkinfrastruktur, Unified Communications und Collaboration (UC&C), Cloud Computing und Datenzentren, Unternehmenssicherheit und Industrieanwendungen ab.

Weitere Informationen erhalten Sie unter: e.huawei.com/de