Hadoop im Benchmark-Test

Wer über Nacht seine BI-Systeme anwirft, um die täglich einströmenden Datenmengen im Tera- und Petabyte-Bereich zu analysieren, hat schon verloren. Das ist die Kernaussage der Benchmark-Untersuchung "Hadoop and Information Management" von Ventana Research. [...]

Heute gehe es darum, riesige Datenmengen schnell zu verarbeiten, also zu erfassen, speichern, analysieren und für unternehmenskritische Entscheidungen heranzuziehen. Die aus dem Open-Source-Bereich stammende Parallelverarbeitung Hadoop ist prinzipiell in der Lage, mit riesigen Datenmengen schnell umzugehen und erfüllt damit die Bedürfnisse vieler Unternehmen. Allerdings, konstatiert der Ventana-Report, ist die Technik noch viel zu unbekannt, um flächendeckend produktiv arbeiten zu können. Das Marktforschungsunternehmen hat die Benchmark-Studie mit dem Ziel verfasst, einen Überblick über die Verwendung, die Reife sowie über Trends und Best Practices von Hadoop in der realen Welt zu vermitteln.

Dabei schneidet Hadoop durchgehend gut ab: Bei einer Evaluation von 13 Anwendungsgebieten war Hadoop Ventana Research zufolge anderen Techniken überlegen. Wer Hadoop verwendet, entwickelt leichter neue Produkte und Services, spart eher Kosten, kann schnellere Analysen durchführen, nutzt IT-Ressourcen effizienter und verkürzt die Zeit für das Sammeln und Verarbeiten von Daten dramatisch. Hadoop-Anwender gehen dabei mit sehr viel mehr Daten um, als die Nicht-Nutzer: Ein Drittel speichert und analysiert mehr als 100 Terabyte Rohdaten, während das bei der anderen Gruppe weniger als 20 Prozent tun. Fast die Hälfte der Hadoop-Nutzer (48 Prozent) verarbeiten mehr als 100 Gigabyte pro Tag, von den Nicht-Nutzern tun das nur 22 Prozent.

FORTGESCHRITTENE ANALYSEN
Die attraktivste Funktion von Hadoop ist dem Bericht zufolge die Fähigkeit, große Datenmengen schnell zu verarbeiten. Das entspricht den wichtigsten Evaluationskriterien: Skalierbarkeit und Performance. Die Nicht-Anwender haben jedoch andere Prioritäten: Hier stehen Sicherheit und Verschlüsselung an erster Stelle. 37 Prozent ersetzen mit Hadoop bereits bestehende Systeme, während zwei Drittel damit weiterarbeiten. Tatsächlich suchen viele Anwender in der Praxis nach funktionalen Ergänzungen etwa für die Verarbeitung unstrukturierter Daten zum Beispiel aus sozialen Netzwerken oder maschinengenerierten Logfiles. Hadoop-Anwender analysieren solche Daten signifikant häufiger als ihre Nicht-Hadoop-Kollegen. „Bei zwei Drittel der untersuchten Fälle haben wir Leute gefunden, die mit Hadoop fortgeschrittene Analysen machen, zu denen sie vorher nicht in der Lage waren“, so der Autor des Berichts, David Menninger.

Offenbar sind aber insgesamt die Qualifikationen für die produktive Arbeit mit Big Data in den Unternehmen eher unterentwickelt. Das gilt sowohl für die Hadoop-User als auch für die Nicht-Anwender. Vier Fünftel der Befragten bezeichnen diesen Missstand als Haupthindernis für Großdatenprojekte. Unternehmen, die solche Projekte initiieren wollen, sollten sich also um die passenden Mitarbeiter bzw. um Weiterbildungsmaßnahmen kümmern.

Zur Vorbereitung eines Big-Data-Projektes mit Hadoop empfiehlt Ventana die richtigen Auswahlkriterien: Skalierbarkeit, Performance, Community sind wichtig für Hadoop-Freunde, die mehr Wert auf das schnelle Laden von Daten legen, während Anwender anderer Systeme eher auf Abfragegeschwindigkeit setzen. Entscheidend ist laut Ventana, dass Hadoop neben anderen Technologien eingesetzt werden kann. Es gehe darum, neue Kapazitäten zu entdecken, nicht, bestehende zu ersetzen. Insofern sind bereits getätigte Investitionen mit Hadoop nicht hinfällig. (idg/oli)