Hadoop im Benchmark-Test

Wer über Nacht seine BI-Systeme anwirft, um die täglich einströmenden Datenmengen im Tera- und Petabyte-Bereich zu analysieren, hat schon verloren. Das ist die Kernaussage der Benchmark-Untersuchung "Hadoop and Information Management" von Ventana Research. [...]

Heute gehe es darum, riesige Datenmengen schnell zu verarbeiten, also zu erfassen, speichern, analysieren und für unternehmenskritische Entscheidungen heranzuziehen. Die aus dem Open-Source-Bereich stammende Parallelverarbeitung Hadoop ist prinzipiell in der Lage, mit riesigen Datenmengen schnell umzugehen und erfüllt damit die Bedürfnisse vieler Unternehmen. Allerdings, konstatiert der Ventana-Report, ist die Technik noch viel zu unbekannt, um flächendeckend produktiv arbeiten zu können. Das Marktforschungsunternehmen hat die Benchmark-Studie mit dem Ziel verfasst, einen Überblick über die Verwendung, die Reife sowie über Trends und Best Practices von Hadoop in der realen Welt zu vermitteln.

Dabei schneidet Hadoop durchgehend gut ab: Bei einer Evaluation von 13 Anwendungsgebieten war Hadoop Ventana Research zufolge anderen Techniken überlegen. Wer Hadoop verwendet, entwickelt leichter neue Produkte und Services, spart eher Kosten, kann schnellere Analysen durchführen, nutzt IT-Ressourcen effizienter und verkürzt die Zeit für das Sammeln und Verarbeiten von Daten dramatisch. Hadoop-Anwender gehen dabei mit sehr viel mehr Daten um, als die Nicht-Nutzer: Ein Drittel speichert und analysiert mehr als 100 Terabyte Rohdaten, während das bei der anderen Gruppe weniger als 20 Prozent tun. Fast die Hälfte der Hadoop-Nutzer (48 Prozent) verarbeiten mehr als 100 Gigabyte pro Tag, von den Nicht-Nutzern tun das nur 22 Prozent.

FORTGESCHRITTENE ANALYSEN
Die attraktivste Funktion von Hadoop ist dem Bericht zufolge die Fähigkeit, große Datenmengen schnell zu verarbeiten. Das entspricht den wichtigsten Evaluationskriterien: Skalierbarkeit und Performance. Die Nicht-Anwender haben jedoch andere Prioritäten: Hier stehen Sicherheit und Verschlüsselung an erster Stelle. 37 Prozent ersetzen mit Hadoop bereits bestehende Systeme, während zwei Drittel damit weiterarbeiten. Tatsächlich suchen viele Anwender in der Praxis nach funktionalen Ergänzungen etwa für die Verarbeitung unstrukturierter Daten zum Beispiel aus sozialen Netzwerken oder maschinengenerierten Logfiles. Hadoop-Anwender analysieren solche Daten signifikant häufiger als ihre Nicht-Hadoop-Kollegen. „Bei zwei Drittel der untersuchten Fälle haben wir Leute gefunden, die mit Hadoop fortgeschrittene Analysen machen, zu denen sie vorher nicht in der Lage waren“, so der Autor des Berichts, David Menninger.

Offenbar sind aber insgesamt die Qualifikationen für die produktive Arbeit mit Big Data in den Unternehmen eher unterentwickelt. Das gilt sowohl für die Hadoop-User als auch für die Nicht-Anwender. Vier Fünftel der Befragten bezeichnen diesen Missstand als Haupthindernis für Großdatenprojekte. Unternehmen, die solche Projekte initiieren wollen, sollten sich also um die passenden Mitarbeiter bzw. um Weiterbildungsmaßnahmen kümmern.

Zur Vorbereitung eines Big-Data-Projektes mit Hadoop empfiehlt Ventana die richtigen Auswahlkriterien: Skalierbarkeit, Performance, Community sind wichtig für Hadoop-Freunde, die mehr Wert auf das schnelle Laden von Daten legen, während Anwender anderer Systeme eher auf Abfragegeschwindigkeit setzen. Entscheidend ist laut Ventana, dass Hadoop neben anderen Technologien eingesetzt werden kann. Es gehe darum, neue Kapazitäten zu entdecken, nicht, bestehende zu ersetzen. Insofern sind bereits getätigte Investitionen mit Hadoop nicht hinfällig. (idg/oli)


Mehr Artikel

News

Jahrelanges Katz-und-Maus-Spiel zwischen Hackern und Verteidigern

Sophos hat den umfangreichen Forschungsbericht „Pacific Rim“ veröffentlicht, der detailliert ein jahrelanges Katz-und-Maus-Spiel aus Angriffs- und Verteidigungsoperationen mit mehreren staatlich unterstützten Cybercrime-Gruppierungen aus China beschreibt. Im Lauf der Auseinandersetzung entdeckte Sophos ein riesiges, gegnerisches Cybercrime-Ökosystem. […]

News

Salesforce kündigt autonome KI-Agenten an

Agentforce soll es Unternehmen ermöglichen, autonome KI-Agenten für zahlreiche Unternehmensfunktionen zu entwickeln und einzusetzen. So bearbeitet Agentforce beispielsweise selbstständig Kundenanliegen, qualifiziert Vertriebsleads und optimiert Marketingkampagnen. […]

News

Startschuss für neues Studium „Softwaretechnik & Digitaler Systembau“ am Biotech Campus Tulln

Mit einem fortschrittlichen Konzept und praxisnaher Ausrichtung ist der neue Bachelor-Studiengang „Softwaretechnik & Digitaler Systembau“ am Biotech Campus Tulln der Fachhochschule Wiener Neustadt erfolgreich gestartet. Unter der Leitung von Dominik Hölbling erwartet die Studierenden eine Ausbildung mit Schwerpunkt auf moderne Softwaretechnologien und innovative Digitalisierungslösungen. […]

Be the first to comment

Leave a Reply

Your email address will not be published.


*