Talend stellt Big Data Profiling für Hadoop vor

Open-Source-Anbieter Talend hat seiner Integrationsplattform jetzt Big-Data-Profiling für Apache Hadoop hinzugefügt. [...]

Die Lösung adressiert eines der größten Probleme, denen Unternehmen im Zusammenhang mit Big Data gegenüber stehen: Schlechte Datenqualität sorgt für Ineffizienz, verlorene Kunden, Verkäufe und Umsätze und kostet US-Unternehmen dadurch laut einer Untersuchung von Ovum (“Best Practices for Evaluating Data Quality Tools”, Oktober 2010) geschätzte 700 Mio. Dollar pro Jahr.

Data-Profiling – die Untersuchung der Beschaffenheit und des Zustands von Daten, die in unterschiedlicher Form im ganzen Unternehmen gespeichert sind – ist ein wichtiger Schritt, um die Kontrolle über Datenberge zu behalten. „Wenn Organisationen nicht vorsichtig sind, verkommen ihre Investitionen in Big Data von einem strategischen Gut zu einem unkontrollierbaren Ballast“, so Fabrice Bonan, Mitgründer und Chief Technical Officer bei Talend. „Um Daten effektiv zu nutzen und ihre Qualität zu verbessern, ist es enorm wichtig, sie zu verstehen. Talend bietet Möglichkeiten zum Profiling, um die Struktur und den Qualitätsgrad von Daten zu verstehen, die in Big-Data-Plattformen wie Hadoop gespeichert sind. Als erster Open-Source-Anbieter von Data-Quality-Lösungen sind wir in der Lage, in großen Datenbeständen Details aus verschiedenen Blickwinkeln zusammenzufassen. Das macht Talend zu einem leistungsfähigen Werkzeug für Geschäftsanalysten und Datenwissenschaftlern.“

Die Talend Platform for Big Data enthält eine Reihe neuer Möglichkeiten für tiefgehende, unternehmensweite Transparenz aller Big Data an zahlreichen Orten und in vielen Formaten:
– Mit Profiling können Anwender die Daten in ihren Hive-Datenbanken auf Hadoop analysieren. Das Profiling geschieht „in place“, das bedeutet, Daten müssen vor dem Profiling nicht erst aus Hadoop extrahiert werden.
– Talend-Data-Profiling nutzt die Leistung eines Hadoop-Clusters. Dadurch können Anwender zusätzliche Server einsetzen, um die Performance zu verbessern und wachsende Datenbeständen zu meistern.
– Zur Analyse wird eine kundenspezifische Grafik erstellt, die über den Qualitätsgrad der Daten in einer Organisation Auskunft gibt. Die Untersuchung der Datenqualität beinhaltet Standardtests für alle Arten von Daten, wie etwa leere/ fehlende Werte, die Zahl von Doppeleinträgen, die Länge und Beschaffenheit von Daten. Weitere Tests untersuchen spezielle Datendomains, beispielsweise E-Mail- und Telefonnummernvalidierung. Diese Tests können angepasst und nach Bedarf ausgeweitet werden.

Neben Data-Profiling bietet die Talend Platform for Big Data die Bereinigung und Anreicherung von Daten, Datenmigrations- und Synchronisationsfunktionen für Hadoop-Plattformen. Talend Big Data Profiling wird im November 2012 mit der neuen Version Talend v5.2 veröffentlicht. (pi)