data Artisans: Mit Stream Processing der Datenfülle Herr werden

Um die bei Big Data entstehenden Datenmasse zu bewältigen und effizient zu nutzen, sind neue Technologien gefragt. Ein erfolgsversprechender Ansatz ist nach Ansicht von data artisans dabei Stream Processing. [...]

Stream Processing, also Datenstromverarbeitung, ist eine Big-Data-Technologie und steht für einen neuen Ansatz in der Datenverarbeitung. Der grundlegende Ansatz unterscheidet sich von allen bisher verwendeten Technologien zur Datenverarbeitung, beispielsweise der Batch– oder Stapelverarbeitung.

„Klassische Datenbanken basieren auf dem Ansatz, dass Daten zunächst abgespeichert werden müssen, um diese zu verarbeiten. Durch Geschäftsanalysesoftware, wie etwa Business-Intelligence-Lösungen, konnten Unternehmen früher nur rückblickend Erkenntnisse aus den Daten gewinnen, um dann – mit entsprechender Verzögerung, quasi rückblickend – Maßnahmen zu ergreifen“, erklärt Stephan Ewen, CTO und Co-Gründer der data Artisans aus Berlin. „Mit dem enormen Wachstum an verfügbaren Daten hat sich einiges verändert. Die heute immensen Datenmengen sind oft nur kurzfristig im Umlauf und können gar nicht erst langfristig gespeichert werden. Stream Processing bewältigt diese Herausforderung, indem riesige Mengen an Daten, sobald sie generiert werden, bereits in Bewegung – also als Datenstrom – verarbeitet werden können.“

Fünf Entwicklungen helfen Stream Processing zu verbreiten

Konkret erwartet der Experte von data Artisans für das kommenden Jahr fünf Entwicklungen, welche die Verbreitung von Stream Processing noch weiter beschleunigen werden:

1. Die explosionsartige Zunahme von KI–Anwendungen wird die verteilte Stream-Verarbeitung zu einer Notwendigkeit machen. Neben den reinen Streaming-Maschinenlerntechniken wird die Stream-Verarbeitung zu einem zentralen Element, um komplexe Merkmalsvektoren zusammenzustellen, die in die anspruchsvollen Prädiktoren des maschinellen Lernens einfließen. Verteilte, leistungsstarke Stream Processing Frameworks werden zu einer Notwendigkeit avancieren, um immer komplexere Echtzeitdaten im großem Maßstab für Modelle und Algorithmen des maschinellen Lernens effizient zu modellieren und eine Vorverarbeitung durchzuführen.
2. Stream Processing wird für komplexes Datenmanagement eingesetzt. Anstatt relationale Datenbanken zu verwenden, können Stream-Prozessoren ACID-Transaktionen direkt über Streams und Zustände hinweg verarbeiten. Da Ereignisströme die Quelle der Wahrheit für Veränderungen in der Welt sind, kann die ACID-konforme Stream-Verarbeitung viele Streams mit überlappenden und widersprüchlichen Änderungen in einen konsistenten Zustand der Welt auflösen – und das zu einem Bruchteil der Kosten und mit deutlich größerer Flexibilität und einfacherer Bereitstellung.
3. 5G und die zunehmende Verbreitung von Sensoren und IoT-Geräten werden mehr Echtzeit–Streaming–Daten und mehr Anwendungsfälle schaffen, die eine sofortige Reaktion auf Ereignisse erfordern. Die Stream-Verarbeitung wird als effiziente Herangehensweise zur Realisierung von „Edge Computing“ eingesetzt. So eignet sich die Stream-Verarbeitung hervorragend sowohl für die Vorverarbeitung von Daten auf Geräten oder Gateways als auch für die Ausführung ereignisgesteuerter Logik am Edge.
4. Immer mehr Unternehmen werden erkennen, dass die Stream-Verarbeitung ein einfacher Weg ist, um eine DSGVO-konforme Dateninfrastruktur aufzubauen. Klassische „Data-at-Rest“-Architekturen machen die Erfassung, wo sensible Daten exisitieren zu einer äußerst komplexen Aufgabe. Streaming-Datenarchitekturen arbeiten direkt mit den Daten in Bewegung – und erfordern keine langfristige Speicherung oder Datenreplikation. Dies macht es einfach, sensible Daten für eine begrenzte Zeit im Anwendungszustand isoliert zu halten, wodurch die Datenschutzkonformität gewährleistet ist.
5. Die Cybersicherheit wird ihren Wachstumskurs als eines der wichtigsten Themen der Informationstechnologie fortsetzen. Um Sicherheitsverletzungen zu erkennen und zu verhindern, müssen Cybersicherheitslösungen nach Anomalien in den Metriken und Nutzungsmustern der Netzwerkinfrastruktur, Anwendungen, Dienste etc. suchen. Der Einsatz der Stream-Verarbeitung wird in der Cybersicherheit weiter zunehmen, da die Technologie diesen Anforderungen hervorragend gerecht wird: Echtzeit-Erfassung und -Aggregation von Ereignissen, Verfolgung komplexer Muster sowie Auswertung und Anpassung von ML-Modellen über Echtzeitdaten.