Data Intelligence Platform vorgestellt

Data Intelligence Plattformen (DI-Plattformen) sollen den Zugang zu Daten demokratisieren, die manuelle Verwaltung automatisieren und das schlüsselfertige Erstellen maßgeschneiderter KI-Anwendungen ermöglichen. [...]

Vor fünf Jahren hat Databricks mit dem Konzept des Lakehouse Pionierarbeit geleistet: Lakehouses speichern und verwalten alle Daten in offenen Formaten und unterstützen nativ Workloads von BI bis KI. Zum ersten Mal boten Lakehouses ein einheitliches System, um alle Datenquellen in einem Unternehmen gemeinsam abzufragen und alle Workloads, die Daten verwenden (BI, KI und so weiter), auf einheitliche Weise zu steuern. Lakehouse wurde zu einer eigenen Kategorie von Datenplattformen und wird seitdem von vielen Unternehmen übernommen und in die Stacks der meisten Anbieter integriert.

DI-Plattformen bauen auf der Grundlage des Lakehouse auf, analysieren aber automatisch sowohl die Daten (Inhalte und Metadaten) als auch die Art und Weise, wie sie verwendet werden (Abfragen, Berichte, Datenverläufe und so weiter), um neue Funktionen hinzuzufügen. Durch dieses tiefe Verständnis der Daten ermöglichen DI-Plattformen:

• Zugang in Natural Language:
  • Durch den Einsatz von KI-Modellen ermöglichen DI-Plattformen die Arbeit mit Daten in natürlicher Sprache, die auf den Jargon und die Akronyme des jeweiligen Unternehmens zugeschnitten ist. Die Plattform beobachtet, wie Daten in bestehenden Workloads verwendet werden, um die Begriffe des Unternehmens zu erlernen, und bietet allen Nutzern – vom Laien bis zum Data Engineer – ein maßgeschneidertes Natural Language Interface.
• Semantische Katalogisierung und Erkennung:
  • Generative KI kann das Datenmodell, die Metriken und die KPIs jedes Unternehmens verstehen, um unvergleichliche Discovery-Funktionen anzubieten oder automatisch Diskrepanzen in der Datennutzung zu identifizieren.
• Automatisierte Verwaltung und Optimierung:
  • KI-Modelle können das Datenlayout, die Partitionierung und die Indizierung auf der Grundlage der Datennutzung optimieren und so den Bedarf an manueller Abstimmung und Knopfkonfiguration verringern.
• Verbesserte Governance und Datenschutz:
  • DI-Plattformen können den Missbrauch sensibler Daten automatisch erkennen, klassifizieren und somit verhindern sowie gleichzeitig die Verwaltung durch natürliche Sprache vereinfachen.
• Unterstützung für KI-Workloads:
  • DI-Plattformen können jede KI-Anwendung im Unternehmen verbessern, indem sie eine Verbindung zu den relevanten Geschäftsdaten herstellen und die von der DI-Plattform erlernte Semantik (Metriken, KPIs und so weiter) nutzen, um genaue Ergebnisse zu liefern. Entwickler von KI-Anwendungen müssen Intelligenz nicht mehr durch sprödes Prompt-Engineering zusammenbasteln.

Databricks integriert DatabricksIQ direkt in seine KI-Plattform Mosaic AI, um Unternehmen die Erstellung von KI-Anwendungen, die ihre Daten verstehen, zu erleichtern. Weitere Informationen finden Sie hier.

*Bernhard Lauer beschäftigt sich seit Jahrzehnten mit IT-Themen und bereitet diese als Autor und Redakteur auf – unter anderem für die dotnetpro. Programmieren gelernt hat er mit dem C64 und Basic. Er hat über die Anfänge von Java, JavaScript, HTML und .NET berichtet und sich zuletzt mit Python beschäftigt, nicht zuletzt deshalb, weil es ohne Semikolons auskommt ;-).