Ein Turbo für das Machine Learning

MLOps überträgt DevOps-Prinzipien aufs Machine Learning. Das fördert die Zusammenarbeit und beschleunigt Projekte. [...]

Praxisbeispiel und Fazit

Praxisbeispiel: ML und KI in Applikationen

Zu den Entwicklungsplattformen, die die MLOps-Lösungen von Cloud-Hyperscalern wie AWS, Google und Microsoft einbinden, zählt Mendix des gleichnamigen Anbieters, einer Sparte von Siemens.

„Die Datenaufbereitung und das Training überlassen wir den MLOps-Plattformen“, erklärt Johan den Haan, Chief Technology Officer bei Mendix. „Unsere Lösung übernimmt die Implementierungs- und Inferenzschritte, um die Integration und Ausführung zu beschleunigen.“

Mit der Plattform von Mendix können Unternehmen mithilfe von Low-Code-Techniken Machine-Learning-Modelle per Drag and Drop in Applikationen einbinden. Ein Vorteil ist die einfachere Integration. Es ist laut den Haan nicht nötig, Übersetzungen zwischen Anwendungsdaten und ML-Modell-Input vorzunehmen.

Die Plattform erledige dies automatisch für den Entwickler. Da das ML-Modell als Teil der Anwendung bereitgestellt werde, sei außerdem kein separater Dienst erforderlich, um es zu hosten oder zu betreiben.

„MLOps und DevOps können gleichermaßen mit Open-Source- wie mit kommerziellen
Tool-Stacks umgesetzt werden.“
Alexander Rode – Analyst Data & Analytics und Data Scientist bei BARC

Anwendungen mit integrierten ML-Funktionen funktionieren zudem auch offline, beispielsweise in Edge-Umgebungen in der Fertigung. Die Machine-Learning-Modelle werden auf dem System ausgeführt, auf dem eine App läuft. Ansätze von Anbietern wie Mendix erleichtern somit die Implementierung und Nutzung von Machine Learning und KI, beispielsweise auf dem „Factory Floor“ von Industrieunternehmen.

Wichtige Begriffe: Von DevOps bis MLOps

Inzwischen haben sich diverse „Ops“-Modelle im Umfeld von KI, Machine Learning und Software-Entwicklung etabliert. Wodurch sie sich unterscheiden, erläutert Joseph George, Vice President Product Management bei BMC Software.

DevOps: „Dies ist der vermutlich am weitesten verbreitete Begriff“, so Joseph George. Er bezieht sich auf Praktiken, Technologien und eine Philosophie, die Software-Entwicklungsteams (Dev) und IT-Betriebsteams (Ops) zusammenbringt und bestehende Silos aufbricht. Zudem forciert DevOps eine stärkere Zusammenarbeit bei Prozessen, anstatt „Mauern aufrechtzuerhalten und die Schuld bei anderen zu suchen“, so der Fachmann von BMC Software.

AIOps: Ein Ansatz, der bei der Verwaltung komplexer IT-Abläufe hilft und die Verfügbarkeit und Bereitstellung von Diensten optimiert. AIOps nutzt maschinelles Lernen, prädiktive Analysen und KI, um den IT-Betrieb zu automatisieren, zu erweitern und zu verbessern. AIOps ist vor allem aus einem Grund wichtig: Angesichts der zunehmenden Komplexität von IT-Umgebungen und der dynamischen Natur moderner Infrastrukturen, von containerisierten Architekturen bis hin zu Serverless Computing auf Cloud-Plattformen, lassen sich herkömmliche regelbasierte Ansätze zur Ereigniskorrelation und Ursachenanalyse nicht mehr skalieren.

MLOps: Eine Praxis, die dabei hilft, den Lebenszyklus von ML-Modellen zu verwalten, also die Bereitstellung, die Überwachung, das Lebenszyklus-Management und die Governance. Dabei werden technische und agile Praktiken zusammengeführt. „Machine-Learning-Modelle werden dabei in Bezug auf das Lifecycle-Management und die Entwicklung wie Software behandelt und verwaltet.“

DataOps: Der Begriff steht für eine Methodik, die Praktiken, Tools und Frameworks für die Datenverwaltung in Unternehmen beschreibt. DataOps überbrückt die Lücke zwischen Datenerfassung und -analyse und datengesteuerter Entscheidungsfindung. Der Ansatz ermöglicht es Unternehmen, auf effiziente
Weise analytische Erkenntnisse zu gewinnen. Praktisch gesehen handelt es sich dabei um die Anwendung von agilem Engineering und DevOps-Praktiken auf den Bereich des Datenmanagements. „Dabei liegt der Schwerpunkt letztlich auf der Überwachung und Optimierung des Zustands und der Leistung von Unternehmensdaten“, so Joseph George.

Fazit & Ausblick

Zweifellos sind Ansätze wie MLOps und AIOps wichtig, damit Unternehmen Entwicklungsprojekte in den Bereichen Machine Learning und Künstliche Intelligenz schneller, effizienter und mit einer höheren Erfolgsquote abschließen können.

Dies vor allem vor dem Hintergrund, dass sich klassische Software-Entwicklung vom Training und Operationalisieren von ML- und KI-Modellen deutlich unterscheidet. Doch mit MLOps und AIOps allein ist es nicht getan. Was fehlt, ist eine Möglichkeit, KI- und ML-Modelle, die im Produktivbetrieb eingesetzt werden, in ein unternehmensweites Lebenszyklus-Management einzubinden.

Die Lösung heißt nach den Vorstellungen des Beratungsunternehmens Gartner ModelOps. Gemeint ist damit die Operationalisierung und das Management von KI-und Machine-Learning-Modellen sowie von deren Entscheidungsgrundlagen über den gesamten Lifecycle hinweg.

Darin eingeschlossen sind Risikobewertungen und Audits, außerdem die Abschätzung des geschäftlichen Nutzens und der Zuverlässigkeit von KI- und Machine-Learning-Anwendungen in der Praxis. Solche Faktoren sind weniger für den Data Scientist von Belang, dafür aber für CIOs, das Management und Compliance-Fachleute.

Die Diskussion über ModelOps zeigt allerdings, dass mittlerweile auch für Geschäftsführer und Fachabteilungsleiter Künstliche Intelligenz und Machine Learning zu strategisch relevanten Technologien werden.

Services und Lösungen für MLOps (Auswahl)
Anbieter	Lösung(en)	Details
Akira.AI	Akira AI – MLOps Platform	MLOps-Plattform mit Lifecycle-Management, Monitoring, Governance-Funktionen, Implementierung in Containern; Zugang zu Konnektoren, Frameworks, Analyse-Tools und so weiter
Amazon Web Services	Amazon Sagemaker for MLOps; MLOps Workload Orchestrator	Sagemaker for MLOps mit MLOps-Tools, u. a. für automatisiertes Training und Monitoring von ML-Modellen, Collaboration und Bereitstellung von ML-Infrastruktur „as code“; Workload Orchstrator als Framework für Management von ML-Pipelines
Cloudera	Cloudera Data Plat-form; CDP ML	CDP Machine Learning für MLOps und ML-Workflows; Zugang zu unterschiedlichen Tools; Lifecycle-Management für Daten und ML-Modelle
cnvrg.io	cnvrg.io Metacloud	Plattform für KI und Machine Learning; für Cloud-Umgebungen (AWS, Google, Microsoft) und On Premises; MLOps-Lösung in Verbindung mit ThinkSystem-Servern von Lenovo
Databricks	MLFlow	Herstellerneutraler Ansatz ohne Bindung an einen Cloud-Service-Provider; Plattform für das Management des ML-Lebenszyklus
Dataiku	Dataiku-Plattform	Plattform für KI, ML, Datenaufbereitung, DataOps und MLOps; Nutzung On-Premises oder in Cloud-Umgebungen von AWS, Google und Microsoft; Erstellen von ML-Modellen mit AutoML
DataRobot	DataRobot AI Cloud Platform	Cloud-Plattform für KI- und ML-Entwicklung, inklusive MLOps-Funktionen und Data Engineering
Domino Data Lab	Domino Enterprise MLOps Platform	MLOps-Plattform für Unternehmen; Zugang zu diversen Data-Science-Tools und Infrastrukturkomponenten nach dem Self-Service-Prinzip
Google	Google Cloud AI Platform; Google Kubeflow	Google-Cloud-Plattform als Basis für Einrichten von MLOps, etwa mit Kubeflow Pipelines, MLFlow von Databricks, TensorFlow Extended, Google Kubernetes Engine
H20 MLOps	H20 AI Cloud	Cloud-Plattform für Management, Implementierung, Governance und Monitoring von ML-Modellen
HPE	HPE Ezmeral MLOps	Vorkonfiguriert auf Basis der HPE-Ezmeral-Plattform; On-Premises oder in Public Cloud (AWS, Google, Microsoft); unterstützt ML-Modelle in Containern; vorkonfektionierte Tools
IBM	IBM Cloud Pak for Data	Cloudbasierte Daten- und KI-Plattform; mit Governance- und Lifecycle-Management-Funktionen für ML-Modelle; Automatisierung mittels MLOps
Iguazio	Iguazio MLOps Platform	Plattform mit Online- und Offline-Feature-Store, automatisiertem Monitoring, Drift Detection, erneutes Training und Skalierung von Modellen; auch Bereitstellung als gemanagte Lösung
Mendix	Mendix Platform; Mendix ML Kit	Integration von Machine-Learning-Modellen in Mendix-Anwendungen; Basis: Low-Code-Prinzipien
Microsoft	Azure Machine Learning MLOps	Umfassende MLOps-Funktionen, Nachvollziehbarkeit, automatische Skalierung von Ressourcen, Governance, Erstellen von Workflows und Modellen; Lifecycle-Management
Mphasis	Pace ML Platform	MLOps-Plattform mit Deployment Pipelines, Monitoring-Funktionen, Modell-Management, Governance, Drift Detection; Echtzeit-Überwachung
Neptune AI	Neptune AI Meta Data Store	Metadaten-Store für ML-Modelle; Konsolidierung von Metadaten an einem Ort für Zugriff durch unterschiedliche Teams; Debugging und Vergleich von Daten und ML-Modellen
Nvidia	Nvidia DGX Ready Program; Triton Inference Server	Triton Inference Server als Open-Source-Software für Bereitstellung von KI-/ML-Modellen auf CPU-/GPU-Plattformen; DGX Ready Softwareprogramm mit zertifizierten MLOps-Lösungen für den Einsatz auf Nvidias DGX-Systemen
Red Hat	Red Hat OpenShift	Integrierte MLOps-Funktionen in Red Hats Hybrid-Cloud-Plattform für Orchestrierung von Containern, darunter OpenShift Pipelines und OpenShift GitOps; Funktionen für Monitoring, Implementierung
Seldon	Seldon Core Enterprise; Seldon Deploy	Core Enterprise als Framework für Paketierung, Implementierung, Monitoring und Verwaltung von ML-Modellen; Seldon Deploy als MLOps-Enterprise-Plattform für Implementierung von ML-Modellen auf Kubernetes; inklusive Governance- und Monitoring-Funktionen
Valohai	Valohai MLOps Platform	MLOps-Plattform für Betrieb On Premises oder Cloud-Plattformen (AWS, Google, Microsoft Azure); Unterstützung von Kubernetes; Funktionen u. a. automatisierte ML-Learning-Pipelines, Implementierung und Monitoring von Modellen sowie Versionierung; Schwerpunkt auf einfacher Nutzung

Services und Lösungen für MLOps (Auswahl)

*Bernd Reder ist seit rund 30 Jahren als Fachjournalist im Bereich Informationstechnik tätig. Zu seinen Schwerpunkten zählen die Bereiche Netzwerktechnik, Cloud Computing und IT-Sicherheit. Außerdem beschäftigt er sich mit interessanten neue Technologien, beispielsweise der künstlichen Intelligenz und Quantencomputern. Reder ist seit rund zehn Jahren als freier Journalist tätig. Zuvor war er für Fachmagazine wie Elektronik, NetworkWorld, Digital World und Network Computing tätig. Um sich für das Schreiben fit zu halten, geht Reder regelmäßig auf die Piste – zu Fuß beim Joggen und mit dem Mountainbike.