Edge-KI – Intelligenz für Maschinen

Mit Künstlicher Intelligenz am Edge lassen sich neue Anwendungsfelder erschließen. com! professional zeigt, wie das möglich ist. [...]

Mehrere Terabyte pro Tag

Hinzu kommen die großen Datenvolumina, die vor Ort anfallen, etwa an einer Maschine, in einem autonomen Fahrzeug oder einem automatisierten Lager. Nach Angaben des finnischen Edge-KI-Spezialisten Advian erzeugen beispielsweise die 50.000 Sensoren eines Passagierflugzeugs des Typs Airbus A350 täglich 2,5 Terabyte an Daten. Bei der Erprobung von hochautomatisierten Fahrzeugen sind es nach Einschätzung von Forschern des Karlsruher Instituts für Technologie (KIT) 4 bis 8 Terabyte täglich.

Solche Datenmengen in ein (Cloud-)Rechenzentrum zu übertragen, erfordert Netzwerkverbindungen mit hohen Bandbreiten. Diese sind jedoch kostspielig und zudem nicht überall verfügbar. Abhilfe im mobilen Bereich können 5G-Mobilfunkverbindungen schaffen, die hohe Übertragungsraten mit kurzen Latenzzeiten von wenigen Millisekunden verbinden. Doch auch hier sind Faktoren wie die Kosten und die Übertragungskapazitäten zu berücksichtigen, vor allem in Räumen mit vielen Nutzern.

„Die Verarbeitung großer Datenmengen durch IoT-Systeme muss häufig in Echtzeit erfolgen und benötigt daher Latenzzeiten von nahe null.“

Salim Khodri – EMEA Edge Go-to-Market Specialist bei Red Hat

Bildsensoren und Mikrocontroller mit KI

Um KI und maschinelles Lernen in Edge-Systeme zu integrieren, gibt es viele Optionen. So hat beispielsweise Sony KI-Funktionen in die Bildsensoren der IMX500-Reihe integriert. Auch Mikrocontroller (MCUs) lassen sich mithilfe von schlanken Neuronal Network Frameworks wie Neural Network on Microcontroller (NNoM) und TinyML um solche Funktionen ergänzen.

MCUs kommen beispielsweise in Embedde- AIoT-Systemen (Artificial Intelligence of Things) zur Anwendung. Siemens wiederum bietet seit mehreren Jahren Steuerungen der Simatic-Reihe an, die mit KI-Prozessoren der Reihe Movidius Myriad X von Intel ausgestattet sind. Außerdem setzt Siemens für die optische Qualitätskontrolle in Fabriken mithilfe von IoT-Systemen Edge-KI-Plattformen und Anwendungs-Frameworks ein, etwa von Nvidia.

Für Aufgaben, die höhere Rechenleistung benötigen, kommen Computer in Betracht, die mit KI-Prozessoren ausgestattet sind. Dies können Industrie-PCs sein, aber auch kompakte Systeme für den Outdoor-Einsatz. Ein Beispiel sind die Edge-KI-Lösungen der AIE800-Reihe von Axiomtek auf Basis der KI-Plattform Jetson Xavier NX von Nvidia.

Solche Systeme verkraften Temperaturen von minus 30 bis plus 50 Grad Celsius und sind gegen Spritzwasser geschützt. Einsatzfelder sind etwa Verkehrsmanagementsysteme sowie raue Umgebungen wie Fabriken, das Außengelände von Unternehmen und Kraftwerke.

Herausforderungen von Edge-KI

Damit Edge-KI den erhofften Nutzen bringt, müssen Anwender mehrere Faktoren berücksichtigen, erläutert Salim Khodri, EMEA Edge Go-to-Market Specialist bei Red Hat. Zu beachten sind insbesondere folgende Herausforderungen:

• Der Aufwand beim Einsatz vieler Sensoren in IoT-Umgebungen: „Dies kann kostenintensiv und zeitaufwendig sein“, sagt Khodri.
• Hohe Komplexität: Die meisten Branchen, in denen KI am Edge vorangetrieben wird, wollen die neuen Anwendungen innerhalb der gesamten Infrastruktur bereitstellen. „Bedenkt man, wie komplex Unternehmen aus dem Einzelhandel, dem Gesundheitswesen oder der Fertigung sind, führt das oft zu Installationen an mehreren Standorten, wo es dann an geeigneter IT- oder Security-Infrastruktur fehlt“, gibt der Experte von Red Hat zu bedenken.
• Edge-Computing an Remote-Standorten mit wenigen oder keinen IT-Fachleuten: IT-Teams suchen aus diesem Grund nach einem Betriebsmodell, das ähnliche Automatisierungs- und Lifecycle-Management-Funktionen bietet wie zentrale Rechenzentren und die Public Cloud.
• Interoperabilität von Komponenten: „Es gibt keinen Anbieter, der einen vollständigen Edge-Stack liefern kann“, konstatiert Khodri. Unternehmen müssten daher in ihren Edge-Umgebungen auf die Interoperabilität der Hardware und Software achten, die von unterschiedlichen Anbietern stammt. Allein KI sei ein Bereich, in dem viele Akteure zusammenarbeiten müssten. Daher sei es kaum möglich, den Technologie-Stack für KI am Edge von einem einzigen Unternehmen zu beziehen.
• Ökosphäre von Anbietern berücksichtigen: Anwender sollten auf Infrastrukturen setzen, mit denen sich Lösungen unterschiedlicher Anbieter verwalten lassen. Eine solche Ökosphäre hat beispielsweise Red Hat zusammen mit Lösungen von Anbietern wie Nvidia und Intel aufgebaut. Die Hard- und Software aller Beteiligen ist zertifiziert und arbeitet mit den Lösungen der anderen Anbieter zusammen.
• IT-Sicherheit: „Edge-Umgebungen brauchen Schutz, daher müssen auch KI-Prozesse Security integrieren“, stellt Salim Khodri fest. „Denn die Absicherung von KI-Systemen, ihrer Daten und ihrer Kommunikation ist sowohl für den Schutz von Anwendern und Daten als auch der Investitionen unverzichtbar, die Unternehmen in die neuen Lösungen tätigen.“

Machine-Learning-Modelle für den Edge

Um die Machine-Learning-Modelle zu erstellen, die auf Edge-Systemen laufen, sind zwei Schritte erforderlich: Training und Klassifizierung. Und hier kommt doch die Cloud ins Spiel, so Robert Blumofe von Akamai: „Das Training erfolgt offline und erfordert große Datenmengen, die als Beispiele verwendet werden. Daher wird es häufig in einer Cloud durchgeführt.“ Ergebnis des Trainings ist ein Modell, das zur Klassifizierung verwendet wird.

Die Klassifizierung erfolgt online in Echtzeit und unter Verwendung neuer Beispiele, die von Nutzern und Geräten stammen. „Die aus dem Training abgeleiteten Modelle sind meist kompakt und lassen sich leicht an den Edge verteilen“, so Blumofe weiter.

Allerdings ist es erforderlich, ein effizientes Management der ML- und KI-Modelle zu etablieren. Da diese meist in Form von Software-Containern bereitgestellt werden, kommen dafür Orchestrierungs-Tools wie Kubernetes infrage. Doch Kubernetes allein reicht nicht aus, erläutert Salim Khodri von Red Hat, vor allem in komplexen Edge-Umgebungen.

Nötig seien ergänzende Funktionen für das Management und die Absicherung von Kubernetes-Clustern, wie sie Red Hat Openshift zur Verfügung stellt. Zu diesen Funktionen zählen ein Monitoring, ein zentrales Management von Regelwerken (Policies) und die Unterstützung von Netzwerk-Plug-ins.

Mit KI mehr Sicherheit für Edge-Systeme

Ein wichtiges Einsatzfeld von Künstlicher Intelligenz und maschinellem Lernen (ML) in Verbindung mit Edge-Systemen ist der Schutz von IT-Umgebungen und Endgeräten. „Edge-Computing eignet sich ideal für Sicherheitsfunktionen wie das Scannen nach Sicherheitsbedrohungen, das Klassifizieren und Blockieren von Bots und die Abwehr von DDoS-Angriffen“, meint etwa Robert Blumofe, Executive Vice President und Chief Technology Officer von Akamai.

„Da die Datenverarbeitung in der Nähe der End-User und Endgeräte stattfindet, bietet Edge-Computing niedrigere Latenzzeiten und eine massive Skalierung.“

KI und ML lassen sich beispielsweise am Rand von IT-Infrastrukturen und Netzwerken dazu nutzen, um IoT-Systeme (Internet of Things) zu identifizieren und im laufenden Betrieb zu überwachen. „IoT-Geräte weisen unabhängig vom Hersteller ein einheitliches Netzwerkverhalten auf“, erläutert Martin Zeitler, Director System Engineering beim IT-Security-Spezialisten Palo Alto Networks.

„So nimmt ein Röntgengerät Bilder auf und lädt sie hoch, ein Thermostatsensor misst die Temperatur und passt sie entsprechend an.“ Dadurch entsteht eine große Menge von Daten, die sich mithilfe von Machine Learning und KI analy­sieren lassen. „Durch die Beobachtung des Netzwerkverhaltens kann ein ML-Algorithmus praktisch eine unbegrenzte Anzahl von IoT-Geräten identifizieren“, so Zeitler. Algorithmen sind außerdem in der Lage, eigenständig neue IoT-Geräte zu erkennen und zu überwachen.

Verdächtige Aktivitäten am Edge identifizieren

Zusätzlich können ML und KI dazu verwendet werden, um bei Edge-Systemen und IoT-Geräten ungewöhnliche Verhaltensmuster (Anomalien) zu identifizieren, die beispielsweise auf Cyberangriffe hindeuten. Die KI-Lösungen übersetzen zu diesem Zweck Telemetrie-Informationen in Empfehlungen, um die Sicherheitsricht­linien anzupassen.

„Das Ergebnis ist eine optimierte Sicherheit für Edge-Systeme, Endpoints und das gesamte Unternehmen sowie Zeiteinsparungen für die IT-Sicherheitsteams“, erklärt Zeitler. Solche Verhaltensanalysen auf Basis von Machine Learning und Reputationsheuristiken können in Edge-Umgebungen beispielsweise Bots klassifizieren.

„Einige Bots sind ,gut‘. Sie helfen etwa dabei, Suchmaschinendaten zu organisieren“, erläutert Robert Blumofe. „Andere sind ,schlecht‘ und dienen dazu, Daten zu entwenden.“ Mit ML können IT-Fachleute ermitteln, welche Aktivitäten in Edge-Umgebungen legitim sind.

Permanente Optimierung

Ein Vorteil von Edge-KI-Anwendungen ist, dass KI-Modelle immer präziser werden, wenn für das Training mehr Daten herangezogen werden, so Ludwig von Reiche, Geschäftsführer von Nvidia Deutschland.

„Wenn eine Edge-KI-Anwendung auf Daten stößt, die sie nicht genau oder sicher verarbeiten kann, lädt sie diese in der Regel in die Cloud hoch, damit der KI-Algorithmus sie neu trainieren und daraus lernen kann. Je länger ein Modell also in der Edge-Produktionsumgebung ist, desto genauer wird es.“

Als weitere Vorteile von KI-Anwendungen und Edge-KI führt von Reiche die Flexibilität und Leistung an. Der Grund ist, dass neuronale KI-Netzwerke nicht auf die Beantwortung einer bestimmten Frage trainiert werden, sondern auf die Beantwortung eines bestimmten Fragetyps, auch wenn die Frage selbst neu ist.

„Dies verleiht dem KI-Algorithmus die Intelligenz, beliebig viele verschiedene Eingaben wie Text, gesprochene Wörter oder Videos zu verarbeiten.“

„Wir sehen eine stetige Zunahme von Anwendungen, die standardmäßig Modelle des maschinellen Lernens auf Edge-Devices ausführen. Toolkits wie Google Coral, das mit einer integrierten Tensor Processing Unit ausgestattet ist, setzen sich allmählich durch.“

Christian Borst – Chief Technology Officer EMEA bei Vectra AI

Zentrale Einsatzfelder

Unter den vielen potenziellen Einsatzbereichen von Edge-KI sind derzeit nach Einschätzung von Nvidia einige von besonders hoher Relevanz. Dazu zählt die vorausschauende Wartung in der Fertigung (Predictive Maintenance). Sensoren erkennen bei Maschinen frühzeitig Abweichungen vom normalen Verhalten und beugen auf diese Weise ungeplanten Ausfällen vor.

Von besonderem Interesse sind derzeit außerdem intelligente Prognosen im Energiebereich. „KI-Modelle helfen dabei, historische Daten, Wettermuster, den Zustand des Stromnetzes und andere Informationen zu kombi­nieren, um komplexe Simulationen zu erstellen“, so von Reiche. „Diese ermöglichen eine effizientere Erzeugung, Verteilung und Verwaltung von Energieressourcen.“

Ein weiteres Anwendungsgebiet ist das autonome Fahren, sowohl auf den Straßen als auch in Lager- und Fabrik­hallen, Stichwort Intralogistik. Rechenkapazitäten und Intelligenz an Bord solcher Fahrzeuge sind unverzichtbar, um in Echtzeit Entscheidungen zu treffen – etwa die, beim Auftauchen eines Hindernisses rechtzeitig zu bremsen.

Edge-KI-Plattformen wie Nvidia IGX sind darüber hinaus für Anwendungen im Medizinsektor ausgelegt. Beispiele sind Operationen mit Roboter-Unterstützung, die Fernversorgung von Patienten, die etwa an Diabetes leiden, und die automatisierte Auswertung von Röntgenaufnahmen.

Mithilfe von Edge-KI einkaufen

Auch im Einzelhandel, inklusive der Lagerhaltung und der Optimierung von Lieferketten, kommt Edge-KI bereits zum Zug. Beim Lebensmittelhändler Rewe können Kunden etwa in Filialen in Köln, Berlin und München kassenlos einkaufen.

Gewichtssensoren und Kameras in Verbindung mit einer KI- und ML-Software erfassen, welche Waren ein Kunde in seine Einkaufstasche packt. Nach Verlassen des Ladengeschäfts wird die Rechnung über eine App auf das Smartphone transferiert. Den Betrag bucht die Software vom Konto des Kunden ab.

„Wir befinden uns erst in den Anfängen von Edge-KI, und dennoch scheinen die möglichen Anwendungen grenzenlos zu sein.“

Ludwig von Reiche – Geschäftsführer von Nvidia Deutschland

Von dem Bremer Start-up Ubica Robotics stammt ein Roboter, der bei Rewe und der Drogeriekette Dm den Warenbestand ermittelt. Das System scannt mit 2D- und 3D-Kameras die Regale. Dadurch lässt sich ermitteln, welche Regale nachgefüllt werden müssen oder ob Produkte falsch einsortiert wurden. KI-Algorithmen optimieren anschließend die Lagerhaltung und die Bestellzyklen.