Speichertechnologien im KI-Zeitalter: Schlüsselspieler für effiziente Workflows

KI ist keine Plug-and-Play-Lösung, sondern ein komplexer Prozess, der eine durchdachte Infrastruktur verlangt. Besonders die Wahl der richtigen Speicherstrategie wird dabei oft unterschätzt – obwohl sie maßgeblich über Effizienz, Skalierbarkeit und Betriebskosten entscheidet. Ein Kommentar von Uwe Kemmer von Western Digital. [...]

Künstliche Intelligenz (KI) markiert den Beginn einer neuen technologischen Ära – mit Systemen, die Sprache verstehen, Bilder generieren oder komplexe Entscheidungen treffen. Unternehmen eröffnen sich dadurch vielfältige Möglichkeiten, Prozesse effizienter zu gestalten, Kosten zu senken und neue Geschäftsfelder zu erschließen. Mit entsprechendem Knowhow lassen sich eigene KI-Modelle entwickeln und trainieren, wodurch nahezu jeden Geschäftsbereich heute analysiert oder optimiert werden kann.

Im Zentrum vieler Diskussionen stehen häufig GPUs und SSDs mit ihrer hohen Rechen- und Verarbeitungsgeschwindigkeit. Doch was häufig unterschätzt wird: Ohne eine geeignete Speicherinfrastruktur lässt sich kein KI-Workflow effizient realisieren. Denn KI lebt von Daten und erzeugt sie gleichzeitig in gewaltigen Mengen. Ob beim Erfassen, Trainieren oder Entscheiden, der schnelle Zugriff auf umfangreiche, strukturierte und unstrukturierte Datensätze ist in jeder Phase essenziell.

Genau hier kommen Speichersystem ins Spiel – ob lokal, am Edge oder in der Cloud. Nur hochkapazitive sowie performante Speichersysteme können diese Daten zuverlässig aufnehmen, bereitstellen und verwalten. Die Wahl der passenden Speichertechnologie ist deshalb ein entscheidender Faktor für den Erfolg. Umso wichtiger ist es, die Rolle der Daten in jedem Abschnitt des KI-Prozesses zu verstehen. Trotz aller technischen Komplexität lässt sich dieser Prozess klar strukturieren und in vier zentrale Phasen unterteilen: Datenerfassung, Modellerstellung, Training und Bereitstellung.

Die Phasen eines KI-Workflows

1. Datenerfassung: Ausgangspunkt für jeden KI-Workflow ist die Sammlung großer Datenmengen. Während der Erfassung entstehen aus Quellen wie Sensoren, Kameras und Datenbanken Rohdaten. Die in dieser Phase eingesetzten Speicherlösungen müssen strukturierte und unstrukturierte Formate wie Bilder, Texte und Videos effizient erfassen und organisieren können. Das ist grundlegend für den gesamten KI-Prozess. Für gewöhnlich landen die Rohdaten auf einer lokalen Speicherplattform, können zur Analyse aber auch schrittweise in die Cloud hochgeladen werden. 
   
   In einigen Spezialfällen sind physische Datentransportgeräte beispielsweise eine externe HDD oder ein robuster Edge-Server, wie beispielsweise Western Digitals Ultrastar Transporter erforderlich, um große Informationsmengen zum Rechenzentrum zu transportieren. Diese Methode kommt meist zum Einsatz, wenn der Upload zu groß und/oder kostspielig ist. Robuste Edge-Lösungen können auch eine nahtlose Datenerfassung in extremen Umgebungen wie einer Wüste oder im Ozean gewährleisten, wo keine Internetverbindung möglich ist.

• Modellerstellung: Mit einem klar definierten Problem vor Augen befassen sich KI-Experten in dieser Phase mit verschiedenen Verarbeitungsschritten, um die Algorithmen zu verfeinern und so die gewünschten Erkenntnisse aus den Daten zu extrahieren. Modellerstellung und Trainingsphase sind die rechenintensivsten Abläufe im KI-Workflow. Die Wahl der richtigen Speichermedien ist hier besonders wichtig und beschränkt sich nicht unbedingt nur auf schnelle All-Flash-Arrays. Festplatten (HDDs) spielen eine wichtige Rolle bei der Speicherung großer Datensätze und Snapshots für zukünftige Trainings. Maschinelle Lernalgorithmen durchlaufen diese Datensätze wiederholt, um das Modell zu optimieren.

• Training: Beim Training selbst wird das zuvor verfeinerte Modell auf einen umfassenden Datensatz angewendet und getestet. Die Trainingszeiten variieren stark. Selbst die beliebtesten Sprachmodelle benötigten bis zu einem Jahr. Andere Modelle hingegen brauchen vielleicht nur Stunden bis Tage oder Monate: Die Dauer des Trainings hängt immer vom Problem und dem verwendeten Datensatz ab. Dabei arbeitet im Grunde jedes KI-Modell in sich wiederholenden Schleifen, bei denen vor jedem Durchlauf eine Optimierung des Prozesses vorgenommen wird. Die benötigte GPU-Leistung ist immens und die anfallenden Ergebnisse bzw. Daten müssen zumindest für die nächste Trainingsrunde abrufbar sein. Wichtig ist hier, dass immer auf einen möglichst großen Datenpool zurückgegriffen werden kann, damit Erkenntnisse aus vergangenen Iterationen für den Trainingsalgorithmus weiterhin Berücksichtigung finden. Ähnlich wie bei der Modellerstellung ist ein hybrider Ansatz aus HDDs und Flash-Drives daher optimal.

• Bereitstellung: Sobald der Trainingsprozess abgeschlossen und der Algorithmus fertiggestellt ist, kann dieser bereitgestellt werden. Die gängigste Methode ist, eine Cloud zu verwenden und über webbasierte Dienste die Nutzung zu ermöglichen. So können beispielsweise Unternehmen einen Algorithmus standortübergreifend nutzen oder als Dienstleistung anbieten. In Kombination mit Edge-Standorten lässt sich das Ganze auch mit Echtzeit-Datenanalyse ergänzen. Natürlich ist eine Bereitstellung im kleineren Rahmen genauso umsetzbar. Im Fall von KMUs kann der Algorithmus auf dem lokalen Server liegen und ist dadurch im gesamten Betriebsnetzwerk nutzbar.

Mit den richtigen Fragen zur optimalen Speicherlösung

Anhand der beschriebenen Phasen des KI-Workflows ergeben sich wichtige Erkenntnisse für die Wahl des richtigen Speichers. Grundsätzlich gilt, dass es nicht die eine Lösung für alle gibt. Viel mehr hängt die optimale Speicherstrategie vom jeweiligen Anwendungsfall ab. Wichtig ist, sich den individuellen Anforderungen des KI-Modells bewusst zu sein und das gewünschte Ziel nicht aus den Augen zu verlieren:

• Datenerfassungsstrategie: Was ist der grundlegende Ansatz zur Datenerfassung – Massenübertragung oder schrittweiser Upload? In einigen Szenarien könnten ein physisches Datentransportgerät oder ein robuster Edge-Server notwendig sein.
• Trainingsumgebung: Findet das Training in der Cloud, auf dem eigenen System oder vielleicht direkt bei einem externen Anbieter statt, der ein vortrainiertes Modell zur Verfügung stellt? Jede Option hat ihre eigenen Vorteile und notwendigen Kompromisse.
• Anwendung: Wer soll den fertigen Algorithmus am Ende nutzen und wie ist er abrufbar? Ist das Ziel beispielsweise Edge-Inferencing, dann muss sichergestellt werden, dass die Hardwareanforderungen für die erforderlichen Edge-Szenarien überall erfüllt sind. 

Von der Vision zur Praxis: Warum Speicherplanung entscheidend ist

Künstliche Intelligenz ist gekommen, um zu bleiben. Dabei ist das Ausmaß der Veränderungen für die Gesellschaft bislang nur schwer absehbar. Fest steht aber jetzt schon, dass Daten eine entscheidende Rolle spielen. Nicht umsonst wurden 2022 mit Quetta und Ronna neue Maßeinheiten eingeführt, mit denen die weltweit exponentiell wachsenden Datenmengen weiterhin quantifizierbar bleiben. Neben Geschwindigkeit und Effizienz benötigt KI auch enorm hohe Kapazitäten, um Informationen weitherin effizient speicher und den Zugriff auf diese Daten und darauf basierende Optimierungen gewährleisten zu können. Wer auf eine unüberlegte Speicherstrategie vertraut, lastet sich langfristig einen vermeidbaren Flaschenhals auf. 

Bei der Einführung von künstlicher Intelligenz sollten Unternehmen daher das Zusammenspiel aus Datenerfassung, Modellerstellung, Training und Bereitstellung gut im Blick haben. Denn die Wahl der passenden Speicherlösungen ist am Ende entscheidend für den Erfolg oder Misserfolg eines KI-Workflows.

*Uwe Kemmer ist Director EMEAI Field Engineering bei Western Digital Corporation.