Fujitsu: Weiterentwicklung bei Deep Learning

Die Fujitsu Laboratories of Europe haben eigenen Angaben zufolge eine kosten- und speichereffiziente sowie skalierbare Deep-Learning-Technologie für leistungsfähige Künstliche Intelligenz (KI)-Anwendungen entwickelt. Diese soll damit die Beschränkungen der aktuellen GPU-Kapazitäten überwinden. [...]

Fujitsu hat Herstellerangaben zufolge einen Durchbruch in punkto Deep-Learning-Technologie geschafft. Das Unternehmen präsentiert einen neuartigen, hocheffizienten Datenverteilungsmechanismus für Deep Neuronal Networks (DNNs). Gerade wenn solche Netzwerke stark für verschiedene KI-Anwendungen genutzt werden, wie zum Beispiel Sprach- und Objekterkennung bzw. -Klassifizierung, haben sie einen enormen Ressourcenbedarf und belasten die Infrastruktur. Die neue Lösung aus den Fujitsu Laboratories of Europe nutzt Modell-Parallelisierung zur automatischen, transparenten und leicht zu verwaltenden Verteilung der DNN-Speicheranforderungen. Im Ergebnis kann die Kapazität bestehender Infrastrukturen so ausgeweitet werden, dass auch größere KI-Anwendungen keine nennenswerten zusätzlichen Investitionen erfordern.
 
Dazu Tsuneo Nakata, CEO der Fujitsu Laboratories of Europe: „In den vergangenen Jahren hat sich die Technologie in rasant weiterentwickelt. Die entsprechenden Lösungen beinhalteten zumeist Hardware-Beschleuniger, um den enormen Kapazitätsbedarfs beim Aufbau von DNNs für KI-Anwendungen zu unterstützen. Dabei stellten vor allem die Kosten ein ernstes Problem dar, besonders wenn der Speicher eines einzelnen Beschleunigers nicht ausreichte. Benötigt wurden also vor allem größere DNNs, genauso wie eine differenziertere Klassifizierung der entsprechenden Kategorien. Genau dieses Problem geht unsere neue Lösung frontal an. Sie verteilt die Speicheranforderungen auf verschiedene Maschinen. So können die Netze über mehrere Maschinen erweitert werden, was genauere und leistungsfähigere DNN–Modelle ermöglicht.“
 
Die Lösung kann diesen Prozess initiieren, indem sie die Layer willkürlich designter neuronaler Netze in gleichwertige Netzwerke transformiert, Netzwerke, in denen jede Ebene durch eine Reihe kleinerer Unterebenenteile ersetzt wird. Diese sind funktional absolut adäquat zu den ursprünglichen, größeren Ebenen, aber deutlich effizienter auszuführen. Und da beide vom selben Profil abstammen, konvergiert der Trainingsprozess des DNN und es entstehen keine zusätzlichen Kosten.
 
Die Fujitsu Laboratories of Europe haben die neue Technologie ausgiebig geprüft und bewertet, einschließlich eines Versuchs mit Caffe, einem Open Source Deep Learning Framework, das von vielen Entwickler-Netzwerken überall auf der Welt genutzt wird. Dabei zeigte die Lösung eine über 90-prozentige Effizienz hinsichtlich der Verteilung von Speicherplatz bei der Transformation der voll verbundenen Ebenen von AlexNet auf mehrere NVIDIA GPUs. Als hardwareunabhängige Technologie kann sie sowohl konventionelle IT-Installationen als auch zeitgemäße Beschleuniger einschließlich NVIDIA GPUs, Intel Xenon Phi, FPGAs oder ASICs zu Bestleistungen animieren. Alle anderen Hardware Chips, die speziell für die erhöhte Rechnereffizienz beim Deep Learning entwickelt wurden, gehören ebenfalls in diese Aufzählung.
 
Beispielhafte Anwendungen für die neue Lösung bestehen unter anderem in Analysen im Gesundheitswesen – wie etwa Retinopathie-Erkennung bei Diabetikern. Aber auch die Klassifizierung und Analyse von Satellitenbildern, das Natural Language Processing, bei dem Deep-Learning-Modelle die Komplexität der menschlichen Sprache erfassen müssen, die Arbeit mit großen Graph-basierten Datenmengen, wie im Fall von IoT-Geräten, sowie finanzielle Transaktionen und Social Network Services gehören dazu.