Das MIT hat eine Methode entwickelt, die Erstellung neuronaler Netze weniger rechenintensiv, schneller und kostengünstiger zu gestalten. Damit soll die KI demokratischer und zugänglicher gemacht werden. [...]
Forscher des MIT (Massachusetts Institute of Technology) haben eine neue Methode entwickelt, die Berechnung mithilfe neuronaler Netze nicht nur effizienter, sondern auch um ein Vielfaches schneller zu gestalten. Die Experten hoffen, die Entwicklung von maschinellen Lernsystemen damit einerseits kostensparender zu gestalten und andererseits auch den Zugang zu dieser Technologie für eine breitere Masse zu öffnen.
Als Vergleichsbeispiel ziehen die Forscher Google heran. Der Suchmaschinenprimus benötige für die Erstellung eines einzigen konvoluten neuronalen Netzes zur Bildklassifizierung etwa 48.000 GPU-Stunden. Die neue Methode des MIT hingegen könne diese Zeit auf gerade einmal 200 GPU-Stunden verkürzen.
Erreicht wird dies durch die Löschung nicht benötigter Komponenten, so die Forscher. Dazu kommen einige Filter in Form von anpassbaren Parametern zum Einsatz. Jeder dieser Filter verarbeitet Bildpixel in einem Rasternetz. Prinzipiell fassen die Filter mehrere Pixel systematisch zusammen und komprimieren das Bild auf diese Weise.
Path-Level-Binarisierung
Daneben verwenden die Forscher ein System, welches sie „Path-Level-Binarisierung“ nennen. Normalerweise speichert ein neuronales Netzwerk alle Pfadmöglichkeiten vollständig ab. Dazu wird allerdings sehr viel Speicherkapazität benötigt. Beim Vorgehen der MITler wird allerdings nur einer der abgetasteten Pfade gespeichert. Durch mehrfache Kombination und Analyse aller ursprünglich erstellten Pfade ermittelt der Algorithmus schlussendlich denjenigen, der die höchste Wahrscheinlichkeit aufweist. Alle anderen werden entfernt. Mit diesem Vorgang würden keine Neuronen verworfen, der „beschnittene“ Pfad hingegen verändere das gesamte Netzwerk vollständig, so die Forscher. Dennoch werde durch diese Methode weder die Genauigkeit beeinträchtigt, noch gingen Daten verloren.
Durch die enorme Einsparung an Kosten und Zeit sollen nicht nur grosse Unternehmen wie Google, IBM und Co. in der Lage sein, KI-Modelle zu trainieren, sondern auch kleine Firmen und Entwickler, denen ansonsten die finanziellen Mittel dafür fehlen.
*Alexandra Lindner ist Autorin bei PCTipp.
Be the first to comment