Transformer, Machine Learning am Edge, Graphen-neuronale Netzwerke: Künstliche Intelligenz legt ein rasantes Entwicklungstempo an den Tag. Allan Ogwang, Ben Wiener und Christopher Thissen – alle Datenwissenschaftler bei Vectra AI – nennen einige KI-Trends, die aus ihrer Sicht sehr vielversprechend sind. [...]
Zunächst ein Rückblick: Zwei der größten KI-Errungenschaften des Jahres 2020 hatten dieselbe zugrundeliegende KI-Struktur. Sowohl GPT-3 von OpenAI als auch AlphaFold von DeepMind basieren auf einem Sequenzverarbeitungsmodell namens »Transformer«. Obwohl es Transformer-Strukturen bereits seit 2017 gibt, haben GPT-3 und AlphaFold die bemerkenswerte Fähigkeit von Transformern demonstriert, tiefer und schneller zu lernen als die vorherige Generation von Sequenzmodellen und gute Leistungen bei Problemen außerhalb der Verarbeitung natürlicher Sprache zu erzielen.
Im Gegensatz zu früheren Sequenzmodellierungsstrukturen wie rekurrenten neuronalen Netzen und LSTMs (Long Short-Term Memory) weichen Transformer vom Paradigma der sequentiellen Datenverarbeitung ab. Sie verarbeiten die gesamte Eingabesequenz auf einmal und nutzen einen Mechanismus namens »Attention«, um zu lernen, welche Teile der Eingabe in Bezug auf andere Teile relevant sind. Auf diese Weise können Transformer leicht entfernte Teile der Eingabesequenz miteinander in Beziehung setzen – eine Aufgabe, mit der rekurrente Modelle bekanntermaßen Schwierigkeiten haben. Außerdem können große Teile des Trainings parallel durchgeführt werden, wodurch die in den letzten Jahren verfügbare massiv parallele Hardware besser genutzt und die Trainingszeit erheblich verkürzt werden kann. Die Forscher werden zweifellos nach neuen Einsatzmöglichkeiten für diese vielversprechende Struktur im Jahr 2021 suchen – und es gibt guten Grund, positive Ergebnisse zu erwarten. In der Tat hat OpenAI GPT-3 bereits 2021 modifiziert, um Bilder aus Textbeschreibungen zu generieren. Der Transformer scheint bereit zu sein, auch das Jahr 2022 zu dominieren.
Graphen-neuronale Netzwerke
In vielen Bereichen gibt es Daten, die sich auf natürliche Weise für Graphenstrukturen eignen: Computernetzwerke, soziale Netzwerke, Moleküle/Proteine und Transportwege sind nur einige Beispiele. Graphen-neuronale Netze (GNNs) ermöglichen die Anwendung von Deep Learning auf graphenstrukturierte Daten und es ist davon auszugehen, dass GNNs in Zukunft zu einer immer wichtigeren KI-Methode werden. Genauer gesagt, ist zu erwarten, dass im Jahr 2022 methodische Fortschritte in einigen Schlüsselbereichen die breitere Anwendung von GNNs vorantreiben werden.
Dynamische Graphen sind der erste Bereich von Bedeutung. Während die meisten GNN-Forschungen bisher von einem statischen, unveränderlichen Graphen ausgegangen sind, beinhalten die oben genannten Szenarien zwangsläufig Veränderungen im Laufe der Zeit: In sozialen Netzwerken zum Beispiel treten Mitglieder bei (neue Knoten) und Freundschaften ändern sich (verschiedene Edges). Im Jahr 2021 gab es bereits einige Bemühungen, zeitlich sich verändernde Graphen als eine Reihe von Momentaufnahmen zu modellieren. 2022 wird diese aufkeimende Forschungsrichtung mit einem Schwerpunkt auf Ansätzen erweitert, die einen dynamischen Graphen als eine kontinuierliche Zeitreihe modellieren. Eine solche kontinuierliche Modellierung sollte GNNs in die Lage versetzen, neben der üblichen topologischen Struktur auch zeitliche Strukturen in Graphen zu entdecken und daraus zu lernen.
Verbesserungen des Message-Passing-Paradigmas werden einen weiteren wichtigen Fortschritt darstellen. Eine gängige Methode zur Implementierung Graphen-neuronaler Netze ist die Nachrichtenübermittlung, bei der Informationen über Knoten durch Weitergabe von Informationen entlang der Kanten, die Nachbarn miteinander verbinden, zusammengefasst werden. Obwohl es intuitiv ist, lassen sich mit der Nachrichtenübermittlung nur schwer Effekte erfassen, bei denen Informationen über große Entfernungen in einem Graphen weitergegeben werden müssen. Es sind Durchbrüche zu erwarten, die über dieses Paradigma hinausgehen, z. B. durch iteratives Lernen, welche Informationsausbreitungswege am relevantesten sind, oder sogar durch das Lernen eines völlig neuen Kausaldiagramms auf einem relationalen Datensatz.
Zahlreiche Anwendungen
Viele der Top-Meldungen des letzten Jahres betonten die sich abzeichnenden Fortschritte bei den praktischen Anwendungen von KI. Im Jahr 2022 scheint es so weit zu sein, aus diesen Fortschritten Kapital schlagen zu können. Vor allem Anwendungen, die auf das Verstehen natürlicher Sprache angewiesen sind, werden wahrscheinlich Fortschritte machen, wenn der Zugang zur GPT-3-API verfügbar wird. Die API ermöglicht es den Nutzern, auf die Fähigkeiten von GPT-3 zuzugreifen, ohne dass sie ihre eigene KI trainieren müssen – ein ansonsten teures Unterfangen. Mit dem Erwerb der GPT-3-Lizenz durch Microsoft könnte die Technologie auch in Microsoft-Produkten zum Einsatz kommen.
Auch andere Anwendungsbereiche dürften im neuen Jahr erheblich von der KI-Technologie profitieren. KI und maschinelles Lernen (ML) haben sich schon im Bereich der Cybersicherheit durchgesetzt, aber 2022 könnte die Entwicklung noch ein wenig steiler verlaufen. Wie die Sicherheitsverletzung bei SolarWinds gezeigt hat, müssen sich Unternehmen mit den drohenden Bedrohungen durch Cyberkriminelle und staatliche Akteure sowie den sich ständig weiterentwickelnden Konfigurationen von Malware und Ransomware auseinandersetzen. Im Jahr 2022 steht ein aggressiver Vorstoß der fortschrittlichen Verhaltensanalyse-KI zur Erweiterung von Netzwerkverteidigungssystemen an. KI und Verhaltensanalysen sind entscheidend für die Identifizierung neuer Bedrohungen, einschließlich Varianten früherer Bedrohungen.
Für 2022 ist ebenso von einem Anstieg der Anwendungen auszugehen, die standardmäßig Modelle des maschinellen Lernens auf Edge-Geräten ausführen. Geräte wie Googles Coral, das mit einer integrierten Tensor Processing Unit (TPU) ausgestattet ist, werden sich mit Fortschritten bei der Verarbeitungsleistung und Quantisierungstechnologien weiterverbreiten. Durch Edge-KI entfällt die Notwendigkeit, Daten für Schlussfolgerungen an die Cloud zu senden, was Bandbreite spart und die Ausführungszeit verkürzt. Beides ist in Bereichen wie dem Gesundheitswesen von entscheidender Bedeutung.
Edge Computing kann auch neue Anwendungen in anderen Bereichen eröffnen, in denen Datenschutz, Sicherheit und niedrige Latenzzeiten erforderlich sind, sowie in Regionen der Welt, die keinen Zugang zum Hochgeschwindigkeitsinternet haben.
Die QuintessenzDie KI-Technologie breitet sich immer weiter in praktischen Bereichen aus. Die Fortschritte bei Transformer-Strukturen und GNNs werden wahrscheinlich zu Fortschritten in Bereichen führen, die bisher noch nicht ohne Weiteres für bestehende KI-Techniken und -Algorithmen geeignet waren. Eines ist klar: 2022 wird ein aufregendes Jahr für das KI-Umfeld sein.
*Allan Ogwang, Ben Wiener, Christopher Thissen sind Datenwissenschaftler bei Vectra AI.
Be the first to comment