Neuronales Netzwerk macht täuschend echte Bilder

Forscher am Massachusetts Institute of Technology (MIT)haben gemeinsam mit IBM ein neuronales System entwickelt, das Fotos manipulieren und dabei trotzdem noch realistisch aussehen lassen kann. [...]

Die Anwendung namens „GANpaint Studio“ kann einem Foto Objekte hinzufügen oder die Größe von bestehenden Objekten verändern, ohne dass man die Bearbeitung auf den ersten Blick erkennt. 

Das System „denkt“ dabei für sich selbst und versteht, wo sich Gegenstände in der Realität befinden können und wo nicht. Beispielsweise weigert es sich, ein Fenster in den Himmel zu platzieren. Es passt Objekte auch an ihren Kontext an, zum Beispiel sehen Türen, die es zwei verschiedenen Gebäuden beifügt, nicht gleich aus. „Alle Bildbearbeitungsprogramme folgen den Anweisungen des Nutzers, aber unseres kann entscheiden, nichts zu zeichnen, wenn der Nutzer ein Objekt an einem unmöglichen Ort will. Es ist ein Tool mit einer starken Persönlichkeit“, erklärt Forschungsleiter Antonio Torralba.

Neuronale Netzwerke konkurrieren miteinander

Bei „GANpaint Studio“ handelt es sich um ein sogenanntes „Generative Adversarial Network“ (GAN), bei dem zwei neuronale Netzwerke in einem Konkurrenzkampf miteinander stehen. Ein Netzwerk, der Generator, versucht, realistische Bilder zu erstellen, während das andere, der Diskriminator, erkennen muss, ob sie echt oder falsch sind. Wird ein gefälschtes Bild überführt, ändert der Generator seine Vorgehensweise und wird so immer besser. 

Die Forscher analysierten einzelne visuelle Einheiten innerhalb der GANs, die mit bestimmten Objekten wie beispielsweise Bäumen korrelierten. Sie untersuchten, ob Objekte im Bild erscheinen oder verschwinden, wenn diese entfernt werden. So konnten die Forscher feststellen, welche Einheiten für visuelle Fehler verantwortlich sind und diese dann entfernen. „Früher war es ein Rätsel, wieso GANs teilweise unrealistische Bilder erzeugen. Wir haben herausgefunden, dass diese Fehler von spezifischen Neuronen ausgelöst werden, die wir herausnehmen können, um die Bildqualität zu verbessern“, erläutert IBM–Forscher Hendrik Strobelt.

Neuronale Netzwerke besser verstehen, um sich zu schützen

Dem Forschungsteam zufolge dürfe diese Anwendung nicht missbraucht werden, um durch manipulierte Bilder Fehlinformationen zu verbreiten. Jedoch könne das System selbst dazu dienen, Fälschungen zu erkennen. Es sei nötig, neuronale Netzwerke besser zu verstehen, um sich vor Missbrauch zu schützen. „Man muss seinen Gegner kennen, um sich gegen ihn verteidigen zu können“, sagt Jun-Yan Zhu, Mitentwickler des Systems. 

Eine kostenlose Demoversion von „GANpaint Studio“ ist online verfügbar. Die Forscher werden im nächsten Schritt daran arbeiten, das System auch bei Videoclips anzuwenden. Das neuronale Netzwerk habe vor allem für Filmproduktionen großes Potenzial.