Forscher verwandeln Videos in 3D-Skultpuren (mit Video)

Wissenschaftler des zum Massachusetts Institute of Technology (MIT) haben mit "MoSculp" hein System entwickelt, das Bewegungsabläufe aus einem simplen 2D-Video in detailgenaue 3D-Skulpturen verwandelt. [...]

„MoSculp“ (unter diesem Link finden sich viele interessante Beispilevideos) ist ein von Forschern des zum MIT gehörenden Computer Science and Artificial Intelligence Laboratory (CSAIL) entwickelter Algorithmus, der automatisch wichtige Schlüsselpunkte eines Körpers wie die Hüfte oder das Knie erfasst und diese zu vollständigen 3D-Skeletten zusammenfügt, die dann an einen 3D–Drucker geschickt werden können.

Für Sport, Kunst und Wissenschaft

„Stellen Sie sich vor, Sie haben ein Video von Roger Federer, wie er gerade mit einem Weltklasse-Aufschlag den Ball in einem Tennismatch serviert und ein Video von sich selbst, das sie während Ihres Tenniskurses bei der gleichen Bewegung zeigt“, sagt PhD-Student und CSAIL-Projektleiter Xiuming Zhang. „Mithilfe unseres Systems wären Sie in der Lage, 3D-Skulpturen zu erstellen, die es Ihnen ermöglichen, beide Bewegungsabläufe im Detail zu studieren und miteinander zu vergleichen, um Ihre eigenen sportlichen Leistungen gezielt zu verbessern.“

Sowohl im Sport als auch in der Kunst und Wissenschaft sei man schon seit vielen Jahren darum bemüht, einen besseren Einblick in bestimmte Bewegungsabläufe zu bekommen. Bisher sei man dabei allerdings allein auf die technologischen Möglichkeiten einer Kameralinse beschränkt gewesen. „Das Problem ist, dass herkömmliche Videos und Fotos zum Studium von Bewegungen nur zwei Dimensionen erfassen. Ohne die gesamte dreidimensionale Geometrie können wir die kleinen, subtilen Bewegungen nicht sehen, die uns helfen, uns schneller und präziser zu bewegen“, so Zhang.

Individuelle Skulpturen herstellbar

Um 3D-Bewegungsskultpuren zu erstellen, reicht MoSculp eine simple 2D-Videosequenz. Daraus erkennt das System dann automatisch verschiedene Schlüsselpunkte eines Körpers wie etwa die Hüfte, das Knie oder den Knöchel einer Ballerina, die gerade eine komplexe Tanzszene durchführt. Aus den bestmöglichen Positionen für diese Punkte wird anschließend ein vollständiges, dazu passendes 3D-Skelett errechnet.

Die Daten zu dem 3D-Skelett werden von der Software auch in eine formschöne Bewegungsskulptur umgewandelt, die sich per 3D–Druck plastisch in Form bringen lässt. „Die User können ihre Figuren sogar individuell anpassen, um beispielsweise bestimmte Körperteile besonders hervorzuheben oder verschiedene Materialien verwenden“, so CSAIL-Forscher Zhang abschließend.

Wie die MoSculp-Technik funktioniert, zeigt dieses Video: