Das chinesische Unternehmen Alibaba erweitert seine Wan2.2-Reihe zur Videogenerierung um das Open-Source-Modell Wan2.2-S2V (S2V steht für Speech-to-Video). Es handelt sich dabei um eine Künstliche Intelligenz (KI), die einfache Portraitfotos in lebensechte Avatare verwandelt, die unter anderem sprechen und singen können. [...]
Bereits aus einem einzigen Bild und einem Audioclip erzeugt das Modell hochwertige Animationen in verschiedenen Formaten – vom klassischen Portrait über Halbportrait bis hin zur Ganzkörperansicht. Bewegungen und Umgebungsdetails werden dynamisch anhand von Prompts generiert, sodass Content Creator präzise visuelle Ergebnisse für Storytelling und Designprojekte erzielen können.
Dank seiner audiogesteuerten Animationstechnologie liefert Wan2.2-S2V realistische Charakterdarstellungen – von natürlichem Dialog bis hin zu Gesangseinlagen. Auch mehrere Figuren lassen sich nahtlos in einer Szene kombinieren. Das Modell übersetzt Tonaufnahmen direkt in lebensechte Bewegungen und unterstützt dabei ein breites Spektrum an Avataren: Menschen, Tiere, Cartoons oder stilisierte Fantasiecharaktere.
Um unterschiedlichen Produktionsanforderungen gerecht zu werden, bietet die Technologie flexible Ausgabeauflösungen in 480p und 720p. Damit entstehen visuelle Ergebnisse, die sich sowohl für Social-Media-Inhalte als auch für professionelle Film- und TV-Produktionen eignen.
Technologische Neuerungen
Im Unterschied zu klassischen „Talking-Head“-Generatoren kombiniert Wan2.2-S2V eine textgesteuerte, globale Bewegungssteuerung mit audiobasierten, fein abgestuften lokalen Bewegungen. Das Ergebnis sind natürlichere und ausdrucksstärkere Animationen selbst in komplexen Szenen.
Ein wesentlicher Fortschritt ist die neue Frame-Verarbeitungstechnik: Frühere Videoframes beliebiger Länge werden in einer kompakten latenten Darstellung zusammengefasst. Dadurch sinkt der Rechenaufwand deutlich, während sich lange Videos stabil generieren lassen – ein Problem, an dem frühere Systeme häufig scheiterten.
Die erweiterten Fähigkeiten basieren auf einer umfassenden Trainingsmethodik. Alibabas Forschungsteam hat dafür einen groß angelegten audiovisuellen Datensatz entwickelt, der speziell auf Film- und TV-Produktionen zugeschnitten ist. Mit einem Multi-Resolution-Trainingsansatz ermöglicht Wan2.2-S2V die flexible Generierung von Videos in verschiedenen Formaten – von vertikalen Kurzvideos bis hin zu klassischen horizontalen Filmproduktionen.
Verfügbarkeit
Wan2.2-S2V steht ab sofort auf Hugging Face, GitHub sowie in ModelScope, der Open-Source-Community von Alibaba Cloud, zum Download bereit. Alibaba hatte bereits im Februar 2025 die Wan2.1-Modelle und im Juli die Wan2.2-Modelle veröffentlicht. Insgesamt wurden die Modelle bisher nach Angaben von Alibaba mehr als 6,9 Millionen Mal heruntergeladen.
Folgende Beispielvideos von Alibaba demonstrieren die Möglichkeiten der Software: Five Hundred Miles und Female Singer, wobei links das Foto gezeigt wird, aus dem das Video recht per KI erzeugt wird.
Be the first to comment