FH St. Pölten entwickelt Kompositions-Tool

Musik für Filme und Games einfach selbst komponieren. Dies wird nun möglich durch das von der Fachhochschule St. Pölten entwickelte Software-Framework GeMMA. Dieses nützt ausgeklügelte Algorithmen, um die Kompositionswünsche der Nutzer umzusetzen. [...]

Die Einsatzmöglichkeiten von GeMMA stießen bereits vor Kurzem auf internationalen Konferenzen in Laibach und Korfu auf großes Interesse. Tatsächlich ist das Framework auch eine Basis für pädagogisch wertvolle Applikationen. Diese können zukünftig Kindern und Jugendlichen einen spielerischen Zugang zu klassischer Musik sowie Jazz eröffnen. Damit entwickelt die FH St. Pölten erneut Technologien, die zum interaktiven Entdecken von Komposition und Musik einladen.

Bewegte Bilder bewegen Gemüter erst mit dem richtigen Soundtrack. Doch woher nehmen, ohne zu stehlen? GeMMA (Generative Music for Media Applications) verwandelt Musikwünsche durch Beschreibung in Worten in eigens komponierte Musikstücke. Hannes Raffaseder, Leiter des ICM/T – Institut für CreativeMedia/Technologies – über GeMMA: „Die Einsatzmöglichkeiten reichen von der Erstellung von Soundtracks, Games und Imagevideos bis hin zur pädagogischen Musikvermittlung.“

Zum Komponieren mit GeMMA brauchen Nutzer neben dem Bildmaterial, das vertont werden soll, ein wichtiges Hilfsmittel: die Sprache. Den Kompositionsprozess beginnen Nutzer nämlich mit sogenannten „semantischen Beschreibungen“ der einzelnen Szenen im Film, Video oder Spiel. Diese lassen sich aus einer Vielzahl an Möglichkeiten wie z. B. „Liebe“, „Krieg“ oder „Tod“ in einem Pulldown-Menü anwählen und festlegen. Aus diesen Einzel-Beschreibungen erstellt das Software-Framework ein Beschreibungsdokument. Es „erkennt“ diese darin zusammengefassten Annotationen, indem es sie mit der eigens von der FH St. Pölten entwickelten Datenbank „Clip Library“ vergleicht. In dieser befinden sich 500 Szene-Clips von 250 Blockbustern verschiedener Genres – von Madagaskar bis Matrix – gemeinsam mit Soundtracks und Beschreibungen dafür. Die Komposition erfolgt mithilfe von Algorithmen und auf Basis mathematisch formulierter Gesetzmäßigkeiten von Kompositionen, welche je nach Genre variieren. Nach Fertigstellung erhalten Nutzer eine Komposition basierend auf ihrem Beschreibungsdokument. Das Musikstück wird als MIDI-Datei ausgegeben und darf, als Neukomposition, lizenzfrei genutzt werden. Alternativ können Nutzer auch Referenzstücke als MIDI-Dateien an das System übergeben. Diese werden auf ihre Struktur hin analysiert und zu neuen Stücken verarbeitet, wobei NutzerInnen die „Distanz“ bzw. „Ähnlichkeit“ zu dem vorgegebenen Musikstück selbst wählen und einstellen können. Die Gestaltung bleibt also, ob beim Annotieren oder beim Komponieren auf Basis eines Referenzstücks, immer in den Händen der Nutzer.

Bei der Entwicklung der Algorithmen von GeMMA achtete das Team der FH St. Pölten von Beginn an darauf, dass diese auch für weitere Anwendungen genutzt werden können. Ein Beispiel dafür ist die Applikation „JazzPainter“. Mithilfe dieser Applikation können Nutzer auf einem Tablet-PC ein virtuelles Jazz-Ensemble aus Bass, Gitarre, Klavier und Schlagzeug interaktiv zum Klingen bringen. Durch einfache Fingerbewegungen werden dabei die Instrumente in Relation zueinander auf dem Bildschirm positioniert: Nach „hinten“ gestellte Instrumente werden hörbar leiser, während nach vorne gezogene Instrumente lauter werden. Möglich macht dies GeMMA, das im Hintergrund auf eine Datenbank mit Jazz-Standard-Melodien zugreift und laufend auf Basis der auf der Oberfläche veränderten Parameter Musik generiert. Nach zwei Jahren umfangreicher Entwicklungsarbeit wurde nun auf internationalen Konferenzen in Laibach und Korfu ein Teil der Projektergebnisse einem internationalen Fachpublikum vorgestellt.

Auch Institutionen, die sich mit Musikvermittlung beschäftigen, haben das Potenzial softwaregestützter Lernangebote längst erkannt. So entwickelt die FH St. Pölten derzeit eine Software-Anwendung für den schulischen Musikunterricht gemeinsam mit dem Ernst-Krenek-Forum Krems: Kinder und Jugendliche können damit künftig unterschiedliche Kompositionsmodelle Musikspielerisch verstehen. Möglich wird dies durch eigens dafür konzipierte Benutzeroberflächen, die zum spielerischen Entdecken einladen.


Mehr Artikel

News

Fünf Mythen über Managed Services 

Managed Services sind ein Erfolgsmodell. Trotzdem existieren nach wie vor einige Vorbehalte gegenüber externen IT-Services. Der IT-Dienstleister CGI beschreibt die fünf hartnäckigsten Mythen und erklärt, warum diese längst überholt sind. […]

News

ESET: MDR-Lösungen für Managed Service Provider

ESET erweitert sein Angebot für seine Managed Service Provider (MSP) und Channel-Partner, um sie angesichts der zunehmend komplexen Bedrohungslandschaft gezielt zu unterstützen. Die neuesten Ergänzungen umfassen den Service „ESET MDR für MSPs“, eine erweiterte KI-gestützte Bedrohungsanalyse durch den ESET AI Advisor sowie flexible Preismodelle für MSP. […]

News

Geniale Handy-Tricks

Smartphones haben etliche Funktionen, die kaum jemand nutzt, aber Ihren digitalen Alltag bereichern können. Wir stellen Ihnen eine Auswahl der besten Geheimtipps vor – sowohl für Android-Smartphones als auch für Apples iPhones. […]

Die Kombination aus interner Mobilität und Ressourcenbeschränkungen führt schnell zu einem Wildwuchs bei den vergebenen Privilegien. (c) Unsplash
Kommentar

6 Wege, wie Privilege Management die Sicherheitslage verbessert

Identitäten, Konten, Computer, Gruppen und andere Objekte benötigen gleichermaßen Zugang zu Ressourcen – limitiert auf die jeweilige Rolle und nur solange der Zugriff tatsächlich gebraucht wird. Dies ist ein grundlegender Bestandteil eines Zero Trust Least Privilege-Modelles und als solcher von AD-Administratoren, IT-Leitern, dem höheren Management und CISOs anerkannt. […]

David Blum, Defense & Security Lead bei Accenture, im Gespräch mit der ITWELT.at. (c) timeline / Rudi Handl
Interview

„Ein resilientes Unternehmen zeichnet sich durch größtmögliche Transparenz aus“

Transparenz, soweit im Sicherheitskontext möglich, ist für David Blum, Defense & Security Lead bei Accenture, ein wichtiger Bestandteil von Unternehmensresilienz. Das fördere die aus dem Verständnis folgende Unterstützung der Mitarbeitenden. Die unternehmerische Resilienz müsse nicht nur technisch, sondern auch kulturell verankert werden: „Denn Resilienz beginnt im Kopf jedes Einzelnen“, sagt Blum im Gespräch mit der ITWELT.at. […]

News

Klassifizierung von KI-Systemen gemäß EU AI Act

Unternehmen, die KI nutzen, sollten die rechtlichen Rahmenbedingungen kennen, um teure Bußgelder zu vermeiden. Der EU AI Act stellt den ersten umfassenden Rechtsrahmen zur Regulierung von KI dar und zielt darauf ab, die Grundrechte der Bürger innerhalb der Europäischen Union zu schützen. Da der EU AI Act KI-Systeme nach Risikostufen klassifiziert und damit spezifische rechtliche Verpflichtungen beinhaltet, ist es für Unternehmen unerlässlich, ihre Systeme korrekt zu kategorisieren. […]

Be the first to comment

Leave a Reply

Your email address will not be published.


*