Hören und Sehen miteinander verbinden

Forscher*innen der FH St. Pölten verknüpfen unser Hören und Sehen für die Analyse von Daten. [...]

Teamfoto © FH St. Pölten

Beim Projekt SoniVis entwickeln Forscher*innen der FH St. Pölten einen Rahmen, um auditive und visuelle Datenanalyse zu kombinieren. Damit der Mensch große und komplexe Datenmengen verstehen und interpretieren kann, sollen Inhalte grafisch und auditiv aufbereitet werden. Ein neuer Prototyp SoniScope unterstützt Data Scientists bei ihrer Arbeit.

Das Auswerten von Daten erfordert viele Schritte, die sich nicht vollständig automatisieren lassen. Meist ist dabei die Expertise von Menschen erforderlich. In den Forschungsfeldern der Informationsvisualisierung und der Sonifikation, der „Verklanglichung“, also der Darstellung von Daten in Klängen, werden Datenanalyseaktivitäten unterstützt.

Doch die Datenmengen und -komplexität steigen, sodass beide Ansätze für sich alleine genommen an ihre Grenzen stoßen. Seit 2 Jahren arbeitet das Team von SoniVis, einem Projekt der FH St. Pölten, an audiovisuellen Werkzeugen für die Datenanalyse, die Sehen und Hören miteinander verbinden. Ende Juni wurde der Protoyp eines Analysetools, das SoniScope, präsentiert, der auch als Free & Open Source Software verfügbar ist.

„Die Menge und Komplexität von Daten steigen ständig und wir müssen sie verstehen und analysieren können. Das Projekt SoniVis zielt darauf ab, die Lücke zwischen Sonifikation und Visualisierung zu schließen. Dabei soll die Basis für eine vereinheitlichte Designtheorie einer audio-visuellen Analytics gelegt werden, die den visuellen und den auditiven Kanal miteinander ergänzt.

Dafür vereinigt das Projekt Kompetenzen aus den Feldern der Informationsvisualisierung und Sonifikation“, erklärt Projektleiter Wolfgang Aigner vom Institute for Creative\Media/Technologies an der FH St. Pölten.

Lücke in der Forschung schließen

Obwohl bereits zahlreiche Studien die auditive oder die visuelle Repräsentation von Daten untersuchten, gab es nur wenige Versuche diese beiden Kanäle zu kombinieren.

„Es fehlen Datenanalyseansätze, die beides kombinieren und die gegenseitige Beeinflussung der Kanäle berücksichtigen. Bislang fokussierte sich die Forschung auf den auditiven Kanal und vernachlässigten den visuellen oder umgekehrt. Deshalb gibt es noch keinen etablierten methodischen Ansatz Informationsvisualisierung und Sonifikation in Form einer komplementären Designtheorie zu kombinieren“, betont Wolfgang Aigner.

Interaktive Linse als Prototyp

Auf praktisch empirischer Ebene verfolgen die Forscher*innen mit dem SoniScope einen audiovisuellen Ansatz zur Datenanalyse. Das SoniScope verwendet eine interaktive Linse, die so wie ein Stethoskop zum Abhören von sonst verborgenen Variablen der Daten und Mustern verwendet werden kann.

Das Team von SoniVis entwickelte einen Prototyp, der innerhalb eines Jupyter Notebooks – einer Browser-basierten interaktiven Plattform – läuft und so Data Scientists bei der Datenanalyse unterstützt. Dieser Prototyp ist auch als Free & Open Source Software verfügbar. Junior Researcher Kajetan Enge präsentierte den derzeitigen Stand der Konzept- und Prototypenentwicklung Mitte Juni 2022 auf der EuroVis Konferenz in Rom.

Visualisierung: An audiovisual display to explore oceanographic data. cc

International vernetzt

Internationale Vernetzung von Forscher*innen aus Sonifikation und Visualisierung ist ein weiterer Schwerpunkt des SoniVis Projekts. Dazu wurde die Audio-Visual Analytics Community zusammen mit führenden Forscher*innen der Kunst-Universität Graz, der Linköping Universität, des Georgia Institute of Technology und der University of Maryland gegründet.

Im Rahmen dessen wurden bisher drei wissenschaftliche Workshops im Rahmen der AudioMostly Konferenz 2021, der IEEE Visualization Conference 2021 und der Advanced Visual Interfaces 2022 Konferenz abgehalten.

Weitere Informationen rund um das Projekt SoniVis


Mehr Artikel

News

KI ist das neue Lernfach für uns alle

Die Mystifizierung künstlicher Intelligenz treibt mitunter seltsame Blüten. Dabei ist sie weder der Motor einer schönen neuen Welt, noch eine apokalyptische Gefahr. Sie ist schlicht und einfach eine neue, wenn auch höchst anspruchsvolle Technologie, mit der wir alle lernen müssen, sinnvoll umzugehen. Und dafür sind wir selbst verantwortlich. […]

Case-Study

Erfolgreiche Migration auf SAP S/4HANA

Energieschub für die IT-Infrastruktur von Burgenland Energie: Der Energieversorger hat zusammen mit Tietoevry Austria die erste Phase des Umstieges auf SAP S/4HANA abgeschlossen. Das burgenländische Green-Tech-Unternehmen profitiert nun von optimierten Finanz-, Logistik- und HR-Prozessen und schafft damit die Basis für die zukünftige Entflechtung von Energiebereitstellung und Netzbetrieb. […]

FH-Hon.Prof. Ing. Dipl.-Ing. (FH) Dipl.-Ing. Dr. techn. Michael Georg Grasser, MBA MPA CMC, Leiter FA IT-Infrastruktur der Steiermärkischen Krankenanstaltengesellschaft m.b.H. (KAGes). (c) © FH CAMPUS 02
Interview

Krankenanstalten im Jahr 2030

Um sich schon heute auf die Herausforderungen in fünf Jahren vorbereiten zu können, hat die Steiermärkische Krankenanstaltengesellschaft (KAGes) die Strategie 2030 formuliert. transform! sprach mit Michael Georg Grasser, Leiter der Fachabteilung IT-Infrastruktur. […]

News

Risiken beim Einsatz von GenAI in vier Schritten senken

Die Themen Datenschutz und Modellverwaltung sind in der Datenwissenschaft zwar nicht neu, doch GenAI hat ihnen eine neue Dimension der Komplexität verliehen, die Datenschutzbeauftragte vor neue Herausforderungen stellt. Die Data-Science-Spezialisten von KNIME haben die Potenziale und Risiken der KI-Nutzung beim Einsatz bei der Datenarbeit zusammengefasst und empfehlen vier Schritte zur Risikominimierung. […]

Otto Neuer, Regional VP und General Manager bei Denodo. (c) Denodo
Kommentar

Wie logisches Datenmanagement das ESG-Reporting vereinfacht

Mit zunehmendem Bewusstsein für Nachhaltigkeitsthemen wächst auch der Druck, den Stakeholder diesbezüglich auf Unternehmen ausüben. Gerade auf Seiten der Gesetzesgeber entstehen vermehrt Richtlinien, die „ESG“ (Enviornmental, Social und Governance)-Anliegen vorantreiben und Unternehmen zu mehr Transparenz in Form von entsprechender Berichterstattung verpflichten. […]

Be the first to comment

Leave a Reply

Your email address will not be published.


*