LipType: Neue System kann Lippen lesen

US-Forscher haben mit «LipType» ein System entwickelt, das Worte an den Lippenbewegungen erkennen soll. Damit wird die sichere Spracheingabe in einer lauten Umgebung und für Behinderte möglich. [...]

img-1
Laxmi Pandey (links), Ahmed Sabbir Arif (Mitte), Gulnar Rakhmetulla haben «Lip Type» entwickelt (c) UC Merced

Mit dem Lippenlesegerät «LipType» von Forschern der University of California in Merced können Behinderte und Gesunde mit Computern und anderen elektronischen Devices sicher kommunizieren. «Es gibt viele Missverständnisse, wenn Menschen sprachlich miteinander kommunizieren, insbesondere an lauten Orten oder bei Menschen mit Sprachbehinderungen. Aber LipType funktioniert bei jedem», so Entwickler Ahmed Sabbir Arif.

Gespräche belauschen

Arif zufolge ist LipType ideal für Personen, die sich in einem öffentlichen Raum befinden und Privates übermitteln wollen, ohne dass sie abgehört werden können. Mit dem Gerät können sie lautlos sprechen, indem sie die Worte mit den Lippen formen, ohne sie laut auszusprechen. Eine Kamera nimmt die Bewegungen auf, eine Software, die für jeden Anwender individuell trainiert werden muss, wertet die Bildfolgen aus und übersetzt sie in einen digitalen Code.

Dieser Code lässt sich in die Sprache des Geräts übersetzen, das bedient werden soll. In der Regel wird damit ein anderer Computer oder Mikroprozessor gefüttert, der die digitalisierten Wörter in Handlungsanweisungen umsetzt. Es ist auch denkbar, ein Gerät anzuschließen, das den Code wiederum in gesprochene Wörter umsetzt. Dann können Stumme verbal kommunizieren, sagen Arifs Schülerinnen Laxmi Pandey und Gulnar Rakhmetulla.

Tests erfolgreich absolviert

Um zu testen, ob LipType bei den Menschen ankommt, ging es in Tests darum, wie präzise die Umsetzung der Lippenbewegungen in eine digitale Sprache klappt und ob es schnell genug geht. Sowohl Studenten als auch andere Menschen sagten nach Abschluss der Versuche mehrheitlich, sie würden ein solches Gerät gern nutzen. «Menschen mit Behinderungen stehen oft im Abseits», sagt Arif. LipType biete ihnen die Möglichkeit, mobile und andere Geräte durch Spracheingabe genauso zu bedienen wie Nicht-Behinderte.

Sie sehen gerade einen Platzhalterinhalt von YouTube. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.

Mehr Informationen

Mehr Artikel

Ass. Prof. Dr. Johannes Brandstetter, Chief Researcher bei NXAI (c) NXAI
News

KI-Forschung in Österreich: Deep-Learning zur Simulation industrieller Prozesse

Als erstes Team weltweit präsentiert das NXAI-Forscherteam um Johannes Brandstetter eine End-to-End-Deep-Learning Alternative zur Modifizierung industrieller Prozesse, wie Wirbelschichtreaktoren oder Silos. Das Team strebt schnelle Echtzeit-Simulationen an, plant den Aufbau von Foundation Models für Industriekunden und fokussiert sich im nächsten Schritt auf die Generalisierung von Simulationen. […]

img-5
News

Die besten Arbeitgeber der Welt

Great Place To Work hat durch die Befragung von mehr als 7,4 Millionen Mitarbeitenden in den Jahren 2023 und 2024 die 25 World’s Best Workplaces identifiziert. 6 dieser Unternehmen wurden auch in Österreich als Best Workplaces ausgezeichnet. […]

img-6
News

ventopay als Vorreiter der digitalen Transformation

Bei der diesjährigen Verleihung des Digitalpreises „DIGITALOS“ wurde das oberösterreichische Softwareunternehmen ventopay als Sieger in der Kategorie „Digitale Transformation“ ausgezeichnet. Der Preis geht an Unternehmen, die ihre Geschäftsmodelle erfolgreich digitalisiert und zukunftsweisende Lösungen für ihre Branche entwickelt haben. […]

1 Comment

Leave a Reply

Your email address will not be published.


*