Sensor-Armband erkennt komplexe Handgesten

Wissenschaftler der Cornell University und der University of Wisconsin, Madison haben mit "FingerTrak" ein Sensor-Armband entwickelt, mit dem sich die Hand vollständig dreidimensional erfassen lässt. [...]

Das kleine, leichte Gerät verfügt über vier winzige LowRes-Wärmebildkameras, die Konturen des Handgelenks wahrnehmen und dadurch jede noch so komplizierte Position und Geste des Körperteils detailgenau registrieren können – inklusive der 20 Fingergelenke.

Übersetzung von Zeichensprache

„Wenn man sich die Konturen des Handgelenks sehr genau ansieht, kann man mithilfe von Technologie auch exakt die Positionen der Finger bestimmen. Diese Entdeckung war ein großer Durchbruch für unser Team“, erklärt Cheng Zhang, Assistant Professor für Information Science und Leiter des SciFi Lab  an der Cornell University. „Unser System ist das erste, mit dem sich auf Basis dieses Ansatzes die vollständige Handhaltung in 3D erfassen lässt“, betont der Forscher.

Bisher seien ähnliche Geräte vor allem an ihrem zu großen Gewicht und der damit zusammenhängenden schlechten Alltagstauglichkeit gescheitert. „Die meisten sind außerdem nur in der Lage, einige wenige Handgesten zu erkennen“, merkt Zhang an. Mit FingerTrak würden sich aber nun gleich eine ganze Reihe von Anwendungsmöglichkeiten eröffnen. Am vielversprechendsten sei etwa ein Einsatz bei der Übersetzung von Zeichensprache. „Derzeit müssen User in diesem Bereich entweder einen speziellen Handschuh tragen oder eine Kamera in der Umgebung aufstellen. Beides ist oft viel zu umständlich.“

Handlich, klein und sehr leicht

Das neue Hightech-Armband ist wesentlich handlicher, relativ klein und sehr leicht, um den Träger nicht in seinem Bewegungsspielraum einzuschränken. Anstelle von normalen optischen Kameras wird auf auf eine Kombination aus Wärmebildaufnahmen und maschinellem Lernen gesetzt, um eine Hand virtuell zu rekonstruieren. Jede der insgesamt vier verbauten Mini-Kameras ist etwa erbsengroß und zeichnet mehrfach Aufnahmen von der Hand-Silhouette auf.

Die gesammelten Daten werden anschließend in ein neuronales Netzwerk eingespeist, das die unterschiedlichen Bilder zusammensetzt, um ein akkurates dreidimensionales Abbild der Hand zu erzeugen. „Mithilfe dieser Methode können wir die vollständige Handposition darstellen, sogar wenn jemand gerade ein Objekt in der Hand hält“, schildert Zhang.

Hintergrundinfo und Funktionsweise des FingerTrak gibt es in diesem (englischsprachigen) Video.

Sie sehen gerade einen Platzhalterinhalt von YouTube. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.

Mehr Informationen

Inhalt entsperren Erforderlichen Service akzeptieren und Inhalte entsperren