Auf dem Weg zur Full Immersion

Was einst mit der Maus und dem Keyboard begonnen hat, entwickelt sich zu immer natürlicheren Formen der Kommunikation zwischen Mensch und Maschine. Mit aktuellen HMIs bewegen wir uns in Richtung einer Welt, in der Realität und Digitales verschwimmen. [...]

Die JOANNEUM RESEARCH Forschungsgesellschaft hat sich fünf Jahre lang mit einer innovativen Sensor-Technik beschäftigt, „welche die vollflächige Registrierung, Erkennung und Verarbeitung von taktilen und gestischen Informationen ermöglicht und beliebig formbar, direkt am Objekt integrierbar, großflächig, beständig, energieautark und zudem kostengünstig ist“, so die Angaben des Instituts, das in Weiz und Niklasdorf sein Zuhause hat. Das Besondere der sogenannten PyzoFlex-Technologie: „Eine intuitive und als natürlich empfundene Steuerung der Geräte durch ihre Fähigkeit zum Erkennen von Multitoucheingaben und der gleichzeitigen Registrierung von verschiedenen Fingerdruckniveaus, was den Objekten sozusagen eine interaktive 3D-Oberfläche verleiht.“ Ein mögliches Anwendungsgebiet sei die natürlich anmutende Content-Navigation auf Touch-Displays, so die Entwickler. Als Beispiel wird die Auswahl, das Festhalten und das Verschieben von Objekten auf der grafischen Oberfläche mittels Finger- und Handdruck genannt.

So wie JOANNEUM RESEARCH forschen unzählige Organisationen weltweit, um die Interaktion mit Maschinen endlich ins 21. Jahrhundert zu bringen. Denn das heute nach wie dominierende Interface mit Maus und Tastatur hat seinen Ursprung in den 1960er-Jahren – höchste Zeit also, einen Paradigmenwechsel anzustoßen.

Gegenseitige Annäherung

Wer sich einen groben Überblick der aktuellen Trends in Sachen Human Machine Interfaces (HMI) verschaffen will, sollte sich die SONAR Trend Plattform von Reply ansehen, die das Auftreten des Themas in Fach- und Massenmedien, Patenten und wissenschaftlichen Publikationen in die Analyse einfließen lässt. Unter dem Titel „So kommen Menschen den Maschinen näher – Zukunftskonzepte für Human Machine Interfaces“ teilt Reply die Entwicklung in vier Trendbereiche (von „etabliert“ bis „boomend“) und unterlegt die jeweiligen Trends mit Technologien wie „Mixed Reality“, „Conversational UI“ oder „Future Screens & Grafics“.

Alle Trends zusammengenommen ergeben ein Bild, das Reply so beschreibt: „Wir bewegen uns gerade vom Zeitalter des ‚Hands & Touch‘, in dem wir Knöpfe mit unseren Händen bedient haben, in ein Zeitalter des ‚Mind & Body‘, in dem wir unseren Körper als Benutzerschnittstelle einsetzen.“ Eine weitere wichtige Erkenntnis ist, dass viele Technologien zum formulierten Ziel führen. Hier drei Wege:

Cloud-basierte Sprachassistenz

Alexa, Siri und Co. zeigen auf, dass die freihändige Kommunikation bereits im Alltag angekommen ist. Schon 2017 wurden weltweit 33,3 Millionen Smart Speaker verkauft, so die Deloitte-Studie Beyond Touch: Voice-Commerce 2030. Pro Woche sollen laut Hochrechnung zwei Milliarden Voice-Anfragen gestellt werden. Und es sei zu erwarten, dass der globale Markt für smarte Lautsprecher bis zum Jahr 2022 durchschnittlich um mehr als 30 Prozent pro Jahr wachsen wird.

Die Qualität der sprachlichen Kommunikation steht und fällt mit den Fortschritten der zugrundeliegenden künstlichen Intelligenz: Sie basiert auf dem Zusammenspiel von vier Kerntechnologien:

• Automated Speech Recognition (ASR) sorgt für die Umwandlung der Spracheingabe in Textform
• Natural Language Processing (NLP) ermöglicht die Zuordnung einer Bedeutung zu einzelnen Textfragmenten
• Dialog Manager (DM) veranlasst die Entscheidung und Durchführung notwendiger Schritte zur Beantwortung der Anfrage
• Text-to-Speech (TTS) übernimmt die Text- oder Sprachausgabe einer Antwort zur Anfrage

Der Status-quo der Sprachassistenz? Bei eng definierten Sprachbefehlen durchaus brauchbar.

Extended Reality

Die unter „Extended Reality“ (XR) zusammengefassten Technologien sollen eine vollkommen barrierefreie Kommunikation ermöglichen und geographische Distanzen eliminieren.

Augmented, Virtual und Mixed Reality unterstützen durch starke, immersive Erfahrungen das Engagement und die Motivation von Verbrauchern, führen zu Kostensenkung und mehr Sicherheit durch virtuelle Repräsentation sowie mehr Effizienz und eine produktivere Umgebung.

Der Capgemini-Studie Augmented and Virtual Reality in Operations: A guide for investment zufolge bestätigen 82 Prozent der Unternehmen, die aktuell AR oder VR in ihrem Geschäftsbetrieb einführen, dass ihre Erwartungen bezüglich Produktivität und anderen Faktoren erfüllt oder gar übertroffen werden. 50 Prozent der Unternehmen, die bislang keine immersiven Technologien einsetzen, wollen sich in den nächsten drei Jahren intensiv mit ihnen befassen. Konkrete Beispiele zeigen, dass die Technologie bereits einen hohen Reifegrad erreicht hat: Porsche nutzt AR-Brillen, um Schritt-für-Schritt-Anweisungen und schematische Zeichnungen in Blickrichtung einzublenden, so dass unter anderem Experten aus der Entfernung Anweisungen geben können.

Einer der wichtigsten Treiber dieser Technologie ist 5G, da die höheren Datenraten und niedrigere Latenz die optimale Basis für den Erfolg von XR bilden.

Full Immersion

Die hohe Schule der Human Machine Interfaces sind jene Schnittstellen, die der User nicht mehr bewusst wahrnimmt, denn der Informationsaustausch findet unmittelbar statt. „Wir werden in der Lage sein, Ideen, Gefühle und Erinnerungen mit Freunden durch Gedankenkontrolle zu teilen und eine unvorstellbare Welt der reibungslosen, intimen Kommunikation und Vernetzung zu eröffnen“, ist Reply überzeugt. Eine andere Möglichkeit ist die Verschmelzung mit hyperintelligenten KI-Systemen, wobei für die Mitmenschen nicht mehr unterscheidbar ist, ob das kommunizierte Knowhow einem natürlichen Lernprozess entspringt oder einer Datenbank. Ray Kurzweil, Erfinder, Futurist und Google Director of Engineering, träumt wiederum von einer virtuellen Kopie des Menschen – quasi ein Digital Twin –, die jegliche Formen von Daten speichern kann, die von unseren Neuronen übertragen werden: Gedanken, Erinnerungen und Gefühle.

Dass diese Entwicklung mit massiven ethischen Bedenken verbunden ist, liegt auf der Hand. Sie hat aber auch rein praktische Implikationen: Man stelle sich eine Welt vor, in der der Mensch im extremsten Fall nur mehr als biologisches Trägermaterial für künstliche Intelligenz dient. Was passiert bei einem großflächigen, lang andauernden Blackout? Stirbt dann die Menschheit aus, da selbst die einfachsten Tätigkeiten ohne digitale Hilfe nicht mehr möglich sind?

Biotech als HMI-Speerspitze

Bis es soweit ist, dass wir Antworten auf diese und ähnliche Fragen finden müssen, kann man davon ausgehen, dass die Mehrzahl der Forscher und Entwickler im Full-Immersion-Bereich eher zum Wohle der Menschheit unterwegs ist. Nicht zufällig werden hier zunehmend Firmen aus dem Gesundheitsbereich genannt, die man auf den ersten Blick nicht unbedingt mit HMI in Verbindung bringen würde. „Die Unternehmen mit den höchsten Wachstumsraten der letzten Jahre werden von Proteus und Microchips Biotech angeführt, die mit Mikrochip-basierten Implantaten die Wirkstofffreisetzung im Körper revolutionieren wollen. Abbott nimmt durch die Markteinführung von Confirm Rx, einem einsetzbaren Herzmonitor, den dritten Platz ein. Die wichtigsten Patentanmeldungen wurden von Oculus, Lenovo und Bae Systems eingereicht“, so die SONAR-Studie.

Im Zentrum des sogenannten Discover-Systems von Proteus Digital Health ist ein Sensor, der die Größe eines Sandkorns hat und aus biokompatiblen Materialien besteht. Er wird durch Flüssigkeiten im Magen aktiviert. Auf der Oberfläche befindet sich ein Signalmessfeld, das die Einnahme der Sensorpille sowie Datum und Uhrzeit sowie die Aktivitätsstufe protokolliert und Signale an eine mobile App sendet, die dem Patienten, der das Medikament einnimmt, eine sofortige Rückmeldung gibt. Kurz gesagt: Eine IoT-Lösung für den menschlichen Körper.

Emotiv ist ein 2011 gegründetes Unternehmen im Bereich der sogenannten Bioinformatik. Dabei handelt es sich um eine interdisziplinäre Wissenschaft, die Probleme aus den Lebenswissenschaften mit theoretischen computergestützten Methoden löst. Sie hat bereits zu grundlegenden Erkenntnissen der modernen Biologie und Medizin beigetragen, etwa bei der Sequenzierung des menschlichen Genoms im Jahr 2001.

Das System, das Emotiv entwickelt hat, besteht aus einer Art Headset, das derzeit sechs verschiedene kognitive Zustände in Echtzeit registrieren kann: Erregung (Arousal), Interesse (Valenz), Stress (Frustration), Engagement bzw. Langeweile, Aufmerksamkeit (Fokus) und Meditation (Entspannung). Mit diesem System kann der User direkte mentale Befehle ausführen. Zu diesem Zweck trainiert der Anwender das System, um Gedankenmuster zu definieren, die sich auf verschiedene gewünschte Ergebnisse beziehen, z. B. um Objekte zu bewegen.

In Kombination mit dem integrierten Bewegungssensor sorgt das Unternehmen für die Bereitstellung einer freihändigen, gehirngesteuerten Maus. Personen mit teilweiser Lähmung oder beeinträchtigter Muskulatur können das System individuell trainieren.

Der querschnittsgelähmt Rodrigo Hubner Mendes saß 2017 in einem Formel-1-Wagen, den er dank Emotiv mit seinen Gedanken steuern konnte. „Um zu beschleunigen, dachte ich, ich würde ein Fußballtor feiern. Um nach rechts zu lenken, dachte ich, ich esse etwas Leckeres. Und um nach links steuern, dachte ich, ich hätte eine Fahrradlenkstange in der Hand“, beschrieb er sein Erlebnis, das ihn erfolgreich die Rennstrecke meistern ließ.

Embodiment Illusion

MindMaze, ein Startup, das Neurowissenschaften und VR zu Human Machine Interfaces verschmilzt, hat 2016 von der Hinduja Group eine Finanzierung von 100 Millionen Dollar erhalten, gefolgt von einer nicht näher bezifferten Investition durch Leonardo DiCaprio. Die Doktorarbeit des Gründers Tej Tadi trägt den Titel: „Neural Mechanisms of the ­Embodied Self: Merging Virtual Reality And Elec­trical Neuroimaging.“ Sein Forschungsgebiet: „Embodiment Illusions“. Wie Tej Tadis gegenüber Forbes erklärt hat, arbeitet das Unternehmen an einem „Cognichip“, dem gleichsam heilgen Gral der HMI-Entwicklung. „Der Mikrochip soll die Synchronisationsarbeit, die das Gehirn jede Sekunde zwischen verschiedenen Informationsströmen leistet, automatisieren. 30 Millionen US-Dollar soll die Entwicklung kosten, die Inputs von Kameras, ­Bewegungssensoren oder Gehirnstromanalysen aufnimmt, verarbeitet und auswertet. Das Ziel verkündete Tadi bewusst noch nicht. Man hätte ihn für verrückt erklärt“, schreibt Klaus Fiala von Forbes.

MindMaze ist nicht nur in der Zukunft unterwegs. Schon heute kann das Unternehmen, das bereits Unicorn-Status erreicht hat (= Marktwert jenseits der 1-Milliarde-Dollar-Grenze), mit praktikablen Plänen dienen. Vor kurzem ist Tej Tadi eine Kooperation mit McLaren Racing eingegangen. Im Rahmen der Technologiepartnerschaft wollen die Unternehmen „MindDrive“ realisieren, die nächste Generation von Sicherheits- und Leistungsplattformen, die auf den Motorsport zugeschnitten sind. Mithilfe der aktuellen Entwicklung der Gehirnsensor-Technologie von MindMaze soll das Produkt im Notfall wichtige neuronale Signaturen vom Fahrer in Echtzeit erfassen und an ein medizinisches Team übertragen, das an der Streck steht. Die Technologie soll es McLaren Racing auch ermöglichen, Daten und Einblicke in die allgemeine Sicherheit und Leistung des Fahrers zu sammeln.

Richtig spannend wird es, wenn das Signal eines Tages zurück an den Fahrer geschickt werden kann, das direkt im Gehirn verarbeitet wird und bestimmte Handlungen auslöst. Das Horrorszenario in diesem Fall würde in etwa lauten: Übergewichtiger Teenager steuert vom Kinderzimmer aus Formel-1-Weltmeister zum Sieg.