Virtuelle Realität für den Alltag funktioniert mit Fingertippen

Virtual-Reality-Technologien dringen in immer mehr Bereiche vor. Von der Pilotenausbildung im Flugsimulator über räumliche Studien etwa in der Architektur bis hin zu immer lebensechteren Videospielen: Die Simulation von Umgebungen, gekoppelt mit Technologien wie VR-Brillen, bietet schier unbegrenzte Möglichkeiten. Im Alltag werden VR-Systeme jedoch noch nicht viel genutzt. «Mit VR werden heute vornehmlich Inhalte konsumiert. Gerade bei produktiven Tätigkeiten, etwa bei klassischen Büroarbeiten, haben sich die Technologien noch nicht etabliert», meint Christian Holz, Professor am Institut für intelligente interaktive Systeme an der ETH Zürich. Dabei bestünde auch hier grosses Potenzial: Inhalte sind nicht mehr an einen Bildschirm gebunden, Nutzerinnen und Nutzer können dreidimensional, hochflexibel und intuitiv mit den Händen agieren.

Jeder Finger vibriert anders

Was bremst diese Entwicklung? Christian Holz sieht das zentrale Problem bei der Interaktion zwischen Mensch und Technologie. So werden die meisten VR-Anwendungen heute entweder mit Controllern bedient, die in der Hand getragen werden, oder mit den Händen in der Luft, deren Position per Kamera erfasst wird. Meistens stehen die Nutzerinnen und Nutzer zudem beim Bedienen. «Wenn man die Arme immer hochhalten muss, wird das schnell ermüdend», meint Holz, «Ein normaler Arbeitsprozess, also die Interaktion mit dem System über mehrere Stunden, ist so nicht denkbar.» Ein weiteres Problem ergibt sich etwa beim Tippen auf einer virtuellen Tastatur. Die Finger bewegen sich dabei nur gering, und Kameras können die Bewegung in der Tiefe nicht so genau erfassen, wie eine mechanische Tastatur das kann. Zudem fehlt bei der Bedienung in der Luft das gewohnte haptische Feedback.

Für das Team von Forschenden um Christian Holz ist deshalb klar, dass für eine sinnvolle produktive Nutzung von VR passive Oberflächen weiterhin wichtig sind. Das kann die klassische Tischplatte sein, aber auch eine Wand oder der eigene Körper. Um diese optimal zu nutzen, entwickelten sie ein Sensorikprinzip namens «TapID», welches sie an der Konferenz externe Seite IEEE VR Ende März präsentieren werden. Das Prinzip basiert auf mehreren Beschleunigungssensoren am Handgelenk, die in ein normales Gummiarmband eingebettet sind. Diese registrieren, wenn die Hand eine Oberfläche berührt und welcher Finger benutzt wird. Die Forschenden fanden heraus, dass ihr neuartiges Sensordesign winzige Unterschiede im Vibrationsprofil am Handgelenk auflösen kann, die jeder Finger charakteristisch verschieden bei einer Bewegung auslöst. Eine eigens entwickelte Machine-Learning-Pipeline verarbeitet dabei die gemessenen Daten in Echtzeit. In Kombination mit dem Kamerasystem einer VR-Brille, welches die Position der Hände erfasst, wird so eine äusserst exakte Eingabe möglich. Die Forschenden demonstrieren das in einigen Anwendungen, die sie für ihre Entwicklung programmiert haben, etwa einer virtuellen Tastatur und einem Klavier (siehe Video).

Virtuelles Klavierspiel mit der Smartwatch

Das virtuelle Klavier eigne sich besonders gut, um die Vorzüge von TapID aufzuzeigen, so Holz: «Hier ist nicht nur räumliche Genauigkeit, sondern auch das Timing essenziell. Der Zeitpunkt der Tastenberührung muss so genau wie möglich erfasst werden. Das gelingt mit den Sensoren am Handgelenk deutlich besser und genauer als mit einer Kamera.» Die relativ simple Technologie, auf der das System aufbaut, bietet viele Vorteile. So dürfte ein solches Armband in der Herstellung nur wenige Franken kosten. Das Forschungsteam hat ihr System ausserdem mit bestehenden Technologien getestet: In einer technischen Evaluation mit 18 Teilnehmenden konnten sie zeigen, dass das Prinzip nicht nur mit den eigens konstruierten Elektronik im Armband zuverlässig funktioniert, sondern auch mit Fitness-Armbändern und Smartwatches von etablierten Anbietern, die mit Trägheitssensoren ausgestattet sind. Mit Blick in die Zukunft möchten die Forschenden daran arbeiten, das Prinzip mit noch mehr Testpersonen zu verfeinern und weitere Anwendungen zu entwickeln.

Ein weiterer Punkt, den Christian Holz sieht, ist die sogenannte Mobile Virtuelle Realität: «Unsere Sensorik ist so tragbar, dass wir VR in Zukunft auch unterwegs nutzen könnten. Mit TapID kann man Anwendungen auf der eigenen Hand oder den Oberschenkeln bedienen – überall und jederzeit.» Informatikprofessor Holz sieht die Zukunft der virtuellen Realität darin, unabhängig von der physischen Position zusammenarbeiten zu können – nicht durch Hardware eingeschränkt, sondern so, als wäre man im selben Raum. «TapID könnte ein wichtiger Schritt in diese Richtung sein», schliesst Christian Holz und wird mit seinem Team um Manuel Meier, Paul Streli und Andreas Fender weiter daran forschen.