Präzise Touchscreens dank KI

Das kennen wohl alle von uns: wer schnell eine Nachricht auf dem Smartphone eintippen will, trifft auf der kleinen Tastatur – oder auf anderen Elementen der Benutzeroberfläche – mitunter die falschen Buchstaben. Das liegt nicht nur an uns, denn die Berührungssensoren, die das Eingeben per Finger auf dem Berührbildschirm (engl. touch screen) erfassen, haben sich seit ihrer Einführung Mitte der 2000er-Jahre nicht wesentlich verändert.

Im Unterschied zu ihren Berührungssensoren erreichen die Bildschirme von Smartphones und Tablets mittlerweile eine nie dagewesene visuelle Qualität, die mit jeder neuen Geräte-Generation noch deutlicher zu sehen ist: höhere Farbtreue, höhere Auflösung, schärferer Kontrast. Während ein iPhone-Telefon der neuesten Generation zum Beispiel eine Display-Auflösung von 2532x1170 Pixeln hat, kann dessen Berührungssensor nur Eingaben mit einer Auflösung von etwa 32x15 Pixeln erkennen – das ist fast 80-mal niedriger als die Bildschirmauflösung: «Und da fragen wir uns, warum wir auf der kleinen Tastatur so viele Tippfehler machen? Wir denken, dass wir in der Lage sein sollten, Objekte mittels Berührung pixelgenau auszuwählen, aber das ist nicht der Fall», sagt Christian Holz, ETH-Informatikprofessor vom Sensing, Interaction & Perception Lab (SIPLAB) in einem Interview der Reihe «Spotlights» des ETH-Informatikdepartements.

Mit seinem Doktoranden Paul Streli hat Holz eine künstliche Intelligenz (KI) namens «CapContact» entwickelt, die superauflösende Touchscreens ermöglicht. Diese können die Kontaktfläche, wo sich Finger und Bildschirm-Oberfläche tatsächlich berühren, zuverlässig und deutlich genauer als heute üblich erkennen. In dieser Woche haben sie ihre neue KI-Lösung an der externe Seite CHI 2021, der Fachkonferenz für menschliche Faktoren in Computersystemen, vorgestellt.

Erkennen, wo Finger den Screen berühren

Entwickelt haben die ETH-Forscher die KI für sogenannte kapazitive Touchscreens, also die Art von Bildschirmen, die in jedem unserer Handys, Tablets oder Laptops existiert: Bei diesen Berührungsbildschirmen erkennen die Sensoren die Position der Finger jeweils daran, dass sich das elektrische Feld zwischen den Sensorleitungen durch die Nähe eines Fingers ändert, wenn dieser den Bildschirm berührt. Berührungsbildschirme machen sich dabei die Eigenschaft zunutze, dass die Intensität einer «Berührung» mit zunehmender Entfernung der Finger exponentiell abnimmt. Jedoch können sie den jeweils tatsächlichen physikalischen Kontakt mit der Oberfläche nicht erkennen.

Die kapazitive Sensorik sei nie dafür entwickelt worden, um punktgenau herzuleiten, wo auf dem Bildschirm tatsächlich eine physikalische Berührung stattfinde, sagt Holz: «Sie erkennt nur die Nähe unserer Finger.» Die Touchscreens heutiger Geräte errechnen somit die Position, wo die Eingabe mit dem Finger erfolgt, aus grob aufgelösten Näherungsmessungen. Die Forscher mussten einerseits die geringe Auflösung der Sensoren erhöhen, anderseits mussten sie herausfinden, wie man aus den kapazitiven Messungen präzise auf den jeweiligen Kontaktbereich zwischen Finger und Bildschirmoberfläche schliessen kann.

Dazu verwenden Streli und Holz, anders als bisher üblich, Touchscreens als Bildsensoren. Ein Berührbildschirm ist laut Holz im Grund eine sehr niedrig auflösende Tiefenkamera, die etwa acht Millimeter weit blicken kann. Eine Tiefenkamera nimmt nicht direkt Fotos auf, sondern kodiert die Nähe von Objekten im Sichtbereich. Mit «CapContact» nutzen die Forscher diese Einsicht aus, um durch ihre neuentwickelte KI-Methode die physikalische Kontaktfläche zwischen dem Finger und dem Display hochauflösend abzuschätzen.

«Erstens errechnet ‹CapContact› die tatsächlichen Kontaktflächen zwischen Fingern und Touchscreens bei einer Berührung», sagt Holz, «zweitens errechnet sie diese Kontaktflächen mit der achtfachen Auflösung aktueller Berührungssensoren, wodurch unsere Touch-Geräte die Berührungen viel präziser erkennen können.»

Um die KI zu trainieren, haben die Forscher ein spezielles Gerät entwickelt, das die kapazitiven Intensitäten, also die Beinahe-Berührungen, und die echten Kontaktkarten durch einen hochauflösenden Drucksensor aufzeichnet. Indem sie die realen Berührungen von vielen Test-Teilnehmenden erfassten, erhielten die Forscher Trainingsdaten, mit denen «CapContact» lernte, superauflösend die Kontaktflächen aus den groben, niedrig aufgelösten Sensordaten heutiger Touchscreens vorherzusagen.

Niedrige Auflösung als Fehlerquelle

«In unserem Beitrag zeigen wir, dass wir aus der von ‹CapContact› berechneten Kontaktfläche zwischen Finger und Handy-Bildschirm viel genauer die Position der Berührungseingabe herleiten können als dies aktuelle Geräte vermögen», ergänzt Paul Streli. Zudem zeigen die Forscher, dass ein Drittel der Fehler aktueller Geräte darauf zurückzuführen ist, dass die Eingabeabtastung nur mit niedriger Auflösung erfolgt. «CapContact» beseitigt diese Fehler mit maschinellem Lernen (Deep Learning).

Die Forscher weisen nach, dass «CapContact» die Berührungsflächen auch dann zuverlässig erkennt und auseinanderhält, wenn Finger sehr nahe beieinanderliegend den Bildschirm berühren. Das ist zum Beispiel bei der Pinch-Geste so, bei der man Daumen und Zeigefinger über einen Bildschirm bewegt, um Texte oder Bilder zu vergrössern. Diese Berührung können heutige Gerät kaum unterscheiden. In einem Experiment setzten die Forscher zudem Sensoren ein, die viel niedriger aufgelöst waren als die, die man heute in Handys einbaut – trotzdem erkannte «CapContact» die Berührungen besser und konnte die Kontaktflächen deutlich genauer herleiten als Handys mit der heute üblichen Auflösung. Die Chance, dass diese KI-Lösung den Grund legt für eine neue Berührungserkennung in künftigen Handys und Tablets stehen damit gut.

Um Nachfolgearbeiten in dem Bereich zu ermöglichen, veröffentlichen die Forscher sowohl sämtliche trainierten Deep Learning-Modelle und Quelltexte als auch den aufgenommenen Trainings-Datensatz auf ihrer externe Seite Projektseite.