Smartwatches lassen sie sich bisher nur umständlich bedienen – die Eingabefläche ist zu klein. Eine neuartige Methode haben Forscher des Max-Planck-Instituts für Informatik zusammen mit weiteren Kollegen entwickelt. Die Bewegungen von Daumen und Zeigefinger werden neben der Uhr auf dem Handrücken und auch im unmittelbaren Luftraum über dem Handrücken wie auf einem Touchscreen erfasst. Auf diese Weise lassen sich nicht nur Smartwatch & Co. komfortabel steuern, es sind auch völlig neue Interaktionsformen möglich.
„Jede neue Produkt-Generation stellt bessere Bildschirme, schnellere Prozessoren und präzisere Kameras vor, in punkto Eingabe bleibt es jedoch bei den Beschränkungen“, erklärt Srinath Sridhar, der an der Universität des Saarlandes promoviert hat und am Max-Planck-Institut für Informatik forscht. Sridhar hat zusammen mit Professor Christian Theobalt am Max-Planck-Institut für Informatik sowie Forschern in Dänemark und Finnland eine Eingabemethode entwickelt, die die Fingerspitzen von Daumen und Zeigefinger sowohl im dreidimensionalen Luftraum über dem Handrücken als auch ihre Position und ihren Druck auf dem Handrücken selber erfasst.
Spielesteuerung „Kinect“ als Vorbild
An Hardware setzt der Prototyp, den die Forscher auf den Namen „WatchSense“ getauft haben, lediglich einen Tiefensensor voraus, der eine kleinere Version des Sensors ist, wie man ihn von der Spielesteuerung „Kinect“ für die Videospielkonsole Xbox 360 kennt. Bei WatchSense sitzt der Tiefensensor am Unterarm des Anwenders, knapp 20 Zentimeter von der Uhr entfernt. Als eine Art 3D-Kamera filmt er Bewegungen von Daumen und Zeigefinger, sowohl auf dem Handrücken als auch im Luftraum darüber. Die von den Forschern entwickelte Software erkennt im 3D-Bild Position und Bewegung der Finger, so dass der Nutzer damit Anwendungen auf Smartphone und Co. steuern kann. „Die aktuell erhältlichen Tiefensensoren passen zwar noch nicht in eine Smartwatch, aber der Trend geht ganz klar dahin, dass in naher Zukunft kleinere Tiefensensoren in die Smartwatches integriert werden“, sagt Sridhar.
Sensor kann Finger unterscheiden
Doch einzig mit dem Tiefensensor war es noch nicht getan. Laut Sridhar mussten die Wissenschaftler mit ihrem Softwaresystem sowohl die Herausforderung lösen, mit dem unebenen Handrücken zurechtzukommen, als auch mit dem Umstand, dass sich die Finger gegenseitig verdecken können. „Das Wichtigste ist, dass wir die Finger nicht nur erkennen, sondern auch unterscheiden können“, erklärt Sridhar, „das hat zuvor kein tragbarer Prototyp gekonnt. Wir schaffen es nun sogar in Echtzeit“. Die Software erkennt exakt die Position von Daumen und Zeigefinger im vom Tiefensensor gelieferten 3D-Bild, weil die Forscher sie mit „Maschinellem Lernen“ darauf trainiert haben. Zusätzlich haben die Forscher ihren Prototypen erfolgreich in Kombination mit verschiedenen Mobilgeräten und in diversen Szenarien getestet.
„Smartphones können zwar mit einem oder mehreren Fingern auf dem Display bedient werden, sie nutzen aber nicht den Raum darüber. Kombiniert man beides, kann man bisher unmögliche Interaktionsformen erschaffen”, erläutert Sridhar. Gemeinsam mit seinen Kollegen konnte er nachweisen, dass man mit WatchSense die Lautstärke in einem Musik-Programm schneller ändern und ein neues Lied auswählen kann als mit einer herkömmlichen App. Die Forscher erprobten WatchSense ebenfalls für Tätigkeiten in der erweiterten und virtuellen Realität. Auch eine Landkarten-Anwendung getestet, ebenso wie die Steuerung eines großen, externen Bildschirms.
Produktivere Geräte-Steuerung
Nutzerstudien zeigen, dass WatchSense im Vergleich zu herkömmlichen berührungsempfindlichen Displays benutzerfreundlicher ist. Sridath gibt sich zuversichtlich: „Wir brauchen so etwas wie WatchSense, wenn wir unterwegs produktiv sein wollen, also etwa auf dem Fußweg zur Arbeit noch schnell eine Nachricht versenden möchten. WatchSense ermöglicht erstmals echte ‚interaction on the move‘.“
An dem Forschungsprojekt sind neben den Saarbrücker Wissenschaftlern Anders Markussen und Sebastian Boring von der Universität Kopenhagen sowie Antti Oulasvirta von der finnischen Aalto Universität beteiligt. Ab 6. Mai 2017 präsentieren die Forscher WatchSense auf der „Conference on Human Factors in Computing“, kurz CHI, die diesmal in der US-amerikanischen Stadt Denver stattfindet.