Le smartphone comprend les signes de la main
Le professeur de l'ETH Otmar Hilliges et ses collaborateurs ont développé une application qui permet aux utilisateurs d'utiliser leur smartphone également avec des gestes. Cela élargit considérablement le champ des interactions possibles avec les appareils.
Au début, cela semble déjà un peu étrange : On tient le smartphone d'une main, tandis que l'autre main se déplace en l'air devant la caméra intégrée. On fait des gestes qui ressemblent à ceux de la langue des signes des sourds : L'index pointe tantôt vers la gauche, tantôt vers la droite, les doigts s'écartent, se forment en pince ou imitent un pistolet et appuient sur la gâchette. Ces gestes ne servent toutefois pas à la compréhension entre sourds, mais à la commande du smartphone.
Ainsi, un utilisateur peut, par exemple, passer à un autre onglet du navigateur, changer le mode de la carte de l'image satellite à la représentation topographique ou tirer sur les avions adverses dans un jeu, grâce au mouvement de tir de la main. En écartant les doigts, un extrait de carte s'agrandit ou une page de livre défile vers le haut.
Derrière cette commande gestuelle se cache un algorithme inédit développé par Jie Song, étudiant en master dans le groupe de travail d'Otmar Hilliges, professeur d'informatique. Les chercheurs viennent de présenter l'application à un public de spécialistes lors de la conférence UIST à Honolulu, Hawaii.
Une programmation intelligente préserve la mémoire de travail
Pour percevoir l'environnement, le programme utilise la caméra intégrée de l'appareil. Il n'évalue pas les informations de profondeur ou de couleur. Les informations obtenues - forme du geste, parties de la main - sont réduites à un simple contour, qui est ensuite classé en fonction des gestes programmés. En fonction du geste perçu, le programme exécute finalement l'ordre qui y est lié. Le programme reconnaît également la distance à laquelle la main se déplace devant la caméra. Si elle est trop proche ou trop éloignée, l'utilisateur reçoit un avertissement.
"Beaucoup de ces programmes de reconnaissance de mouvements sont très gourmands en calcul et nécessitent beaucoup de mémoire vive", souligne Hilliges. Cet algorithme, en revanche, n'utilise qu'une petite partie de la mémoire vive et est donc bien adapté aux smartphones. Cette application est la première du genre à fonctionner sur un smartphone. En raison de sa faible consommation de calcul, elle pourrait également être utilisée pour des montres intelligentes ou dans des lunettes de réalité augmentée.
Commande complémentaire
Actuellement, le programme peut reconnaître six gestes différents et exécuter les commandes correspondantes. Les chercheurs ont essayé 16 contours, ce qui ne correspond toutefois pas à la limite théorique. Il est important que les gestes génèrent des contours uniques. Si différents gestes se ressemblent trop, ils ne sont pas adaptés à cette application. "Afin d'élargir l'étendue des fonctions, nous allons enregistrer d'autres schémas de classification dans le programme", explique le chercheur de l'ETH.
Pour lui, il est clair que cette nouvelle possibilité de saisie élargit considérablement le champ d'application des smartphones. L'objectif des chercheurs est de garder les gestes aussi simples que possible afin de pouvoir utiliser l'appareil sans effort.
Les utilisateurs de smartphones s'habitueront-ils à l'utilisation gestuelle de leur appareil ? Otmar Hilliges est confiant. Selon lui, la commande gestuelle ne remplacera pas la commande par écran tactile, mais la complétera. "Les gens se sont également habitués à la commande des jeux informatiques par leurs propres mouvements". Les écrans tactiles auraient également eu un très long délai avant de trouver brusquement le chemin des consommateurs. Hilliges est donc convaincu que cette application, ou du moins une partie d'entre elle, trouvera son chemin vers les marchés.