Lo smartphone capisce i segnali delle mani

Il professor Otmar Hilliges e i suoi collaboratori dell'ETH hanno sviluppato un'applicazione che permette agli utenti di utilizzare i loro smartphone con i gesti. Questo amplia notevolmente l'ambito delle possibili interazioni con i dispositivi.

Vista ingrandita: Controllo dei gesti
Un nuovo tipo di programma riconosce i segnali della mano che ampliano lo spettro di input di uno smartphone. (Schermata: ETH di Zurigo)

All'inizio sembra un po' strano: Si tiene lo smartphone con una mano, mentre l'altra si muove in aria davanti alla fotocamera integrata. Si compiono gesti simili a quelli usati nella lingua dei segni dalle persone sorde: L'indice punta a volte a sinistra, a volte a destra, le dita si divaricano, formano delle pinze o imitano una pistola e premono il grilletto. Tuttavia, questi gesti non vengono utilizzati per comunicare tra persone sorde, ma per controllare lo smartphone.

Ad esempio, l'utente può passare a un'altra scheda del browser, cambiare la modalità della mappa da immagine satellitare a visualizzazione topografica o sparare agli aerei nemici in un gioco con il movimento della mano. Allargando le dita si ingrandisce una sezione della mappa o si scorre la pagina di un libro.

Alla base del controllo dei gesti c'è un algoritmo innovativo sviluppato dallo studente di master Jie Song del gruppo di lavoro di Otmar Hilliges, professore di informatica. I ricercatori hanno appena presentato l'applicazione a un pubblico di specialisti alla conferenza UIST di Honolulu, nelle Hawaii.

Riproducendo il video, si accetta l'informativa sulla privacy di YouTube.Per saperne di più OK
Come funziona l'app che consente agli utenti di utilizzare lo smartphone con i gesti. (Video: ETH di Zurigo)

Una programmazione intelligente per risparmiare memoria

Il programma utilizza la fotocamera integrata del dispositivo per percepire l'ambiente circostante. Non valuta le informazioni sulla profondità o sul colore. Le informazioni ottenute - forma del gesto, parti della mano - vengono ridotte a un semplice contorno, che viene poi classificato in base ai gesti programmati. In base al gesto percepito, il programma esegue il comando associato. Il programma riconosce anche la distanza a cui la mano si muove davanti alla telecamera. Se è troppo vicina o troppo lontana, l'utente riceve un avviso.

"Molti di questi programmi di riconoscimento del movimento sono ad alta intensità di calcolo e richiedono molta RAM", sottolinea Hilliges. Questo algoritmo, invece, richiede solo una piccola quantità di RAM ed è quindi adatto agli smartphone. Questa applicazione è la prima del suo genere a funzionare su uno smartphone. Grazie ai bassi requisiti di calcolo, potrebbe essere utilizzata anche per gli orologi intelligenti o negli occhiali per la realtà aumentata.

Controllo supplementare

Il programma è attualmente in grado di riconoscere sei diversi gesti e di eseguire i comandi corrispondenti. I ricercatori hanno sperimentato 16 contorni, ma questo non corrisponde al limite teorico. È importante che i gesti generino contorni unici. Se i diversi gesti delle mani sono troppo simili tra loro, non sono adatti a questa applicazione. "Per ampliare la gamma di funzioni, memorizzeremo nel programma ulteriori schemi di classificazione", spiega il ricercatore del Fare ricerca all'ETH.

Per lui è chiaro che la nuova opzione di input amplia in modo significativo la gamma di applicazioni per gli smartphone. L'obiettivo dei ricercatori è quello di mantenere i gesti il più semplici possibile, in modo che il dispositivo possa essere utilizzato senza sforzo.

Gli utenti di smartphone si abitueranno a usare il loro dispositivo con i gesti? Otmar Hilliges è fiducioso. Il controllo dei gesti non sostituirà il controllo tramite lo schermo sensibile al tocco, ma lo integrerà. "Anche gli schermi tattili hanno avuto tempi molto lunghi prima di arrivare improvvisamente ai consumatori. Hilliges è quindi convinto che questa applicazione, o almeno parte di essa, troverà spazio sui mercati.

Letteratura di riferimento

Song J, Sörös G, Pece F, Fanello S, Izadi S, Keskin C, Hilliges O: In-air Gestures Around Unmodified Mobile Devices, ACM User Interface Software and Technology Symposium, Honolulu, Hawaii, 7 ottobre 2014.

JavaScript è stato disabilitato sul tuo browser