Notre attention réelle devient mesurable
Les téléphones portables ne doivent plus déranger au mauvais moment. Pour cela, il faut d'abord mieux comprendre notre attention pendant l'utilisation d'un smartphone. Des informaticiens de l'ETH ont développé un système qui permet pour la première fois de saisir le contact visuel avec l'écran au quotidien. Les sociologues et les médecins pourraient également en profiter.
Combien de fois par jour allumez-vous votre smartphone ? Combien de temps l'écran est-il allumé et combien de temps telle ou telle application est-elle en service ? Tous les smartphones modernes collectent automatiquement ces données et les mettent à disposition de l'utilisateur sous des appellations telles que "bien-être numérique". Mais tous les temps d'écran ne se valent pas et toutes les utilisations d'apps ne se valent pas.
Parfois, nous sommes concentrés sur notre tâche pendant une longue période, d'autres fois, nous ne regardons que furtivement l'écran ou sommes distraits à plusieurs reprises par des événements dans l'environnement. Et parfois, notre regard ne se dirige même pas vers le smartphone, car nous l'avons activé inconsciemment.
Comprendre l'attention de l'utilisateur
"L'attention que nous portons à notre smartphone peut être très variable", explique Mihai Bâce : "Mais elle n'a encore jamais été étudiée dans des situations réelles de la vie quotidienne." Le doctorant de l'Institut des systèmes interactifs intelligents de l'ETH Zurich a désormais développé, en collaboration avec un étudiant en master et un professeur de l'Université de Stuttgart, un système permettant de mesurer l'attention visuelle portée au smartphone dans le cadre d'une utilisation quotidienne tout à fait normale et pendant des semaines.
Il ne nécessite pour cela que la caméra frontale et les données des capteurs du téléphone. Jusqu'à présent, il fallait recourir à des appareils de mesure compliqués avec des eye-trackers ou remplir des questionnaires qui permettaient tout au plus de saisir approximativement la vie normale.
Comme le souligne Bâce, la compréhension de l'attention de l'utilisateur fait partie des principaux défis sur la voie des futures interfaces utilisateurs mobiles. Celles-ci doivent en effet devenir attentives à leur tour et tenir compte automatiquement de nos besoins actuels ainsi que de la situation dans laquelle nous nous trouvons.
Il ne sera alors plus nécessaire, par exemple, d'effectuer un réglage manuel "ne pas déranger" pour ne pas être tiré d'une occupation concentrée par un message sans importance.
Seulement 7 secondes d'affilée et 4 fois distraites
Et de telles technologies semblent de plus en plus nécessaires. Les recherches de Bâce montrent en effet que l'attention visuelle que nous accordons au smartphone est aujourd'hui très morcelée. Un contact visuel avec l'écran ne dure en moyenne que 7 secondes avant que le regard ne s'égare.
Et cela se produit quatre fois pendant environ deux secondes après chaque déverrouillage. Le degré de distraction de l'utilisateur dépend de sa personnalité, mais aussi de son environnement et du type d'application en cours d'utilisation. Les applications médicales ou celles qui servent à la formation, par exemple, captivent beaucoup plus longtemps que les applications de divertissement.
Base pour les recherches les plus diverses
Mais Bâce ne voit pas la grande valeur de son travail uniquement dans ces résultats d'étude concrets qui ont pu être obtenus avec le système : "Notre système doit avant tout servir de base à d'autres scientifiques. C'est pourquoi nous allons publier non seulement l'ensemble des données vidéo, mais aussi tous nos algorithmes".
A l'avenir, ce ne sont pas seulement les développeurs d'apps qui pourraient en profiter, mais aussi, par exemple, les sociologues ou les psychologues qui pourraient, grâce à ce système, réaliser des études sur l'influence de différents facteurs sur l'attention sans grand effort technique. Mais la médecine serait également un utilisateur potentiel de cette technologie. Les modifications du comportement attentionnel pourraient par exemple être utilisées pour le monitoring des patients et signaler les évolutions problématiques.
Le développement du système a fait appel à une application qui, en plus de l'enregistrement de vidéos de la caméra frontale à chaque déverrouillage du téléphone et de la collecte parallèle de différents capteurs et métadonnées, comprenait des fonctionnalités de protection des données et de vérification.
Ainsi, les participants à l'étude pouvaient décider eux-mêmes des vidéos qu'ils autorisaient à évaluer grâce à un composant de révision, et un jeu d'annotation permettait d'évaluer les séquences vidéo d'autres participants. Cette troisième composante a permis de vérifier les résultats de la reconnaissance automatique du contact visuel pendant la phase de développement.
L'infrastructure, un grand défi
Dans le cadre d'une première expérience avec 32 participants et sur une période de plus de deux semaines, les chercheurs ont enregistré des séquences vidéo d'une durée totale de 472 heures, qu'ils ont ensuite analysées à l'aide d'un système de reconnaissance du contact visuel innovant et capable d'apprentissage. Les vidéos individuelles pouvaient alors atteindre une taille de plusieurs centaines de mégaoctets. Il a donc fallu beaucoup d'espace mémoire sur les smartphones et les temps de téléchargement se sont allongés en conséquence. Et c'est justement là que résidait l'un des plus grands défis.
Les utilisateurs ayant tendance à désactiver rapidement une application qui les gêne dans leur vie quotidienne, ou du moins à en minimiser l'utilisation, il fallait trouver des mécanismes qui ne surchargent pas excessivement la mémoire des téléphones portables et qui ne bloquent pas non plus les capacités de transmission des smartphones.
De plus, la protection des données doit être garantie à tout moment - seul ce qui a été expressément validé par les utilisateurs via le composant Review peut être téléchargé sur le serveur d'évaluation. "L'application a été examinée par la commission d'éthique de l'ETH Zurich, et c'est aussi délibérément que nous n'effectuons pas de reconnaissance faciale. La seule chose que nous faisons est de déterminer s'il y a un contact visuel avec l'écran", ajoute Bâce.
Si, à l'avenir, notre smartphone nous comprend mieux, nous et nos besoins, cela ne doit donc pas nécessairement reposer sur l'analyse de données personnelles sensibles. Grâce au système des informaticiens, il sera peut-être possible d'y parvenir à l'avenir en détectant automatiquement le niveau d'attention humain.
Références bibliographiques
Bâce M, Staal S, Bulling A. (2020). Quantification of Users' Visual Attention During Everyday Mobile Device Interactions. In : Actes de la Conférence sur les facteurs humains dans les systèmes informatiques (CHI '20). ACM, New York, NY, USA, 2020, 1-14. doi : page externe10.1145/3313831.3376449
Bâce M, Staal S, Bulling A. (2019). Détection précise et robuste du contact oculaire lors d'interactions quotidiennes avec des appareils mobiles. page externearxiv.org/abs/1907.11115
Présentation vidéo du papier : page externewww.youtube.com/watch?v=SzLn3LujIqw
Jeu de données vidéo de l'enquête : page externewww.emva-dataset.org