Le smartphone se transforme en scanner 3D

La numérisation 3D permet de représenter un objet de manière fidèle à la réalité et de collecter des données sur sa forme et son apparence. Les procédés utilisés jusqu'à présent sont généralement très coûteux, nécessitent beaucoup de matériel et une grande puissance de calcul, raison pour laquelle ils ne sont pas adaptés aux prises de vue spontanées. Des scientifiques autour de Marc Pollefeys, professeur au Institut de Visual Computing de l'ETH Zurich, ont maintenant développé un logiciel efficace qu'ils ont optimisé pour les smartphones. La numérisation tridimensionnelle est ainsi presque aussi simple pour l'utilisateur que la prise de photos. Les scientifiques ont présenté la version de démonstration de l'application hier à l'Université de Zurich. page externeConférence internationale sur la vision par ordinateur présentée pour la première fois au public à Sydney.

Plus d'interaction grâce au feedback en temps réel

Comme pour la photographie, l'utilisateur dirige l'appareil photo de son smartphone vers un objet quelconque. Au lieu de taper sur le déclencheur, il déplace l'appareil au-dessus de l'objet pour qu'il puisse enregistrer des images en continu. Après quelques enregistrements seulement, un modèle 3D de l'objet scanné de cette manière apparaît à l'écran. Tant que l'utilisateur déplace l'appareil photo de son smartphone au-dessus de celui-ci, des images supplémentaires sont automatiquement prises, ce qui améliore continuellement le modèle 3D.

Sur l'écran du smartphone, l'utilisateur peut vérifier à tout moment si des parties de l'image manquent ou sont insuffisantes et scanner l'objet sous des angles supplémentaires. Ce retour d'information en temps réel n'est possible que parce que l'application calcule la représentation tridimensionnelle directement sur le smartphone. "C'est un énorme avantage par rapport aux solutions actuelles, qui doivent d'abord traiter les différentes images dans le cloud et ne peuvent afficher le modèle 3D que quelque temps après la prise de vue", explique Marc Pollefeys. Pour le professeur d'informatique, les méthodes utilisées jusqu'à présent sont comparables à la photographie analogique. "Avant le développement des appareils numériques, on ne voyait également le résultat qu'après avoir développé la photo".

Des calculs efficaces pour les petits appareils

D'autres avantages d'une application mobile sont évidents : les scans 3D ne peuvent pas seulement être effectués partout et à tout moment avec un smartphone. Ces petits appareils permettent aussi de reproduire facilement des objets depuis différents points de vue. La technologie de l'ETH fonctionne même dans de mauvaises conditions d'éclairage, comme par exemple dans les musées ou les églises. Ainsi, à l'avenir, une visiteuse pourrait scanner une sculpture dans un musée et l'observer et la traiter en détail plus tard à la maison. Il serait également envisageable de sauvegarder le modèle 3D dans un cloud et de l'améliorer à partir de là.

Pour développer le logiciel, les scientifiques ont misé sur les capteurs traditionnels dont est équipé tout smartphone et utilisent, outre la caméra, les capteurs de vitesse de rotation et d'accélération existants. Ils ont ainsi pu programmer un processus de scan qui est à la fois simple et robuste, et dont l'utilisation est intuitive. Dès que le scan 3D est activé, le système détermine automatiquement, à partir des mouvements de l'utilisateur, les moments opportuns où il enregistre les images. "Il y a encore deux ans, un tel logiciel n'aurait pu fonctionner que sur de gros ordinateurs. Il aurait été impensable que cela fonctionne sur un smartphone", explique Marc Pollefeys.

Créer des modèles 3D de visages

Le scanner 3D mobile peut déterminer la taille absolue et l'orientation verticale d'un objet, ce qui n'était pas possible avec les méthodes d'imagerie 3D précédentes. Pour cela, l'application doit reconstruire des centaines de milliers de points d'image. Ces calculs complexes doivent toutefois être effectués de manière suffisamment efficace pour que l'utilisateur puisse voir immédiatement l'état actuel du scan sur l'écran. Les chercheurs de l'ETH ont donc utilisé le coprocesseur graphique du smartphone (GPU) pour accélérer la reconstruction des données.

Polley, cette technologie permet également de créer des modèles 3D de visages. Les portraits d'amis et de membres de la famille ou les photos de profil dans les médias sociaux pourraient ainsi acquérir une troisième dimension à l'avenir. Les scientifiques voient des applications partout où des visualisations sont utilisées. Les modèles 3D peuvent également être imprimés à l'aide d'une imprimante 3D.

L'application n'existe actuellement qu'en version de démonstration, mais elle fonctionne sur presque tous les smartphones courants équipés du système d'exploitation Android.

Complément du 24.04.2014 : Les scientifiques travaillent à la mise sur le marché de l'application le plus rapidement possible. Si vous souhaitez être tenu au courant de l'évolution du développement de l'app. en ligne enregistrer.

Complément du 02.02.2015 : Marc Pollefeys a reçu en février 2015 une ERC Proof of Concept Grant dotée de 150'000 euros. Cette subvention permet aux scientifiques de vérifier en un an si un produit ou un développement peut être commercialisé. Pollefeys et son équipe utilisent cette subvention pour faire avancer le développement d'une application de scanner 3D accessible au public. Si le projet aboutit, l'application pourrait être disponible au téléchargement dès l'automne 2015. Si vous souhaitez être tenu au courant de l'évolution du développement de l'application, vous pouvez vous inscrire en ligne : cvg.ethz.ch/mobile/contact.php