Meta : une démonstration technique montre la « vraie » puissance du suivi des visages

Après les déboires associés au rendu supposé en temps réel des jambes des avatars chez Meta (voir article), voici que la société de Mark Zuckerberg rattrape son coup avec une nouvelle démo technique. Et ce coup-ci, pas de démenti possible ! La démo technique Aura, intégralement sur fond noir, permet de se rendre compte de la toute-puissance du Meta Quest Pro en matière de face tracking et d'eye tracking. Alors oui, le rendu est encore instable (et pas faussement simulé comme c'était le cas à la Connect 2022), mais chaque mouvement que vous voyez est authentique.

Il s'agit d'ailleurs d'une représentation beaucoup plus complète de ce que nous avions pu voir lors de la dernière conférence de Meta. Et pour cause, la société a préféré écouter les joueurs, et plus précisément ceux qui se sont entretenus avec Andrew Bosworth (directeur du département AR/VR chez Meta), qui demandaient de doter leurs avatars de véritables corps, en commençant par les jambes.

Nos confrères d'UploadVR ont pu tester ladite démo technique et sont assez bluffés par le résultat, à tel point qu'ils s'imaginaient être face à un véritable miroir, entendez par là que l'avatar projetait des mouvements que l'utilisateur du casque ne soupçonnait même pas. Ils avouent que cette expérience leur a permis d'éviter cette impression d'uncanny valley, tant la réplique est propre.

J'ai été particulièrement attiré par les détails de la peau. Si je plissais les yeux et fronçais mon nez, je voyais la peau qui l'entourait se redresser de façon réaliste, et il en allait de même lorsque je levais les sourcils. Ces détails subtils, comme le pli des joues qui bouge avec la bouche, donnent vraiment l'impression qu'il ne s'agit pas d'un simple objet devant moi, mais d'un être vivant.

Quant à savoir si les expressions me ressemblent réellement lorsque je suis derrière le casque, c'est une autre question. Comme le visage de cet avatar ne correspond pas au mien, c'est difficile à dire. Mais le fait que les mouvements soient au moins plausiblement réalistes est un premier pas important vers des avatars virtuels qui soient naturels et crédibles.

La démo d'Aura (l'exploratrice ?) sera publiée par Meta en tant que projet Open Source, afin d'aider plus de développeurs à travailler dessus. Cerise sur le gâteau, la firme de Zuckerberg indique que l'application est all-in-one, c'est-à-dire que tous les outils nécessaires à la création d'avatars humanoïdes ou humains sont intégrés d'office dans un seul et même endroit.

Les développeurs pourront également utiliser l'API (le bout de code permettant de faire transiter des informations d'une application à l'autre) d'Aura qui comportera des valeurs correspondant au système FACS, permettant notamment de décrire le mouvement des différents muscles du visage humain.

Sachez que la confidentialité est prise très au sérieux et que Meta souhaite que chaque avatar soit « unique » pour éviter toute usurpation d'identité. Dans les détails, les développeurs ne pourront pas avoir accès aux images brutes du visage de l'utilisateur, mais disposeront toutefois du code binaire permettant de vous authentifier. Cette vérification se fait à partir de ce qui vous rend unique, par exemple la manière dont vous froncez vos sourcils ou votre nez, vos tics et vos tocs, etc. Mais ces informations serviront également en jeu pour faire correspondre votre « vous » physique à l'avatar que vous aurez choisi, qu'il soit humanoïde ou non.

Pour rappel, et c'était déjà le cas du temps des premiers Meta Quest, les images capturées par les caméras ne peuvent pas être aperçues ni par Meta ni par les développeurs, qu'elles soient internes (dans le cas du Meta Quest Pro) ou externes.

Si le Meta Quest 2 vous intéresse toujours, sachez que vous pouvez toujours vous l'offrir à la Fnac, Darty ou encore Amazon pour 449,99 €.