Le handtracking ou suivi des mains

Si le Quest premier du nom n'avait pas été conçu de base pour le handtracking, force est de reconnaître que ladite technologie avait, dès fin 2019, tout bonnement bluffé son monde. Comme son nom l'indique, le « suivi des mains » permet à chaque application l'utilisant de reconnaître nos mains et leurs mouvements, pouvant même dans certains jeux venir remplacer nos bons vieux contrôleurs. Gain d'immersion accru et véritable moment de magie au moment de la découverte...

Cependant, il faut bien se l'avouer, une fois passé l'émoi des premiers instants, le handtracking a été pour beaucoup d'entre nous synonyme de technologie perfectible. Les raisons sont multiples : latence élevée, perte de suivi, manque de précision, etc. Autant d'éléments qui ne lui permettaient pas de remplacer notre manière traditionnelle de jouer. Même constat sur le Meta Quest 2, car aucune correction digne de ce nom ne donnait envie de réitérer l'expérience. Et ce n'est d'ailleurs pas la sortie récente du handtracking parmi les fonctionnalités « expérimentales » qui aura changé la donne. Son concurrent, l'Ultraleap, utilisé par le Pico Neo 3 Link, est très, mais vraiment très loin devant !

Mais ça, c'était avant ?

Meta indique que ses équipes ont développé une nouvelle méthode s'appuyant sur le deep learning afin de mieux appréhender les poses de la main lorsque les caméras de l'appareil ne peuvent plus l'apercevoir distinctement, ou lorsque celle-ci bouge bien trop rapidement. Le résultat est ainsi décrit comme « une véritable amélioration de la continuité du suivi ». Cela peut apparemment gérer les mouvements rapides, les mains qui se touchent (occlusion) voire celles qui se cachent l'une de l'autre, soit autant de situations qui auparavant entraînaient irrémédiablement la perte de suivi. Nous devrions pouvoir désormais effectuer des actions telles que frapper des mains, compter sur les doigts et pourquoi pas dans un futur proche apprendre le langage des signes.

Meta ne s'arrête pas là et nous indique que le mode de suivi de la main à haute fréquence publié l'année dernière a purement été remplacé. Et pour cause, si les développeurs pouvaient suivre plus rapidement le mouvement des mains, il en résultait des erreurs de suivi, et à cela s'ajoute le fait qu'il était bridé en termes de puissance GPU/CPU. Meta affirme donc avoir résolu le problème.

Le handtracking, c'est aujourd'hui ou pour deux mains ?

Pour l'instant, le handtracking nouvelle formule n'est disponible qu'aux développeurs, qui plus est en tant que mise à jour facultative. Dans le courant de cette année, le handtracking 2.0 deviendra la fonction par défaut. En d'autres termes, certains jeux l'adopteront dans les semaines qui viennent, avant qu'il soit implémenté d'office et automatiquement dans quelques mois dans toutes les applications.

Présentation des différentes améliorations

• Mains dans la main :

• Objets et applaudissements :

• Mouvements rapides :

Quid du ressenti ?

Les développeurs, via un accès anticipé, ont pu essayer la nouvelle version et la bonne nouvelle est qu'ils ne tarissent pas d'éloges à son sujet !

« Auparavant, le suivi de la main de Cubism s'appuyait sur le lissage de l'entrée des données de la main pour produire une méthode d'entrée stable. De plus, il fallait apprendre aux joueurs à ne pas croiser leurs mains, car cela affectait négativement le suivi. Tout cela est amélioré avec le dernier suivi des mains - qui est suffisamment cohérent pour que je désactive le lissage des mains par défaut. » - Thomas Van Bouwel, développeur de Cubism

« Cette mise à jour du suivi des mains est un grand pas en avant pour les interactions naturelles et intuitives avec les mains. Avec cette grande amélioration, nous espérons que davantage de personnes découvriront ce que le suivi des mains a à offrir aux expériences immersives. » - Hand Physics Lab

« Même si nous avons réussi à obtenir un gameplay très solide et précis en utilisant l'ancienne version du suivi des mains, nous avons dû imposer certaines limites à notre gameplay. Cela devait être fait afin de fournir une expérience fluide qui ne soit pas interrompue par les problèmes qu'une technologie aussi nouvelle peut avoir de temps en temps. Avec la dernière mise à jour, le suivi des mains est si précis et réactif que nous avons pu inclure tous les avantages que nous ne pouvions pas inclure auparavant : des changements rapides de position des doigts, ainsi qu'un nombre accru - et plus réaliste - de notes qui rendent les chansons beaucoup plus authentiques. » - Unplugged: Air Guitar

« Nos séances d'entraînement nécessitent de nombreux coups de poing rapides, et il est impératif que le suivi des mains suive ce rythme rigoureux. Nous sommes très heureux de cette dernière mise à jour et de la direction générale que prend le suivi de la main sur la plateforme Quest. » - Liteboxer

Après ces dires, il nous tarde donc d'expérimenter cette nouvelle version en espérant qu'elle se rapproche au plus près de la référence dans ce domaine : l'Ultraleap. Restez connectés ! Lors de sa sortie, nous nous chargerons de tester ladite fonctionnalité et de vous en faire un retour.

Si vous n'avez pas encore sauté le pas de la VR, vous pouvez vous offrir un Oculus Quest 2 chez Boulanger, la Fnac, Darty ou Amazon pour 349,99 €.