Avant toute chose la réalité mixte c'est quoi ?

MR pour les intimes, la réalité mixte est un terme combinant la réalité augmentée (AR) et la réalité virtuelle (VR). L’utilisateur, dans un environnement réel, peut superposer à la réalité des informations 3D numériques comme des objets, décors ou informations par l’intermédiaire d’un casque de réalité augmenté porté sur la tête. Les mouvements et déplacements de l’utilisateur sont suivis dans l’espace et il est alors possible d’interagir physiquement avec l’environnement virtuel superposé au monde réel (pour plus de définitions sur la réalité virtuelle, nous vous conseillons notre Lexique de la VR).

À la une, à la deux, à l'AR !

C'est par l'intermédiaire de la page Oculus réservée aux développeurs que nous apprenons l'arrivée officielle de l'API Passthrough en version expérimentale pour les développeurs tiers. Cette interface de programmation jusqu'alors réservée à Oculus, va permettre aux développeurs de proposer du contenu et des expériences de réalité mixte, combinant les capacités AR et VR du casque via ses caméras embarquées. Voilà une information qui devrait en ravir plus d'un et ouvrir le champ des possibilités en termes d'expériences sociales, de gaming ou de productivité.

Ainsi, il sera possible d'interagir avec des personnes de notre entourage tout en étant impliqué dans du contenu virtuel, mais aussi jouer à des jeux utilisant notre environnement physique ou encore collaborer à distance avec des collègues ou amis via des écrans virtuels, tout en pouvant accéder à notre clavier physique et à notre bureau quand bon nous semble. Pour le moment, cette API ne sera disponible que sur l'Oculus Quest 2.

Il sera également possible de personnaliser l'apparence du Passthrough. Voici quelques exemples :

Composition : vous pouvez combiner des couches Passthrough avec d'autres couches VR via des techniques de fusion existantes telles que la perforation et la fusion alpha.

Style : vous pourrez appliquer des styles et une teinte aux calques à partir d'une liste prédéfinie, notamment en appliquant une superposition de couleurs au flux, en rendant les bords, en personnalisant l'opacité et en postérisation.

Géométrie personnalisée : vous pouvez restituer les images Passthrough sur un maillage personnalisé au lieu de vous fier au maillage de style par défaut, par exemple, pour projeter Passthrough sur une surface plane.

L'API Passthrough en version expérimentale sera disponible pour les développeurs Unity dans la prochaine version du SDK d'Oculus V31, avec une prise en charge sur d'autres moteurs de développements à suivre. La version de production de l'API Passthrough sera quant à elle disponible plus tard cette année. Bien que la vue du monde réel offerte par les caméras du casque soit en faible résolution et limite de ce fait l'immersion, le champ de vision est en revanche nettement plus grand que celui des casques de réalité augmenté du marché. Sur nos Oculus Quest 2, le suivi de position des objets 3D dans l'espace est également excellent, cela permettra de superposer les éléments virtuels sans latence dans l'environnement réel, ce qui n'est pas toujours le cas sur les casques de réalité augmentée classiques. Nul doute que la prochaine génération de casques Oculus embarquera des caméras dédiées encore plus performantes et de bien meilleure résolution pour des expériences plus immersives.

La question de la confidentialité se pose évidemment lorsque nous parlons de caméras scrutant notre environnement, d'autant plus si ce genre d'expérience est amenée à se démocratiser. À ce sujet, Facebook se veut rassurant et explique que « les applications qui utilisent l'API Passthrough ne peuvent pas accéder, afficher ou stocker des images ou des vidéos de votre environnement physique à partir des capteurs de l'Oculus Quest 2. Cela signifie que les images brutes des capteurs de l'appareil sont traitées sur l'appareil ».

Facebook, biberonnant sans cesse de nouvelles fonctionnalités pour son dernier-né, est décidément bien parti pour faire de l'Oculus Quest 2 un appareil technologique incontournable aussi bien pour le travail que pour le divertissement.

Si vous n'avez pas encore sauté le pas, vous pouvez vous offrir un Oculus Quest 2 chez Boulanger, la Fnac, Darty ou Amazon pour 349,99 €.