NVIDIA présente en détails sa technologie ACE basée sur l'IA, pour des PNJ nouvelle génération

L'intelligence artificielle est désormais partout, pour le meilleur et pour le pire. NVIDIA n'est évidemment pas passé à côté de l'IA et de ses améliorations pour les combiner à ses propres technologies, il dispose notamment de l'Avatar Cloud Engine (ACE) pour concevoir des PNJ plus réalistes que jamais, déjà utilisés par Ubisoft en interne avec les NEO NPC.

Aujourd'hui, NVIDIA profite de cette accalmie après la Game Developers Conference et sa CTG 2024 pour faire le point sur son utilisation de l'intelligence artificielle. Un sujet compliqué, mais passionnant et incontournable.

Les personnages numériques montent de niveau

Les personnages non jouables jouent souvent un rôle crucial dans la narration des jeux vidéo, mais comme ils sont généralement conçus dans un but précis, ils peuvent devenir répétitifs et ennuyeux, surtout dans les vastes mondes où il y en a des milliers.

Grâce en partie aux progrès incroyables de l'informatique visuelle, comme le ray tracing et le DLSS, les jeux vidéo sont plus immersifs et réalistes que jamais, ce qui rend les rencontres avec les PNJ particulièrement arides et déstabilisantes.

En début d'année, les microservices de production du moteur NVIDIA Avatar Cloud Engine ont été lancés, donnant aux développeurs de jeux et aux créateurs numériques un atout dans leur manche lorsqu'il s'agit de créer des PNJ réalistes. Les microservices ACE permettent aux développeurs d'intégrer des modèles d'IA générative à la pointe dans les avatars numériques des jeux et des applications. Grâce aux microservices ACE, les PNJ peuvent interagir et converser dynamiquement avec les joueurs dans le jeu et en temps réel.

Les principaux développeurs de jeux, studios et startups intègrent déjà ACE dans leurs titres, apportant de nouveaux niveaux de personnalité et d'engagement aux PNJ et aux humains numériques.

Donnez vie à vos avatars avec NVIDIA ACE

Le processus de création des PNJ commence par leur fournir une histoire et un objectif, ce qui permet de guider la narration et d'assurer un dialogue contextuel pertinent. Ensuite, les sous-composants ACE travaillent ensemble pour développer l'interactivité de l'avatar et améliorer sa réactivité.

Les PNJ utilisent jusqu'à quatre modèles d'IA pour entendre, traiter, générer des dialogues et répondre.

La voix du joueur est d'abord transmise à NVIDIA Riva, une technologie qui construit des pipelines d'IA conversationnelle en temps réel entièrement personnalisables et transforme les chatbots en assistants expressifs grâce à des microservices de parole et de traduction multilingues accélérés par le GPU.

Avec ACE, la fonction de reconnaissance automatique de la parole (ASR) de Riva traite ce qui a été dit et utilise l'IA pour fournir une transcription extrêmement précise en temps réel. Découvrez une démonstration de conversion de la parole en texte dans une douzaine de langues, réalisée par Riva.

La transcription est ensuite transférée dans un LLM - tel que Gemma de Google, Llama 2 de Meta ou Mistral - et fait appel à la traduction automatique neuronale de Riva pour générer une réponse textuelle en langage naturel. Ensuite, la fonctionnalité de synthèse vocale de Riva génère une réponse audio.

Enfin, NVIDIA Audio2Face (A2F) génère des expressions faciales qui peuvent être synchronisées avec le dialogue dans de nombreuses langues. Grâce à ce microservice, les avatars numériques peuvent afficher des émotions dynamiques et réalistes, diffusées en direct ou intégrées lors du post-traitement.

Le réseau IA anime automatiquement les mouvements du visage, des yeux, de la bouche, de la langue et de la tête en fonction de la gamme d'émotions et du niveau d'intensité sélectionnés. Et A2F peut automatiquement déduire l'émotion directement à partir d'un clip audio.

Chaque étape se déroule en temps réel pour assurer la fluidité du dialogue entre le joueur et le personnage. Les outils sont personnalisables, ce qui permet aux développeurs de créer les types de personnages dont ils ont besoin pour une histoire immersive ou la construction d'un monde.

Born to Roll

À la GDC et à la GTC, les développeurs et les partenaires de la plate-forme ont présenté des démonstrations exploitant les microservices NVIDIA ACE, depuis des PNJ interactifs dans les jeux jusqu'aux puissantes infirmières numériques.

Ubisoft explore de nouveaux types de jeux interactifs avec des PNJ dynamiques. Les PNJ NEO, issus de son dernier projet de recherche et développement, sont conçus pour interagir en temps réel avec les joueurs, leur environnement et les autres personnages, ce qui ouvre de nouvelles possibilités de narration dynamique et émergente.

Les capacités de ces PNJ NEO ont été présentées à travers des démonstrations, chacune axée sur différents aspects du comportement des PNJ, notamment la connaissance de l'environnement et du contexte, les réactions et animations en temps réel, la mémoire des conversations, la collaboration et la prise de décisions stratégiques. Ces démonstrations ont mis en évidence le potentiel de la technologie à repousser les limites de la conception des jeux et de l'immersion.

Grâce à la technologie IA d'Inworld, l'équipe narrative d'Ubisoft a créé deux PNJ NEO, Bloom et Iron, chacun ayant sa propre histoire, sa propre base de connaissances et un style de conversation unique. La technologie d'Inworld a également fourni aux PNJ NEO une connaissance intrinsèque de leur environnement, ainsi que des réponses interactives alimentées par le LLM d'Inworld. NVIDIA A2F a fourni des animations faciales et une synchronisation des lèvres pour les deux PNJ en temps réel.

Inworld et NVIDIA ont mis la GDC en ébullition avec une nouvelle démo technologique appelée Covert Protocol, qui présentait les technologies NVIDIA ACE et le moteur Inworld. Dans cette démo, les joueurs contrôlaient un détective privé qui remplissait des objectifs en fonction des résultats des conversations avec les PNJ sur place. Covert Protocol débloque des mécanismes de jeu de simulation sociale avec des personnages numériques dotés d'IA qui transmettent des informations cruciales, présentent des défis et catalysent des développements narratifs clés. Ce niveau accru d'interactivité pilotée par l'IA et d'action du joueur devrait ouvrir de nouvelles possibilités pour un gameplay émergent et spécifique au joueur.

Construit sur Unreal Engine 5, Covert Protocol utilise Inworld Engine et NVIDIA ACE, y compris NVIDIA Riva ASR et A2F, pour augmenter les pipelines de parole et d'animation d'Inworld.

Dans la dernière version de la démo technologique NVIDIA Kairos réalisée en collaboration avec Convai et présentée au CES, Riva ASR et A2F ont été utilisés pour améliorer de façon significative l'interactivité des PNJ. Le nouveau framework de Convai a permis aux PNJ de converser entre eux et leur a donné conscience des objets, ce qui leur a permis de ramasser et de livrer des objets aux endroits souhaités. En outre, les PNJ ont acquis la capacité de guider les joueurs vers des objectifs et de traverser des mondes.

Les personnages numériques dans le monde réel

La technologie utilisée pour créer des PNJ sert également à animer des avatars et des humains numériques. Au-delà des jeux, l'IA générative spécifique aux tâches s'étend aux soins de santé, au service à la clientèle et à bien d'autres domaines.

NVIDIA a collaboré avec Hippocratic AI à la GTC pour étendre sa solution d'agent de santé, en montrant le potentiel d'un avatar d'agent de santé avec de l’IA générative. D'autres travaux sont en cours pour développer une plate-forme d'inférence à très faible latence afin d'alimenter les cas d'utilisation en temps réel.

« Nos assistants numériques fournissent des informations utiles, opportunes et précises aux patients du monde entier », a déclaré Munjal Shah, cofondateur et CEO d'Hippocratic AI. « Les technologies NVIDIA ACE leur donnent vie avec des visuels de pointe et des animations réalistes qui aident à mieux se connecter aux patients ».

Les tests internes des premiers agents de santé IA d'Hippocratic se concentrent sur la gestion des soins chroniques, le coaching bien-être, l'évaluation des risques de santé, les enquêtes sur les déterminants sociaux de la santé, la sensibilisation préopératoire et le suivi après la sortie de l'hôpital.

UneeQ est une plate-forme humaine numérique autonome axée sur les avatars alimentés par l'IA pour le service client et les applications interactives. UneeQ a intégré le microservice NVIDIA A2F dans sa plateforme et l'a associé à sa technologie d'animation synthétique Synanim ML pour créer des avatars très réalistes afin d'améliorer l'expérience et l'engagement des clients.

« UneeQ associe l'IA d'animation de NVIDIA à notre propre technologie d'animation synthétique Synanim ML pour fournir des interactions humaines numériques en temps réel qui répondent aux émotions et offrent des expériences dynamiques alimentées par l'IA conversationnelle », a déclaré Danny Tomsett, fondateur et CEO d'UneeQ.

L'IA dans les jeux

ACE est l'une des nombreuses technologies d'IA de NVIDIA qui permettent aux jeux de passer à la vitesse supérieure.

• Le NVIDIA DLSS est une technologie graphique révolutionnaire qui utilise l'IA pour augmenter le nombre d’images par seconde et améliorer la qualité de l'image sur les GPU GeForce RTX.
• NVIDIA RTX Remix permet aux moddeurs de capturer facilement les ressources du jeu, d'améliorer automatiquement les matériaux avec des outils d'IA générative et de créer rapidement des remasters RTX époustouflants avec le ray tracing complet et le DLSS.
• NVIDIA Freestyle, accessible via la nouvelle app bêta de NVIDIA, permet aux utilisateurs de personnaliser l'esthétique visuelle de plus de 1 200 jeux grâce à des filtres de post-traitement en temps réel, avec des fonctions telles que RTX HDR, RTX Dynamic Vibrance et bien d'autres.
• L'app NVIDIA Broadcast transforme n'importe quelle pièce en home studio, en dotant le livestream d'outils vocaux et vidéo améliorés par l'IA, notamment la suppression du bruit et de l'écho, l'arrière-plan virtuel et l'écran vert AI, l'auto-frame, la suppression du bruit vidéo et le contact visuel.

L'intelligence artificielle ne cesse d'évoluer, son implémentation dans les jeux vidéo est déjà bien réelle et elle ne va cesser de croître dans les années à venir. Vous pouvez retrouver des cartes graphiques NVIDIA GeForce RTX sur Amazon, Cdiscount et la Fnac.

Clint008 Rédacteur - Testeur