Une nouvelle avancée de Nvidia Research permet de créer des mondes interactifs à l'aide de l'IA

Cette invention a le potentiel pour créer des mondes virtuels pour le jeu, l'automobile, la robotique, la RV

Conférence sur les systèmes de traitement Neuronale de l'information - 3 décembre 2018 - Nvidia dévoile aujourd'hui une recherche révolutionnaire sur l'intelligence artificielle qui permet pour la première fois aux développeurs de rendre des environnements 3D synthétiques et interactifs en utilisant un modèle entrainé sur des vidéos réelles.

Les chercheurs de l'entreprise ont utilisé un réseau neuronal pour rendre des environnements 3D synthétiques en temps réel. Actuellement, chaque objet d'un monde virtuel doit être modélisé individuellement, ce qui est coûteux et prend du temps. En revanche, la recherche de Nvidia utilise des modèles qui ont appris automatiquement à partir de vidéos réelles pour rendre des objets tels que des bâtiments, des arbres et des véhicules.

Cette technologie offre la possibilité de créer rapidement des mondes virtuels pour le jeu, l'automobile, l'architecture, la robotique ou la réalité virtuelle. Le réseau peut, par exemple, générer des scènes interactives basées sur des lieux réels ou montrer des consommateurs dansant comme leurs pop stars préférées.

"Nvidia invente de nouvelles façons de générer des graphiques interactifs depuis 25 ans, et c'est la première fois que nous pouvons le faire avec un réseau neuronal", a déclaré Bryan Catanzaro, vice-président de l'Applied Deep Learning Research chez Nvidia, qui a dirigé l'équipe développant ce projet. "Les réseaux neuronaux - en particulier les modèles génératifs - changeront la façon dont les graphiques sont créés. Cela permettra aux développeurs de créer de nouvelles scènes à une fraction du coût traditionnel."

Le résultat de cette recherche est un jeu de conduite simple qui permet aux participants de naviguer dans une scène urbaine. Tout le contenu est rendu de manière interactive à l'aide d'un réseau neuronal qui transforme en vidéo les esquisses d'un monde en 3D produites par un moteur graphique traditionnel. Cette démonstration interactive sera présentée à la conférence NeurIPS 2018 à Montréal.

Le réseau neuronal génératif a appris à modéliser l'apparence du monde, y compris l'éclairage, les matériaux et leur dynamique. Comme la scène est entièrement générée de manière synthétique, elle peut être facilement modifiée pour supprimer, modifier ou ajouter des objets.

"La capacité de modéliser et de recréer la dynamique de notre monde visuel est essentielle pour construire des agents intelligents", ont écrit les chercheurs dans leur article. "Outre les intérêts purement scientifiques, l'apprentissage d'expériences visuelles synthétiques en continue offre un large éventail d'applications pour la vision par ordinateur, la robotique et l'infographie", ont expliqué les chercheurs.

Pour plus d'informations, l'article du Developer News Center de Nvidia.