Secrets de production - Démo VR MIGS 17

Présentée par CDRIN - PopcornFX - Vicon

Persistant Studios, spécialiste des VFX en temps réel avec sa solution middleware PopcornFX, partagera dans cet article le processus complet de production VFX de la démo VR "Experience - Advanced Creative Productivity", présentée au Sommet du jeu vidéo de Montréal (MIGS) les 12 et 13 décembre 2017 en partenariat avec le CDRIN, Centre de Recherche et Développement d'Imagerie Digitale, spécialisé notamment en capture de mouvements et réalité virtuelle et augmentée et Vicon, spécialiste dans le domaine de la capture de mouvement pour les industries des sciences de la vie, du divertissement et de l'ingénierie.

La démo VR "Experience - Advanced creative productivity" proposée au MIGS 2017 était composée de deux parties :

• La première partie comprenait l'expérience réelle de la capture du buste de l'utilisateur par le système de photogrammétrie, ainsi que les explications techniques sur le circuit d'automatisation.
• La seconde partie, plus immersive et participative, consistait en une expérience en réalité virtuelle où l'utilisateur, grâce à une capture de mouvement de précision, pouvait naviguer dans un environnement et interagir avec celui-ci de façon fluide. À la fin de l'expérience, le participant était habilité, grâce à la capture de mouvement, à peindre un buste parmi une sélection. Les bustes disponibles correspondaient à ceux capturés par le volume de photogrammétrie durant toute la période de l'évènement - avec un délai entre la capture et l'intégration automatique dans le moteur de jeu.

Plusieurs éléments furent novateurs dans cette démo VR

• Tout d'abord, la photogrammétrie avec l'automatisation du processus entre la capture et la création finale d'un modèle 3D.
• Ensuite, le pont développé entre le moteur de jeu vidéo et les modèles 3D de bustes, intégrés automatiquement en temps réel, dès que le traitement du buste était terminé.
• Enfin, concernant la démo VR elle-même, importante nouveauté, l'utilisation en temps réel de la capture de mouvement de précision des mains, dans le but de rendre l'utilisateur plus libre de ses mouvements.

Pour mener à bien ce projet en quelques semaines, les équipes de PopcornFX, CDRIN et Vicon se sont coordonnées pour gérer leur planning de production et ont travaillé en collaboration étroite. Pour cette démo VR, Persistant Studios a créé tous les effets visuels à l'aide de PopcornFX en les intégrant par la suite dans UE4, notamment pour l'habillage global de l'expérience, ainsi que l'interface.

La production des FX a été divisée en trois étapes, explique Loriane Kevin, VFX Artist chez PopcornFX :

1. Prototypage : permettant de valider un premier aspect visuel et fonctionnel, visant ainsi à intégrer ces FX rapidement pour les lier au gameplay ;
2. Phase d'amélioration de l'esthétique des effets visuels et d'ajout des attributs permettant de les personnaliser par les artistes FX ;
3. Optimisation : s'assurer de conserver les meilleures performances sur le projet.

La personnalisation des effets visuels offerte par PopcornFX a permis au CDRIN non seulement de modifier l'aspect visuel des FX à sa convenance, mais également de garder facilement le contrôle sur la manière dont chaque effet affectait les performances, en gérant par exemple le nombre, l'opacité, ou les matériaux appliqués aux particules.

La plus importante partie des VFX réalisés fut celle des éléments constituant l'interface du tableau de bord, décomposée en trois parties :

1. L'étape initiale pendant laquelle l'utilisateur activait la navigation du fauteuil, qui le guidait à travers l'expérience ;
2. L'étape de navigation, où s'affichait en temps réel la position de l'utilisateur dans l'environnement ;
3. Enfin, la personnalisation de bustes, où l'utilisateur pouvait choisir les couleurs et taille de son pinceau, mais aussi appliquer une rotation sur les modèles 3D de bustes.

La particularité de l'interface tenait à sa forme incurvée, qui épousait la forme du tableau de bord. Le système d''attribute sampler' de l'éditeur PopcornFX, qui permet, entre autres, d'appliquer des courbes, modifiant les positions des particules, a donné la possibilité de gérer individuellement la déformation de chaque effet. L'interface était ainsi constituée de plusieurs FX, très maléables et personnalisables.

Pour cette démo VR, l'accent était surtout porté sur l'interactivité en temps réel, fluidifiant l'expérience.

• Ainsi, l'utilisateur pouvait voir sa position changer en temps réel à travers les FX présents sur la carte de l'environnement 3D ;
• Il avait aussi la possibilité d'interagir avec des curseurs créés en FX, de modifier la couleur, la saturation de la couleur, la taille du pinceau avec lequel il allait peindre le buste ;
• Ou encore de jouer avec les curseurs de rotations et d'échelle pour transformer le buste.

L'éditeur PopcornFX était donc l'outil idéal pour la production de ces effets en temps réel. En outre, certains de ses attributs les plus forts sont l'optimisation des effets, la personnalisation et l'interaction !

Lors de la démo, la capture du buste fut reproduite également sous forme d'hologramme. Cet hologramme de particules se construisait au fur et à mesure, les différentes parties apparaissaient en fonction des photographies prises pendant l'expérience.

Des effets d'environnement comme la poussière ambiante et celle du tableau de bord, avec lesquelles l'utilisateur pouvait interagir en temps réel, ont aussi été réalisés pour créer l'atmosphère de l'expérience. Un effet de scanner a été produit notamment, permettant de rendre plus "visuelle" la première étape de la démonstration, qui correspondait à capturer le buste de l'utilisateur.

Enfin, cette démo VR "Experience - Advanced creative productivity" développée en seulement quelques semaines pour le MIGS 2017, a représenté un beau défi pour les équipes techniques du CDRIN, Persistant Studios/PopcornFX et Vicon, satisfaits d'avoir atteint leur objectif initial.

En effet, beaucoup de retours positifs de la part des utilisateurs ont été receuillis pendant l'expérience ; "Un pipeline de production en temps réel trés efficace, á tester pour votre prochaine production !", mêlant de nouvelles technologies telles que :

• Photogrammétrie
• Capture de mouvements de précision (mains)
• FX temps réel
• Integration automatique dans le moteur de jeu
• Fluidité d'intéraction et de navigation

Cette expérience basée sur l'optimisation des chaines de production (photogrammétrie, capture de mouvements, effets visuels, VR, FX temps réel), visait entre autres à présenter plus en détail les savoir-faire de ces acteurs de l'industrie et rendre accessible leurs nouvelles technologies au plus grand nombre de professionnels dans le secteur du jeu vidéo, Film et XR ayant des besoins croissants en termes d'efficacité et de qualité de développement.

Crédits Démo VR "Experience - Advanced creative productivity" proposée au MIGS 2017 :

• Technologie de capture de mouvements de précision (mains), offerte par le CDRIN,
• Création de tous les effets visuels par Persistant Studios à l'aide de PopcornFX avec intégration par la suite dans UE4,
• Système de capture de mouvement offert par Vicon.