La réalité virtuelle… un « Roller Coaster » inconfortable ??
par Sylvain Syro Robert
C’est par un petit matin, café en main, pris en pleine réflexion sur mes choix de carrière, que le téléphone sonna. « Bonjour Sylvain, Bryan… ». Byan Perro, auteur et DG de Culture Shawinigan était à la recherche d’un scénariste et réalisateur capable de porter à bout de bras un projet créatif et esthétique, et ce, dans une sphère très peu exploitée et méconnue : la réalité virtuelle. Mon nom était revenu à plusieurs reprises, et ce, malgré le fait que je n’avais jamais utilisé ce médium. Voilà pourquoi, avant même d’accepter le mandat que M. Perro m’offrait, je dû mettre plus de 200 heures en recherche, exploration et formation: gameplay, musée, réalité virtuelle sur plateforme en ligne, tutoriels et formations en ligne.
Comme un enfant ayant à peine atteint la grandeur requise pour embarquer dans ce manège imposant, c’est avec un certain stress, une curiosité sans borne et, surtout, une envie de surpasser mes propres limites que j’ai accepté le défi. Je n’avais pas encore idée du cobaye que j’étais, et du potentiel colonisateur que j’allais devenir.
La réalité-virtuelle : Non merci, pas pour moi. Ça me donne terriblement mal au cœur!
La majorité des gens qui font essayer la réalité virtuelle pour la première fois à un comparse le font trop souvent pour leur propre plaisir. Voir une personne avec ce casque imposant perdre l’équilibre sur une poutre d’un 20e étage ou tenter de fuir réellement une horde de zombie fictive, ça peut être très drôle. YouTube regorge de ces vidéos. Vidéo qui, je dois l’avouer, sont effectivement hilarantes. Malheureusement, cette démonstration de la réalité virtuelle aux novices propage une mauvaise réputation à cette technologie révolutionnaire et, souvent, limite la compréhension de son véritable potentiel. L’un des malaises créé par ce type d’expérience à sensations est appelé Motion Sickness.
C’est approximativement ce que j’ai ressenti quand j’ai réalisé ma première commande en réalité virtuelle pour Culture Shawinigan. Pas dû au Motion Sickness, mais bien devant l’étourdissant et inconfortable constat qu’aucun logiciel n’était encore spécialisé en conception de réalité virtuelle. Un monde incroyablement inspirant… en plein chantier. Un peu comme si on vous donnait une planche, un clou, un plan, et, potentiellement, tout ce qu’il vous faut pour vous fabriquer un simili-marteau. Dans le prochain paragraphe, je tenterai de vulgariser au mieux, mais il est essentiel pour la suite de bien comprendre la complexité actuelle que demande la création d’une expérience digne de ce nom.
Les outils pour concevoir un film 360-3D :
Pour concevoir une expérience vidéographique d’immersion en réalité virtuelle professionnelle, il faut d’abord une, voire plusieurs caméras spécialisées. La caméra stéréoscopique pour le tournage de personnage réel sur fond vert en 3D par exemple, ou une caméra sphérique pour le tournage de décors ou lieux réels en 360 degrés. Ces caméras sont munies de multiples capteurs et lentilles donnant des images déformées qui devront être remodelées et assemblées par ordinateur. Cette étape d’assemblage se nomme « Stitching ». Si vous tournez en qualité professionnelle, ce sont les images d’un minimum de 8 capteurs qui devront être assemblées. Donc, non seulement le logiciel d’assemblage est à apprivoiser, mais l’ordinateur devra être suffisamment performant pour compléter ce lourd puzzle. Évidemment, qui dit tournage à 360 degrés dit aucune équipe technique ni équipement visible sur le plateau. Certain comme moi aurons l’idée loufoque d’intégrer des objets virtuels pour camoufler quelques détails inopportuns tels le trépied sous la caméra, la perche du micro suspendu… ou le réalisateur lui-même, mal dissimulé derrière un buisson. Pour ce faire, il faudra passer par un logiciel de modélisation 3D, une opération qui déjà demande des compétences complémentaires au montage.
Le montage visuel et sonore :
Nous y voilà, le montage. Maintenant, plusieurs logiciels traditionnels de montage numérique possèdent des options de base pour la réalité virtuelle, mais aucun logiciel (à l’écriture de ces lignes) ne s’y spécialise véritablement. Par exemple, la majorité ne prend pas en charge le mixage audio ambisonique (son interactif polarisé), ce qui est loin d’être accessoire en réalité virtuelle. Comparativement au cinéma traditionnel où le film se déroule devant vous, en réalité virtuelle, le film se déroule tout autour de vous. Il faut donc attirer l’attention du spectateur dans la direction de l’action, et le son devra se repositionner dans l’espace en fonction du mouvement de tête du spectateur, d’où la spécialité du son ambisonique. Pour pouvoir assigner un son dans une direction précise et le rendre interactif avec le mouvement du casque, il faudra ajouter un « plug-in de création ambisonique » à un logiciel d’enregistrement sonore. Enfin, il vous faudra potentiellement un logiciel de développement de jeux vidéo pour créer une application destinée à la diffusion de votre film sur casque, ajouter la vidéo dans le casque à l’aide d’une application développeur ou intégrer la vidéo finale dans un lecteur tel YouTubeVR ou autre.
Pour ma première conception j’ai dû utiliser neuf logiciels différents et j’ai dû mettre près de 900 heures pour arriver au résultat escompté, soit une expérience de 7 minutes 15 secondes en 360 degrés stéréoscopique.
Mais, la stéréoscopie, c’est quoi au juste?
Quelques notions de base sur vos yeux. Ce qu’il faut comprendre, c’est que les yeux humains, d’ordre général, sont séparés par approximativement 65 mm de distance. Ils projettent par conséquent à notre cerveau deux points de vue différents. Voici une petite expérience pour imager la stéréoscopie : Si vous placez votre pouce à bout de bras devant vous et que vous fermez un œil après l’autre à répétition, vous verrez que les objets en arrière-plan se déplacent. Vos yeux ne voient pas la même image, dû à la perspective. C’est ce petit 65 millimètres d’écart que votre cerveau décode pour créer la perception du 3D. La fameuse 3e dimension. Les deux premières dimensions, soit, hauteur et largeur (2D), et finalement, la profondeur (3D), c’est ça, la stéréoscopie.
Ozias Leduc – De l’âme à l’œuvre (Expérience no1)
Il me fallait donc créer, pour Culture Shawinigan, une expérience accessible destinée à un public très varié, réduire au maximum, voire anéantir le « motion sickness », et tout de même créer une expérience artistique à la hauteur du médium. Ma première idée : intégrer des personnages réels dans un monde virtuel composé des œuvres du peintre de renom. Explorant les logiciels, contactant des références du domaine, multipliant les essaies et les erreurs, l’expérience Ozias Leduc – de l’âme à l’œuvre intègre finalement un lot de personnages 2D tournés sur green screen (écran vert) dans un espace 3D composé principalement des œuvres d’Ozias Leduc. Le tout sous la narration de ses écrits personnels, réflexions intimes majoritairement inédites et bercé par la musique de Jeannot Bournival. Le client était satisfait, mais je restais personnellement sur ma faim. Les personnages 2D dans le monde 3D ne s’intégraient pas comme l’aurait espéré mon œil de directeur artistique.
20 000 lieux sous le lac – Le lac des fées de St-Constant (expérience no2)
Nouvelle commande : Un monde féérique sous terre. Voilà l’occasion d’assouvir ce désir du personnage tangible, presque palpable, dans un univers totalement fictif. Déjà, modéliser artificiellement un monde 3D inspiré du livre de Bryan Perro était un solide défi, mais vouloir intégrer des personnages réels tournés en stéréoscopie (3D) dans ce monde virtuel tenait de la folie. Impossible de trouver un endroit pour louer une caméra stéréoscopique avec une résolution suffisante pour permettre le découpage de mes personnages en post-production, j’ai donc dû la créer moi-même. Une fois la caméra conçue et le tournage de mes personnages réalisés avec cette dernière, il ne me restait plus qu’à trouver un moyen d’intégrer ces deux images (œil droit et œil gauche) à mon montage virtuel.
C’est là que la véritable aventure commence. Aucun logiciel ne semble permettre l’intégration de personnages stéréoscopiques à l’intérieur d’un monde virtuel fictif. De contact en contact dans le domaine, j’ai fini par parler directement à l’un des développeurs de l’équipe de BlackMagic – Fusion. Sa réponse : « Pour l’instant, ce n’est pas encore possible malheureusement… ». J’avais effectivement constaté au fil de mes recherches qu’aucune application, jeux ou film en réalité virtuelle ne proposait ce mélange du virtuel avec un comédien réel 3D, alors, je me suis mis à l’œuvre. 8 mois plus tard, j’avais trouvé la solution, développer ma propre suite de node (programmation) et finaliser l’expérience.
Aujourd’hui encore, dans les applications de réalité virtuelle, il est rare de voir de véritables acteurs filmés en 3 dimensions et intégrés à un monde fictif. Je ne suis assurément pas le seul à s’être heurté à cet enjeu de taille qui semble persister.
Ma belle St-Maurice (2022)
Bien que, 5 ans plus tard, je cumule de nombreuses expériences, encore aujourd’hui, à chaque réalisation, je m’offre un nouveau défi. Toujours en prenant bien soin de ne pas altérer la sensibilité du scénario par mon ambition technique et en préservant le spectateur des inconforts dû au motion sickness. L’important reste pour moi de faire vivre une expérience mémorable mais surtout confortable. Pour le film Ma belle St-Maurice, comme l’expérience traite de la majestueuse rivière de mon enfance, il allait de soi de faire le voyage les deux pieds dans un canot. J’ai donc utilisé une embarcation fictive 3D pour masquer le trépied de la caméra. En le laissant amarré sur la rive, j’évitais l’inconfort « montagne russe ». À un seul moment dans l’expérience, je me suis permis de faire vivre la sensation de navigation, en tête à tête avec Jacques Newashish, excellent comédien autochtone. Après quelques démonstrations de l’expérience auprès de différents types de personne, le défi était réussi. La sensation de naviguer est surprenante, mais ne procure pas l’effet « roller coaster ». J’ai aussi fait, dans cette même expérience, l’intégration d’archives de draveurs de l’époque, autrefois tournés en 8mm. Avec un certain budget et les nouveaux outils d’intelligence artificielle, il me serait même surement possible de transformer ce type de films d’archives en personnage 3D avant de les intégrer à l’expérience, mais il faut bien que je me garde des défis pour les prochaines réalisations!
Le Métaverse : Un monde à explorer
Voilà ce qui résume quelques années de plaisir d’un pionnier dans un monde encore pratiquement inexploré. Qui sait, un jour peut-être, l’une de mes expériences servira-t-elle à son tour d’archives à quelqu’un qui explorera une nouvelle technologie aujourd’hui inimaginable, tentant de la rendre plus confortable et attirante pour les sceptiques victimes d’une nouvelle forme de Motion Sickness! À suivre…