Comprendre le processus de production virtuelle

Qu'est-ce que la production virtuelle ?

La production virtuelle utilise la technologie de rendu 3D, souvent sous la forme d'un moteur de jeu comme Unreal, pour construire des décors photoréalistes qui sont affichés sur de grands écrans LED. Le décor virtuel s'ajuste en temps réel pour correspondre à la perspective des différents angles et mouvements de caméra, tandis qu'une caméra filme un acteur jouant devant les écrans.

Production virtuelle et production traditionnelle

La production "traditionnelle" ressemble beaucoup à une chaîne de montage ; un processus qui implique chaque entité ou département selon un calendrier linéaire. En raison des délais serrés, l'itération ou le nouveau tournage des scènes prend beaucoup de temps et de ressources. coût prohibitif. Les cinéastes tournent souvent des scènes sans avoir une idée précise de leur aspect final.

La production virtuelle est différente. Il s'agit d'une méthode non linéaire, plus collaborative et plus itérative de réalisation de vidéos. Elle combine la production assistée par ordinateur et des outils de visualisation en temps réel tels que la technologie des moteurs de jeu, l'imagerie générée par ordinateur (CGI), la réalité virtuelle et la réalité augmentée pour fournir un ".boucle de rétroaction créative en temps réel."

Cela peut permet aux équipes de production de gagner du temps et d'avoir une plus grande certitude Les projets d'innovation et de développement de l'image de l'entreprise ont été réalisés au cours de la phase de préproduction et de production.

Il existe plusieurs types de production virtuelle :

• Visualisation : Prototype d'image pour montrer l'intention d'une prise de vue.
• Capture de performance : Enregistrement des mouvements d'acteurs ou d'objets.
• Production virtuelle hybride : Utilisation de la technologie de suivi de caméra et de l'écran vert.
• Mur de LED en direct, production virtuelle à l'intérieur de la caméra.

La production virtuelle permet d'obtenir des visuels et des effets qui n'étaient tout simplement pas possibles il y a quelques années.

De nombreux studios de production virtuelle sont appelés "scènes de volume à LED" et ont besoin de beaucoup d'espace pour fonctionner. L'une de ces scènes est Studio MELs à Montréalqui abrite des écrans LED de 20 pieds de haut et 65 pieds de diamètre.

À la base, la production virtuelle associe les mondes physique et virtuel pour créer des décors immersifs pour la production vidéo. Le monde physique, dans ce cas, se compose d'accessoires et d'acteurs, tandis que le monde virtuel comprend les arrière-plans, l'éclairage virtuel et les effets visuels.

Il est souvent utilisé pour le cinéma et la télévision, les jeux vidéo et même les productions commerciales d'organismes tels que The Weather Channel.

Cette technique s'est avérée extrêmement populaire depuis Le Mandalorien a fait les gros titres en tant que première grande production virtuelle en 2018, avec plus de 300 scènes virtuelles existantes (contre seulement trois en 2019).

Le cabinet d'études Research and Markets estime que le marché mondial de la production virtuelle atteindra les objectifs suivants se développer à un rythme 17,8 pour cent taux de croissance annuel composé (TCAC) entre 2022 et 2030.

Cependant, l'un des aspects les plus révolutionnaires de la production virtuelle n'est pas l'existence de volumes LED, de rendu en temps réel ou de suivi de caméra en direct. Il s'agit plutôt du fait que les effets visuels sont appliqués aux scènes tout au long du processus de production, y compris préproduction. Et que des effets et des images de haute qualité soient utilisés dès le début du projet.

Le film est plus ou moins prêt au moment où le tournage commence et les itérations peuvent avoir lieu à tout moment, ce qui offre plus de certitude et de flexibilité aux cinéastes habitués à faire des compromis sur la qualité et à devoir travailler avec des effets visuels provisoires.

Les effets visuels et autres éléments sont produits de manière plus collaborative, plutôt qu'en silos, ce qui permet une compatibilité croisée entre les différentes équipes.

En effet, grâce à la production virtuelle, le vieux mantra des cinéastes, qui consistait à "régler le problème en post-production", est devenu "régler le problème en pré-production".

💡 Apprendre Plus : Comment la MASV La vidéo 6K non compressée pour les spectacles de scène LED

Qu'est-ce que le flux de production virtuelle ?

Le flux de production virtuelle est un ensemble d'étapes qui décompose le processus de production virtuelle en une série de tâches gérables.. Il englobe les trois étapes de la production vidéo : la préproduction, la production et la diffusion. post-production.

Voici un aperçu du flux de production virtuel :

Source : Moteur Unreal

Les étapes d'un flux de production virtuelle comprennent (mais ne sont pas limitées à) :

• Capture du monde (y compris le repérage virtuel, le balayage des lieux et la numérisation)
• Visualisation
• Performance et capture de mouvement
• Simulcam
• Effets visuels à l'intérieur de la caméra (connus sous le nom d'ICVFX).

Bien que chaque projet soit légèrement différent et que chacune des étapes varie en termes de calendrier, les phases suivantes définissent généralement le pipeline de production virtuelle.

Note : Bien que le pipeline de production virtuelle ne soit pas aussi linéaire qu'une production traditionnelle et que des itérations puissent avoir lieu à n'importe quel stade, les phases traditionnelles d'un projet, à savoir la préproduction, la production et la postproduction, sont toujours d'actualité.

Pré-production

La préproduction dans la production virtuelle a des points communs avec la réalisation de films traditionnels, car c'est là que la production est visualisée pour la première fois afin d'être approuvée.

La phase de préproduction prend une importance considérable dans l'environnement de production virtuel, car c'est là que se trouvent les éléments suivants la plupart des effets visuels (VFX) naissent et commencent à prendre forme.

L'ajout et l'itération d'éléments ICVFX au cours de la préproduction et de la production peuvent faciliter une intégration plus étroite du contenu en prise de vue réelle et du contenu généré par ordinateur, tout en réduisant le temps de postproduction.

Cela peut faire une grande différence dans le temps total passé sur un projet. "Chaque heure de préproduction vaut deux heures de production. Zach Alexanderfondateur de la société de production virtuelle Lux Machina.

Pitchvis

Au cours de cette étape, les artistes 3D créent un pitchvis numérique pour résumer les différentes scènes du projet - un peu comme un storyboard high-tech mais produit plus comme une bande-annonce de film.

La production virtuelle de Pitchvis repose sur la technologie des moteurs de jeu. La haute qualité des actifs développés dans les plateformes de moteurs de jeu signifie qu'ils peuvent être réutilisés tout au long du cycle de vie du projet.

Département d'art virtuel (DAV)

C'est également en préproduction que deux nouvelles entités entrent en jeu : Le superviseur de production virtuel et le département artistique virtuel (DAV).

• Les conceptions de VAD, crée et gère tous les éléments visuels du projet, y compris la production de prototypes en 3D et d'accessoires et d'environnements prêts à être filmés. Il décide également des éléments qui doivent apparaître virtuellement et de ceux qui doivent être des objets physiques. Le VAD travaille généralement en étroite collaboration avec l'équipe de prévisualisation afin d'assurer une transition sans heurts de l'idée à l'itération.
• Le superviseur de production virtuel est en quelque sorte un producteur délégué dans un environnement de production virtuelle. Il assure la liaison entre le brain bar (l'équipe qui gère les aspects techniques du tournage virtuel), le département VFX, le VAD et l'équipe de production physique.

Visualisation

Cette phase comprend la création d'actifs, lorsque les artistes utilisent des moteurs de jeu, des logiciels de modélisation 3D tels que Maya et des caméras virtuelles ou de capture de mouvement (mocap) pour produire l'imagerie numérique des accessoires et des personnages qui composent le monde virtuel du projet.

Source : Avant et après

Les artistes 3D utilisent les techniques de prototypage rapide virtuel (PRV) pour créer et éditer rapidement des séquences ou des images. photogrammétrie pour créer des modèles 3D réalistes à partir de photographies. Les modèles sont continuellement affinés afin de garantir qu'ils sont prêts pour la caméra au moment où la production commence.

La phase de visualisation comprend également le repérage virtuel, qui utilise des caméras virtuelles et des accessoires numériques pour créer des lieux numériques basés sur les décors proposés.

Les autres éléments du processus de préproduction de la production virtuelle sont les suivants :

• Prévis: Comme pour un projet traditionnel, la phase de prévisualisation permet d'expérimenter l'éclairage, les angles et les mouvements de caméra, ainsi que d'autres éléments.
  • Contrairement à un projet traditionnel, la prévisualisation dans le cadre d'une production virtuelle est un effort hautement collaboratif impliquant plusieurs parties prenantes, notamment le directeur de la photographie, le réalisateur et le monteur vidéo.
  • En outre, en raison de l'amélioration constante de la qualité des images et des performances des ordinateurs, les séquences et les plans conçus en prévisualisation ne sont pas très éloignés de la qualité de l'image au pixel final. Pour ces raisons et d'autres encore, la prévisualisation est souvent surnommée "le début de la production" dans un flux de production virtuelle.
• Techvis: Techvis aide les artistes VFX et d'autres à planifier des plans spécifiques en utilisant les données de la caméra et d'autres informations pour déterminer les objectifs, les placements et les mouvements de caméra appropriés par le biais du contrôle des mouvements. Cette planification permet aux réalisateurs de contrôler les mouvements de caméra de manière très précise et parfaitement reproductible.
• Stuntvis: Utilise la physique du jeu pour planifier et tester les cascades physiques à venir et peaufiner les détails concernant le développement des armes, la chorégraphie et d'autres éléments de la conception du décor.

Production (photographie principale)

Comme pour un projet traditionnel, la phase de production (également appelée photographie principale) est celle où les caméras commencent à tourner et où le film ou la vidéo prend forme.

Dans la production virtuelle, c'est aussi l'endroit où tous les actifs 3D et les mondes virtuels créés par la VAD sont projetés sur les volumes LED entourant les acteurs et les accessoires physiques (parfois imprimés en 3D) sur les scènes de production virtuelles.

Source : Moteur Unreal

L'éclairage ambiant des murs LED remplace souvent l'éclairage traditionnel de l'avant-scène, tandis que l'éclairage virtuel est déployé dans le monde virtuel.

Les caméras physiques équipées de la technologie de suivi de caméra sont synchronisées avec les caméras virtuelles dans le moteur de jeu (un processus connu sous le nom de Simulcam), ce qui permet à la scène virtuelle de se déplacer parfaitement avec les caméras physiques.

Étant donné que pratiquement tout ce qui concerne la production virtuelle se déroule en temps réel, les artistes 3D peuvent ajuster les mondes virtuels pour améliorer l'éclairage, les angles de caméra ou même affiner les actifs numériques.

Bien qu'elle soit également utilisée en prévisualisation, c'est au cours de la phase de production que la capture de performance en temps réel (ou capture de mouvement) pour enregistrer les mouvements des acteurs est véritablement mise en œuvre. Simulcam est utilisé pour superposer en temps réel des acteurs vêtus de combinaisons mocap sur des décors virtuels, ce qui permet de diriger des scènes virtuelles comme des scènes physiques.

Les écrans verts sont également parfois utilisés à ce stade. En effet, bien que les volumes LED se soient taillé la part du lion dans la presse récente, les écrans verts sont toujours utilisés dans les environnements de production virtuels pour le compositing en direct et pour apporter de petites corrections aux plans qui ne peuvent pas être finalisés à la caméra.

Post-Production

La postproduction prend beaucoup moins de temps dans une production virtuelle que dans un projet traditionnel, car la plupart des effets visuels et même l'étalonnage des couleurs ont lieu pendant les phases de préproduction et de production.

VFX

Cela ne signifie pas pour autant que les artistes VFX n'ont rien à faire une fois le tournage terminé. Comme dans un projet traditionnel, les monteurs de vidéos de production virtuelle ajoutent souvent des espaces réservés aux scènes que les artistes VFX doivent nettoyer et finaliser (en ajoutant des effets ou des modèles 3D) en post-production.

💡 Apprendre Plus : Comment partager des plans 360° 4K avec les équipes VFX ?

Postvis

La postvisualisation, dernière forme de visualisation, a lieu après le tournage et intègre les séquences d'action en direct aux effets visuels bruts. La post-visualisation aide les équipes VFX de post-production à synchroniser et à mettre en scène les différents plans et l'équipe éditoriale à combiner tous les éléments - y compris les prises de vue réelles, la prévisualisation et les séquences de production virtuelles - pour créer le montage final.

Outils et logiciels de production virtuelle

La production virtuelle ne serait pas possible sans une technologie de pointe, qu'il s'agisse de logiciels de production virtuelle de bout en bout tels que ILM StageCraft à des outils uniques. Voici un aperçu de quelques-uns des outils et logiciels utilisés par les équipes de production virtuelle pour produire les images époustouflantes auxquelles nous sommes tous habitués.

Murs LED

La plupart des projets louent une scène sonore équipée de murs constitués de panneaux LED qui s'emboîtent les uns dans les autres. Ces panneaux sont combinés en un très grand écran et alimentés par du matériel et des logiciels de traitement vidéo. Mais vous pouvez aussi construire un volume LED à partir de zéro ou demander à l'un des nombreux fournisseurs de production virtuelle - tels que MELs, Line 204, Nant Studios ou Dark Bay - d'en personnaliser un spécialement pour vous.

Source : Tireur de nouvelles

Moteurs de jeu :

Ces moteurs 3D créent des décors et des mondes virtuels qui peuvent être explorés et parcourus comme dans un jeu vidéo. Le moteur de jeu le plus populaire, Unreal Engine 5Il a été utilisé pour des productions de Le Mandalorien à Westworld. Les autres moteurs de jeu utilisés dans la production virtuelle sont les suivants L'unité, CryEngineet Godot.

💡 Lire la suite : Pourquoi cette ligue d'eSports de premier plan dépend de MASV

Unités de traitement graphique (GPU) puissantes

Les moteurs de jeu les plus puissants du monde sont pratiquement inutiles sans GPU puissants pour les faire fonctionner. Plus les GPU de votre ordinateur sont performants, plus vous pourrez afficher de détails sur ces énormes volumes de LED. Il est conseillé d'utiliser un PC Windows pour la production virtuelle, car la plupart des plugins dont vous aurez besoin, y compris le suivi des LED, ne sont disponibles que sous Windows.

Outils de capture et d'animation 3D

Outils photogrammétriques tels que Capture de la réalité utilisent l'IA pour créer des modèles 3D à partir de photos ou de scans laser, tandis que d'autres applications 3D telles que le Houdini permettre des animations 3D riches pour créer des effets utilisant les reflets et les particules.

Bibliothèques de ressources 3D

L'existence de la Bibliothèque Quixel Megascanla plus grande bibliothèque de scans 3D au monde, signifie qu'il n'est pas nécessaire de réinventer la roue lorsque vous avez besoin d'accessoires, de textures ou d'environnements en 3D.

Caméras de suivi de mouvement

Un suivi précis de la caméra est essentiel dans un environnement de production virtuelle. Les systèmes de suivi de mouvement les plus répandus sont les suivants OptiTrack et StarTracker.

Casques de réalité virtuelle

Les casques VR peuvent être des outils inestimables pendant la préproduction et le processus de repérage virtuel. Les membres de l'équipe peuvent planifier les prises de vue et commencer à planifier la construction des décors en explorant et en interagissant collectivement avec des environnements 3D à l'aide de casques tels que Somnium VR One et MeganeX.

La technologie de production virtuelle la plus populaire, d'après une étude réalisée par l'institut de recherche de l'Union européenne. enquête récente? La technologie de capture de mouvement, plus de la moitié des personnes interrogées ayant indiqué l'avoir utilisée au cours des 12 derniers mois.

Avantages de la production virtuelle

La production virtuelle présente de nombreux avantages : d'une part, elle s'est réellement imposée pendant la pandémie, en facilitant la collaboration entre les membres d'équipes très éloignées les unes des autres.

Mais elle présente de nombreux autres avantages (dont certains ont déjà été mentionnés). Voici quelques-uns des principaux avantages d'une chaîne de production virtuelle :

1. Économies de temps et d'argent

• Le repérage virtuel à l'aide de casques VR et d'autres technologies permet de réduire considérablement le temps et les coûts de déplacement.
• En finalisant les décisions créatives majeures plus tôt dans le processus, les équipes sont mieux préparées lorsque les acteurs sont sur le plateau, ce qui rend la production moins onéreuse.
• Il est également beaucoup plus facile d'ajuster le contenu à la volée pendant le tournage, plutôt que de faire revenir les acteurs pour des reshoots coûteux ou de passer des heures sur le rendu de postproduction.
• Elle réduit le coût de la création d'actifs, car les actifs haute fidélité créés au début du processus peuvent être utilisés tout au long du cycle de production sans avoir à être recréés à une résolution plus élevée.
• Il peut également réduire les coûts et les efforts nécessaires à la gestion et au suivi des actifs, puisque les moteurs de jeu disposent généralement de systèmes de suivi des actifs intégrés très performants.

2. Soucieux de l'environnement

Les environnements virtuels peuvent réduire la l'impact écologique des productions traditionnelles en créant des décors et des accessoires numériques au lieu de décors et d'accessoires physiques, qui contribuent aux déchets et à la pollution. Cela permet également de réduire la durée et la distance des déplacements. Par exemple, si un acteur de Los Angeles doit tourner une nouvelle scène dans le désert, il est plus écologique de conduire jusqu'à un plateau de volume à L.A. que de voyager en avion et en voiture pour atteindre le lieu de tournage.

Et comme les moteurs de jeu ont été conçus dans une optique "multijoueurs", la collaboration à distance ou multi-utilisateurs avec des parties prenantes situées dans des lieux physiques différents est une seconde nature pour la technologie de production virtuelle. Unreal Engine, par exemple, utilise Perforce Helix Core pour assurer le contrôle des versions de projets pouvant compter des centaines de collaborateurs.

3. Des idées créatives plus raffinées

Le fait de commencer à planifier les visuels et les plans dès le début du processus permet de multiplier les itérations et, en fin de compte, d'améliorer les visuels, les environnements et les plans. La production virtuelle offre davantage d'options pour affiner les idées créatives grâce à la facilité avec laquelle les moteurs en temps réel peuvent itérer ou personnaliser les plans et les séquences.

Les cinéastes peuvent également s'appuyer sur la physique en temps réel fournie par les moteurs de jeu pour concevoir des séquences d'action ou des mouvements de caméra dans un bac à sable où s'appliquent les lois de la physique du monde réel.

4. Amélioration de l'éclairage naturel

Nous avons déjà mentionné les avantages de l'éclairage ambiant des écrans LED - les écrans verts sont notoirement pointilleux sur le type d'état d'éclairage avec lequel ils fonctionnent bien, ce qui signifie qu'il faut plus de temps en post-production pour ajuster les effets et l'éclairage.

5. Visibilité en temps réel

Il est beaucoup plus facile pour les acteurs et l'équipe de se faire une idée de l'aspect des plans lorsqu'ils jouent en même temps que l'action sur des écrans LED, plutôt que de jouer devant un écran vert et d'ajouter les arrière-plans et les effets par la suite.

6. Contrôle de l'environnement

Les équipes ont un contrôle total sur l'heure de la journée, l'éclairage, la météo, la circulation et d'autres variables qui peuvent entrer en jeu lors d'un tournage sur place. Il est beaucoup plus facile (et plus rapide) de passer d'une scène à l'autre dans un environnement virtuel.

7. Des environnements plus immersifs

Les environnements virtuels créés pour la production virtuelle peuvent être explorés à 360 degrés grâce à la technologie de la réalité étendue.

Défis de la production virtuelle

La production virtuelle n'est pas sans poser de problèmes, bien entendu.

1. Changement dans la préparation

Son préchargé peut être une adaptation difficile pour les cinéastes habitués à la production de films. post-chargé et ne sont pas habitués aux heures de planification et de préparation nécessaires avant le début du tournage.

2. Lacunes en matière de talents

Trouver du personnel possédant les compétences requises pour travailler sur un projet de production virtuelle est également un défi en raison de la complexité technique de ces projets. Technologie TV note que les industries adjacentes telles que l'animation VR, l'architecture et la conception automobile sont devenues des sources de talents pour l'industrie grâce aux compétences requises par ces industries.

En effet, des initiatives sectorielles telles que l'initiative d'Epic Games de La fraternité irréelleCette expérience d'apprentissage mixte a pour but de former les cinéastes aux nuances de la production virtuelle et de diffuser les compétences et les techniques de production virtuelle parmi les cinéastes et les professionnels de la vidéo.

Conseils pour une meilleure production virtuelle

Comme pour tout flux de travail, il y a de bonnes et de mauvaises façons de procéder à une production virtuelle. En voici quelques-unes quelques conseils et bonnes pratiques à garder à l'esprit lors du lancement de votre prochain projet :

1. Investir dans du matériel graphique haut de gamme

Comme mentionné ci-dessus, assurez-vous d'avoir un GPU puissant, comme un PC de jeu avec au moins dix cœurs de CPU et un GPU équivalent à la NVIDIA GeForce RTX 3090. Une configuration plus robuste, telle que la carte graphique NVIDIA RTX A6000 associée au kit Quadro Sync II, est recommandée pour les nœuds connectés aux processeurs vidéo du panneau LED.

2. Réduire les murs de LED pour économiser de l'argent

Vous n'avez pas nécessairement besoin de dépenser tout l'argent nécessaire pour louer un volume LED complet avec des plafonds et des murs latéraux enveloppants. Parfois, une LED à paroi unique est tout ce dont vous avez besoin. Sachez simplement que le type de mur que vous utilisez aura un impact considérable sur la quantité de lumière ambiante émise. Les dômes hémisphériques, les demi-cubes et les murs à ailettes sont considérés comme les meilleurs pour la lumière émise, dans cet ordre.

3. Tirer parti de l'éclairage programmable

Si vous n'avez pas assez de lumière émissive, le protocole de multiplexage numérique (DMX) peut être programmé pour transformer des lumières multicolores en lumières à effets. Les équipes peuvent programmer les spécifications d'éclairage en utilisant le DMX dans le moteur du jeu ou en utilisant un tableau d'éclairage.

4. N'oubliez pas la couleur

Il est essentiel de comprendre la science des couleurs, en particulier en ce qui concerne vos caméras spécifiques et le volume des LED, pour produire les environnements virtuels et les ressources les plus réalistes. Ignorer les subtilités de la colorimétrie peut entraîner des artefacts visuels désastreux dans votre montage final.