Le métavers est l'un de ces de grands concepts bien ficelés qui tend à susciter toutes sortes de débats. Parfois pratiques, souvent théoriques. Ou carrément vague. Et si certains observateurs sont hésitants et d'autres enthousiastes quant aux implications du métavers, beaucoup s'accordent à dire que le concept est très important.
Métastage est une entreprise à l'avant-garde de tout cela. Metastage fournit une capture vidéo volumétrique 3D de pointe et des humains virtuels photoréalistes. Associée à la production virtuelle, elle est parfaite pour être injectée dans le métavers en tant que représentation de personnes réelles.
MASV s'est entretenu avec le PDG de Metastage Christina Heller et chef de la production Skylar Sweetman afin d'obtenir leur point de vue sur la manière dont les producteurs vidéo peuvent tirer parti du métavers, sur les outils qu'ils peuvent utiliser à cette fin et sur ce que tout cela signifie pour les professionnels et les consommateurs du secteur du cinéma et de la télévision.
Allons-y.
Sauter à la section :
- Qu'est-ce que le métavers ?
- Comment les gens vont-ils accéder et consommer les médias dans le métavers ?
- Comment le métavers va-t-il affecter les médias et le divertissement ?
- Comment ce concept affecte-t-il les créateurs de contenu ?
- Quel rôle joue Metastage dans le métavers ?
- Qu'est-ce que la vidéo volumétrique et comment contribue-t-elle au métavers ?
- Quelle est la relation entre la production volumétrique et la production virtuelle ?
- Comment voyez-vous l'évolution de la production virtuelle et de la capture volumétrique ?
Note : La transcription suivante a été modifiée pour des raisons de longueur et de clarté.
Qu'est-ce que le métavers ?
Christina Heller: Pour moi, le métavers signifie nos réalités virtuelles et numériques. Et cela évolue évidemment toujours avec le temps. Mais nous commençons à voir les bases d'une couche numérique au-dessus de notre réalité spatiale physique existante. Une sorte de monde synthétique sans fin, que vous pouvez explorer et créer, collaborer et apprendre. Il s'agit d'une entité en soi, et aussi de cette sorte de couche numérique dans laquelle nous pouvons fusionner des aspects de notre vie informatique avec notre vie physique. Et nous commençons à en voir les éléments constitutifs avec la réalité virtuelle, la réalité augmentée et la réalité mixte.
Si vous jouez beaucoup, par exemple, ou si vous êtes très actif dans le domaine de la réalité virtuelle, ou encore si vous travaillez en production sur des concepts d'IA de pointe, vous commencez certainement à en voir les prémices. Mais cela reste assez rudimentaire par rapport à ce qui se fait dans le domaine de l'intelligence artificielle. Ready Player OneJe pense que nous nous dirigeons clairement vers cette science-fiction. J'espère simplement que la vision finale sera moins dystopique que ce que nous avons vu dans de nombreuses projections médiatiques, et j'espère que nous serons plus attentifs à la façon dont la technologie améliore et augmente réellement notre vie.
Comment les gens vont-ils accéder au métavers et y consommer des médias ?
CH: Pour en faire l'expérience en termes de réalité physique spatiale, du moins dans un avenir prévisible, vous allez avoir besoin d'une sorte de dispositif monté sur la tête. J'ai entendu parler de lentilles cornéennes à l'adresse AWE cette année. Il y aura une interface que vous mettrez sur votre visage et qui permettra aux composants numériques d'interagir avec les composants physiques.
Donc je pense que ce seront des lunettes, et je pense qu'elles fonctionneront de la même manière que votre montre fonctionne avec votre téléphone en ce moment. Et nous commencerons à voir des hologrammes, des visualisations de données, des informations, des divertissements et de la publicité, malheureusement, partout dans le monde. Et lorsque nous aborderons la réalité virtuelle, il s'agira plutôt d'une réalité numérique globale où les contraintes de notre forme physique et de notre expérience physique n'existeront plus. Et les implications de ce qui est possible dans la réalité virtuelle, surtout à mesure que la technologie se développe, sont fascinantes, folles et excitantes.
Transfert illimité de fichiers pour une créativité illimitée
Inscrivez-vous à MASV et envoyez jusqu'à 15 TB avec un seul fichier.
Comment pensez-vous que cela affectera les médias et le divertissement ?
CH: Ce que nous avons vu au cours des 20 dernières années, c'est que le divertissement peut prendre de nombreuses formes différentes. Ce pour quoi les gens se battent aujourd'hui, c'est l'attention du public. Une fois que la réalité étendue sera plus mature, je pense qu'elle deviendra un moyen supplémentaire pour le public de passer ses heures à s'engager dans le contenu. Et alors, c'est comme tout le reste. C'est une bataille pour le temps. Préférez-vous être dans un chat VR, en train de regarder un de vos musiciens préférés faire une performance musicale en direct ? Ou préférez-vous regarder Netflix ?
Peut-être qu'il y a une émission Netflix qui, à un moment donné, sort de ma télévision et devient une véritable expérience immersive. Imaginez à quel point ce serait cool ? Je regarde une séquence de trip de drogue dans une émission de télé, et tout d'un coup, ma chambre entière devient ce trip de drogue pendant 30 secondes. Il y a beaucoup de façons dont les gens peuvent être créatifs avec ça. Et certainement, je pense que l'espoir est que plus de gens s'enthousiasment pour les expériences de réalité mixte.
Comment le concept de production virtuelle affecte-t-il les créateurs de contenu ?
Studio de production virtuel - Moteur Unreal
CH: Ce qui est amusant dans la production de contenu virtuel, c'est qu'il y a tellement de polyvalence. Vous pouvez créer un monde que vous pouvez filmer comme une émission de télévision traditionnelle, mais vous pouvez ensuite prendre ces mêmes mondes et en faire un élément de réalité virtuelle dans lequel les gens peuvent entrer, se placer et se promener. Plus nous créons des actifs numériques pour produire du contenu traditionnel ou encadré, plus vous pouvez faire travailler ces actifs pour vous en tant que créateur et faire des activations bizarres, amusantes et expérimentales avec. Vous pouvez aussi le vendre comme un NFT. Il y a un million de choses que vous pouvez faire, parce que c'est un actif numérique.
L'une des choses que j'aime dans les films réalisés avant 2000 environ, c'est que lorsque vous regardez quelque chose exploser, vous vous dites : "Oh, mon Dieu, ils ont vraiment fait exploser ça." En ce sens, la production virtuelle ne remplacera jamais complètement ce sentiment de savoir que quelque chose a été fait physiquement. Mais l'avantage, c'est que nous ne perturberons pas la vie quotidienne des gens en fermant des rues, ou en créant un tas de déchets de tournage parce que nous avons dû faire une grosse explosion folle.
Skylar Sweetman: Juste pour revenir sur ce que Christina a dit sur la polyvalence de ces actifs et espaces virtuels que vous créez pour les pipelines de production virtuels : L'explosion dont nous avons parlé est quelque chose qui peut se produire encore et encore. Elle peut se produire dans une galerie, ou dans une sorte de parcours expérimental où le public peut ressentir cette chaleur et la voir sous forme visuelle - et c'est exactement ce qui s'est passé dans le film ou l'émission de télévision qu'il regardait. Il y a tellement de façons de développer un actif numérique et c'est passionnant pour les créateurs et les technologues, car c'est une frontière tellement nouvelle et ouverte. Les domaines de collaboration sont nombreux. Et cela a toujours été l'histoire d'Hollywood et du divertissement : Les créateurs ont besoin des technologues, et les technologues ont besoin que les créateurs sachent où les pousser.
Quel rôle joue Metastage, ou espère jouer à l'avenir, dans le métavers ?
CH: Nous existons depuis un peu plus de trois ans, et notre principale activité a été d'apporter des performances humaines authentiques et réelles dans le métavers. Ainsi, au lieu de créer un avatar synthétique avec des marionnettes, nous apportons des performances en direct de personnes réelles dans la réalité virtuelle et augmentée en utilisant des outils et des méthodes de production traditionnels et virtuels.
Donc, nous faisons de la vidéo volumétrique ou de la capture volumétrique. Nous avons capturé des athlètes, des musiciens et des personnalités publiques. Nous avons capturé des Black Panthers des années 1960 et des survivants de l'Holocauste. Nous sommes fiers de réaliser des captures de très haute qualité et de haute résolution, ce qui se rapproche le plus de la réalité : se tenir à côté de cette personne, s'asseoir en face d'elle ou l'observer. Pour ce qui est de l'avenir, il y a aussi des aspects de la vidéo volumétrique en direct à l'horizon où nous diffusons en direct des musiciens ou des performances dans le métavers également.
Nous travaillons également avec de nombreux experts en Balayage lidar pour amener des environnements du monde réel dans des espaces de réalité virtuelle et augmentée. Je ne voudrais pas que le métavers soit uniquement composé de personnes et de personnages synthétiques : Il devrait aussi nous permettre d'apprécier notre monde réel et notre réalité physique. C'est un créneau très intéressant, et je pense qu'il est important.
Qu'est-ce que la vidéo volumétrique ?
SS: Le concept de la vidéo volumétrique consiste à utiliser un réseau de caméras autour d'une personne ou d'un animal, et à enregistrer cette personne sous tous les angles, au-dessus, autour et au-dessous d'elle. Vous capturez chaque partie de son corps. Vous pouvez ensuite prendre toutes ces données vidéo, les traiter et créer un objet 3D qui est une réplique numérique exacte et photographique de ce qui s'est passé sur scène. Vous n'avez pas besoin d'utiliser des points de repère. Il n'y a pas de marionnettes ou de rigging virtuel - il n'y a pas d'effets visuels. C'est vraiment une représentation fidèle en 3D de ce qui s'est passé sur scène. En ce sens, il s'agit d'une technologie vraiment unique et merveilleuse pour les technologies éducatives ou pour tout ce qui nécessite une présence humaine réelle et authentique dans un environnement numérique virtuel.
CH : De nombreux domaines où nous avons déjà rencontré le succès sont le sport, par exemple, en faisant venir des athlètes célèbres et en leur faisant faire des mouvements caractéristiques, ou simplement en leur permettant de voir leur présence physique. Je suis désolé, mais un avatar synthétique de Ray Allen est loin d'être aussi cool que le vrai gars qui a fait les légendaires tirs à trois points.
Nous avons également beaucoup travaillé avec des musiciens. Les musiciens sont toujours désireux d'être à la pointe du progrès. Nous avons récemment commencé à faire des captures de performances 3D à partir de vidéos musicales et de publicités réalisées avec un moteur de jeu, où la vidéo volumétrique est capturée à Metastage et constitue l'actif héros dans le pipeline VFX de la production virtuelle.
Nous avons fait beaucoup d'activations marketing en utilisant 8e mur et des codes QR. Vous scannez le code QR sans avoir à télécharger une application, et un petit hologramme apparaît devant vous et vous pouvez faire venir cette personne dans votre salon. Nous en avons fait une récemment avec le champion du monde de snowboard. Chloé Kim: Vous obtenez votre forfait de ski et vous pouvez scanner un code QR et Chloe Kim surgit dans votre salon, et vous parle de la prochaine saison de ski.
Quelle est la différence entre la vidéo 360/immersive et la vidéo volumétrique ?
CH: La vidéo à 360° est un processus totalement différent et peut en fait être complémentaire de la capture volumétrique, comme les vidéos à 360° où vous filmez avec un ensemble de caméras pour capturer le monde qui vous entoure. Il y a aussi le balayage LIDAR et la photogrammétrie, qui permettent d'effectuer un balayage spatial à haute résolution d'un environnement.
La vidéo volumétrique, quant à elle, consiste à tourner vers l'intérieur pour capturer un spectacle sous tous les angles. Mais vous pouvez prendre Vidéo à 360 et faire une capture volumétrique dans cette vidéo 360, pour créer une expérience vidéo immersive réaliste.
Quel type de matériel est généralement nécessaire pour les tournages de vidéos volumétriques ?
CH: Cela dépend vraiment de vos objectifs et du système volumétrique avec lequel vous travaillez. Metastage est un fournisseur de capture volumétrique haut de gamme. Cela signifie que nous utilisons des équipements haut de gamme : Nous utilisons 106 caméras pour capturer ces performances, et par-dessus le marché, nous utilisons la pile technologique Microsoft pour traiter les données. Nous entrons dans la catégorie des studios de production professionnels qui offrent la meilleure qualité possible. Je dois toutefois préciser que nous ne sommes pas aussi chers que les gens le pensent. Nous utilisons 106 caméras et nous traitons les données à la fois sur une ferme de rendu sur site de 50 lames - et nous utilisons aussi la technologie Microsoft pour traiter les données. Azure traitement des nuages pour le débordement.
De l'autre côté, vous envisagez d'autres solutions, telles que Depthkit de Scatterqui est davantage un produit volumétrique destiné aux consommateurs. C'est un système très différent. Il comporte beaucoup moins de caméras, mais c'est un système que vous pouvez installer sur le terrain, ou ailleurs, et faire de la capture volumétrique avec seulement une ou deux personnes pour la production. Il existe donc toute une série d'options en matière de production vidéo volumétrique. Mais en règle générale, plus il y a de caméras, mieux c'est en matière de capture, et vous verrez une différence qualitative.
Depthkit - Scatter
SS: C'est intéressant, parce qu'une personne avec plusieurs iPhones pourrait techniquement mettre en place quelque chose comme un rig de capture volumétrique. Ce qui est plutôt cool. Je veux dire, c'est assez excitant d'y penser à ce niveau.
Qu'en est-il des résolutions et des fréquences d'images ? Qu'utilisez-vous généralement et cela diffère-t-il selon le projet ?
Nous filmons généralement à 30 images par seconde. Nous pouvons en prendre 60, mais nous obtiendrions alors le double de la quantité de données. Pour vous donner une idée de la quantité de données que nous capturons lorsque nous prenons des photos à 12 mégapixels, ce qui est généralement le cas pour une capture de la plus haute qualité, nous capturons 30 gigaoctets de données brutes par seconde. Si nous prenons des photos à 4 mégapixels, nous capturons 10 gigaoctets de données brutes par seconde. Nous tournons donc à 30 images par seconde, car si nous tournons à 60 images par seconde, nous doublons la quantité de données et leur traitement prend beaucoup plus de temps, d'argent et d'énergie. Je pense que nous avons peut-être fait une seule prise de vue à 60 images par seconde, pour un athlète dont les mouvements étaient particulièrement rapides. Et c'était une capture très courte.
De même, en fonction de l'endroit où nous allons exécuter l'expérience finale, nous ajusterons le nombre de polygones, c'est-à-dire la quantité de polygones dans le maillage de la capture holographique, en fonction de l'endroit où elle est destinée. S'il s'agit d'une expérience de RA sur le Web, nous la voulons aussi petite que possible en termes de nombre de polygones et de résolution, car elle sera diffusée sur le Web. Dans ce cas, je pense que le plus petit nombre de polygones possible est de 10 000, pour une résolution de 1,5K.
Nous venons de réaliser un tournage pour Snapchat, et nous avons dû travailler très dur pour que le nombre de poly et la résolution atteignent une taille compatible avec Snapchat. Inversement, lorsque nous avons fait un tournage pour Unity pour leur nouvelle preuve de concept Metacast UFCIls allaient le soumettre à leurs propres systèmes de compression, alors nous l'avons fait à notre résolution maximale : 60 000 polygones à une résolution de presque 4K.
Nous évaluons toujours la taille du fichier, ainsi que la qualité dont vous avez besoin. Mais la compression de notre pile technologique est étonnante : si nous devons ramener ces 30 gigaoctets de données brutes par seconde à, vous savez, 70 mégaoctets pour une minute, nous le faisons régulièrement. Nous nous efforçons depuis le début de rendre le contenu aussi facile à diffuser et aussi petit que possible.
Envoyer des téraoctets de données brutes sur le nuage
Avez-vous besoin ou utilisez-vous des objectifs ou des types d'appareils photo spécialisés ?
Caméra de reprise VOLUCAM 89B64CV
CH: Nous utilisons Caméras IOI. Ce sont des caméras de vision industrielle. Cinquante-trois d'entre elles sont des caméras RVB qui capturent les données visuelles et textuelles des sujets, et les 53 autres sont des caméras infrarouges qui produisent un nuage de points à partir duquel on obtient un maillage. Et c'est ainsi que nous obtenons le maillage. Il y a une carte UV, puis toutes ces données visuelles et textuelles sont appliquées à la carte UV sur le maillage, et c'est ainsi que nous obtenons l'hologramme.
SS: Il y a une variété de lentilles que vous pourriez utiliser aussi. Et il n'y a pas de chiffre précis à ce sujet. Nous utilisons des objectifs de 16 mm, mais nous avons vu des objectifs plus larges et plus étroits. Cela dépend simplement de la pile technologique et de l'application.
Vous avez parlé de fichiers de grande taille ; quelle est la taille moyenne d'un fichier vidéo volumétrique ?
SS: Comme Christina l'a dit, si nous capturons à 12 mégapixels, cela représente 30 gigaoctets de données par seconde à 30 images par seconde. Et il faut parfois plusieurs prises de vue à un artiste pour obtenir la photo. La gestion des données fait donc partie intégrante de notre monde - nous y pensons beaucoup. Nous avons tendance à utiliser Azure, à la fois pour le traitement des débordements et pour le stockage.
Mais lorsqu'il s'agit de l'actif final, le processus consistant à prendre les données vidéo de 106 caméras et à en faire un petit fichier pouvant être diffusé en continu... on commence par ce nuage de points géant, avec des millions de points. Et cela se transforme en un maillage fermé et étanche avec des textures géantes. Et vous itérez, itérez et itérez encore jusqu'à ce qu'il ne reste plus que moins de 100 mégaoctets pour une minute complète de performance volumétrique, totalement en 3D.
Pouvez-vous donner un exemple des plus grands projets que vous avez stockés sur Azure ?
CH: Je dirais 60 à 70 téraoctets. Et cela inclut une grande partie des données sources et des choses comme ça - nous les sauvegardons au cas où le client voudrait éventuellement les retraiter ou quelque chose de ce genre. Et donc c'est non traité. Nous ne l'avons pas mis dans le pipeline. Ce sont juste les données brutes. C'est un exploit de la technologie moderne, parce qu'avant le stockage en nuage, je ne sais même pas comment on pouvait faire ce genre de flux de travail.
Et l'audio ? Comment s'y prendre pour enregistrer ou créer un son 3D ?
CH: Nous travaillons avec une équipe audio incroyable -cho VR est leur nom. Nous mettons beaucoup d'énergie à prendre l'audio aussi sérieusement que la vidéo. Pour la plupart de nos tournages, nous utilisons des lavallières pour obtenir une bonne capture audio, comme sur n'importe quel tournage de production professionnelle. Nous avons également des micros canon Sennheiser que nous utilisons comme source audio fiable et propre : Si les costumes ne permettent pas d'intégrer une lavallière, disons que nous faisons un maillot de bain ou quelque chose comme ça, alors nous pouvons utiliser les micros canon. Ensuite, nous soumettons le tout à un processus de nettoyage et de mastering typique de Pro Tools, et le tout est joint au produit final.
Lire la suite : Comprendre les formats de fichiers audio
La vidéo volumétrique est-elle un must-have dans le futur métavers ?
CH: Vous pouvez avoir une expérience de metaverse qui n'a pas de capture volumétrique. Je le fais tout le temps en RV, je vais dans AltspaceVR et le chat VR. Nous sommes tous des avatars. Nous explorons des mondes synthétiques. C'est super amusant, et il n'y a pas besoin de vidéo volumétrique. Mais pour que le métavers soit à la hauteur de son véritable potentiel, nous devons être en mesure d'y faire entrer de vrais humains. Et c'est là que nous sommes particulièrement qualifiés pour le faire.
Quelle est la relation entre la production volumétrique et la production virtuelle ? Se croisent-elles ?
CH: Ils le font. Par exemple, dans un commercial we a fait avec R/GA à New York, ils ont construit tous les mondes en utilisant des logiciels de VFX : Ils ont utilisé Maya, Houdiniet Nuke. Je pense qu'ils utilisent Maya pour la plupart de la création du monde, et ils utilisent Houdini et Nuke pour certains effets visuels supplémentaires sur la capture elle-même. La vidéo volumétrique est donc la ressource de performance du héros, et le monde a été créé à l'aide d'un logiciel VFX. C'est là qu'ils ont effectué les mouvements de caméra virtuels pour cadrer tous les plans de la publicité finale.
Si vous capturez l'acteur ou l'interprète à l'aide d'une vidéo volumétrique de haute qualité, vous disposez désormais de la même flexibilité avec cet actif qu'avec n'importe quel actif 3D. Et si vous créez tout à l'intérieur du moteur de jeu, cela permet à des personnes réelles de faire partie de ce scénario de production virtuel, par opposition à un scénario de production virtuel où une personne se tient devant un mur de LED et que vous filmez de cette façon. Cela vous permet de tout faire à l'intérieur du moteur.
SS: Et si vous pensez à ce que l'équipe de R/GA a pu faire, ils ont pu faire ces énormes mouvements de caméra sauvages qui auraient été très coûteux à réaliser en pratique, et auraient nécessité un budget énorme et beaucoup plus de personnel et de temps. Et ils auraient dû faire les plans plusieurs fois. Mais comme ils avaient cet atout du héros, tout le reste après ça est juste flexible.
Comment voyez-vous l'évolution de la production virtuelle et de la capture volumétrique à l'avenir ?
CH: Je peux voir qu'il permet une plus grande flexibilité lorsqu'il s'agit de créer du contenu. Idéalement, cela servira non seulement aux réalisateurs et aux visionnaires, mais aussi aux interprètes. Ils n'auront peut-être pas à faire autant de prises, car le réalisateur pourra cadrer leurs plans en post-production.
Nous tenons à remercier Christina Heller et Skylar Sweetman de Metastage pour nous avoir informés des nuances techniques de la création d'une expérience métaverse et de l'influence qu'elle aura sur les médias et le divertissement. Pour en savoir plus sur la façon dont Metastage utilise la vidéo volumétrique et la production virtuelle pour capturer des performances humaines authentiques pour un support numérique, vous pouvez métastage.com.
Le métavers promet de faire disparaître les frontières entre nos réalités numériques et physiques. Si ce concept est ambitieux, il n'est pas irréalisable grâce aux progrès des jeux et des technologies des médias. La vidéo volumétrique et la production virtuelle sont deux moyens par lesquels les professionnels de la création intègrent les humains dans les mondes numériques. En capturant des performances photoréalistes sous tous les angles et en les associant à la construction d'un univers VFX et à un rendu de pointe, les créatifs peuvent produire un contenu qui nous parle de manière plus intime.
Afin de donner vie au métavers - ou à toute autre production numérique - les réalisateurs et les développeurs doivent gérer tous les aspects de la production numérique. massif La taille des fichiers qui proviennent de captures vidéo haute résolution et de fichiers de production lourds en données. Qu'il s'agisse de transférer des séquences de l'étape de capture volumétrique à l'équipe VFX ou d'envoyer des proxies aux clients pour examen, les fichiers volumineux exigent le logiciel MASV.
MASV est un service de partage de fichiers qui permet aux professionnels des médias de transférer rapidement des téraoctets de données à n'importe qui dans le monde via le cloud. Nous livrons toujours les fichiers en un temps record grâce à notre réseau de 150 centres de données mondiaux et à l'absence de limitation des vitesses de transfert. Tous les fichiers partagés par le biais de MASV sont cryptés et sauvegardés par un système d'archivage. Réseau de partenaires de confiance la norme industrielle en matière de protection du contenu. Inscrivez-vous dès aujourd'hui pour MASV et recevez 20 Go gratuits pour votre prochain transfert.
Envoyez et recevez des fichiers volumineux de n'importe où
Obtenez 20 Go à utiliser avec le service de transfert de fichiers volumineux le plus rapide disponible aujourd'hui, MASV.