De Metaverse creëren met volumetrische video en virtuele productie

door Jim Donnelly | november 30, 2021

De metaverse is een van die grote, vlezige concepten dat de neiging heeft om allerlei soorten debat uit te lokken. Soms praktisch, vaak theoretisch. Of ronduit vaag. En hoewel sommige waarnemers aarzelen en anderen enthousiast zijn over de implicaties van de metaverse, zijn velen het erover eens dat het concept een heel grote zaak is.

Uitzaaiing is een bedrijf in de voorhoede van dit alles. Metastage biedt state-of-the-art, 3D volumetrische video-opnames en fotorealistische virtuele mensen - en in combinatie met virtuele productie is het perfect om in de metaverse te injecteren als representaties van echte mensen.

MASV sprak met Metastage CEO Christina Heller en Hoofd Productie Skylar Sweetman om hun inzichten te horen over hoe videoproducenten de metaverse kunnen benutten, welke tools ze daarvoor kunnen gebruiken, en wat het allemaal betekent voor M&E-professionals en consumenten. 

Laten we er eens induiken.

Opmerking: Het volgende transcript is bewerkt omwille van de lengte en de duidelijkheid.

Wat is de metaverse? Waar denk je dat het heen gaat?

Christina Heller: Voor mij betekent de metaverse onze virtuele en digitale realiteiten. En die evolueert natuurlijk altijd met de tijd. Maar we beginnen de basis te zien van een digitale laag bovenop onze bestaande fysieke ruimtelijke realiteit. Een synthetisch soort wereld die eindeloos is, die je kunt verkennen en creëren, samenwerken en leren. Het is een entiteit op zichzelf, en ook een soort digitale laag waarin we aspecten van ons computerleven kunnen laten samensmelten met ons fysieke leven. En we beginnen de bouwstenen daarvan te zien met virtual reality, augmented reality en mixed reality.

Als je bijvoorbeeld veel gamet, of echt actief bent op het gebied van virtual reality, of als je in de productie werkt aan bloederige AI-concepten, dan begin je daar zeker het begin van te zien. Maar het voelt nog steeds vrij rudimentair vergeleken met Ready Player Onesciencefictionfantasie, waarvan ik denk dat we er duidelijk naar toe gaan. Ik hoop alleen dat de uiteindelijke visie minder dystopisch is dan wat we in veel mediaprojecties hebben gezien, en ik hoop dat we ons meer bewust kunnen zijn van de manieren waarop technologie ons leven werkelijk verbetert en verrijkt.

Hoe zullen mensen toegang krijgen tot de metaverse en daar media consumeren?

CH: Om het te ervaren in termen van ruimtelijke fysieke realiteit, tenminste voor de nabije toekomst, heb je een soort van hoofd-gemonteerd apparaat nodig. Ik heb gehoord over contactlenzen op AWE dit jaar. Er komt een interface die je op je gezicht plakt, waardoor de digitale componenten kunnen interageren met de fysieke componenten.

Dus ik denk dat het een bril wordt, en ik denk dat hij op dezelfde manier zal werken als je horloge met je telefoon op dit moment. En we zullen hologrammen gaan zien, en data visualisaties, en informatie, en entertainment, en reclame-ongelukkig-doorspekt onze wereld. En wanneer we de virtuele realiteit component gaan bekijken, dan is het echt meer een allesomvattende digitale realiteit waar de beperkingen van onze fysieke vorm en fysieke ervaring er niet meer zijn. En de implicaties van wat mogelijk is in virtuele realiteit, vooral als de technologie zich ontwikkelt, zijn fascinerend, gek en opwindend.

Onbeperkte bestandsoverdracht voor onbeperkte creativiteit

Meld u aan voor MASV en verstuur tot 5 TB met één enkel bestand.

Hoe denk je dat het de media en entertainment zal beïnvloeden?

CH: Wat we in de laatste 20 jaar hebben gezien is dat entertainment in veel verschillende vormen kan komen. Waar mensen tegenwoordig om vechten is de aandacht van het publiek. Zodra uitgebreide realiteit volwassener wordt, denk ik dat het gewoon nog een manier wordt voor het publiek om hun uren door te brengen met inhoud. En dan is het net als al het andere. Het is een strijd om tijd. Zit je liever in een VR-chat te kijken naar een live muziekoptreden van een van je favoriete muzikanten? Of wil je naar Netflix kijken?

Misschien is er een Netflix-show die op een gegeven moment uit mijn televisie barst en nu op de een of andere manier een echt meeslepende ervaring is. Stel je voor hoe cool dat zou zijn? Ik kijk naar een drug trip sequentie van een tv-show, en dan opeens, mijn hele slaapkamer wordt die drug trip voor ongeveer 30 seconden. Er zijn veel manieren waarop mensen er creatief mee kunnen zijn. En zeker, ik denk dat de hoop is dat meer mensen enthousiast worden over gemengde realiteit ervaringen.

Wat betekent het concept van virtuele productie voor de makers van inhoud?

een virtuele productie studio gebruikt unreal engine

Virtuele Productie Studio - Unreal Engine

CH: Het leuke aan virtuele inhoudproductie is dat het zo veelzijdig is. Je kunt een wereld creëren die je kunt filmen zoals een traditionele tv-show, maar je kunt diezelfde werelden ook een virtual reality-component geven waar mensen in kunnen stappen, zichzelf kunnen plaatsen en rond kunnen lopen. Hoe meer we digitale middelen creëren om traditionele of ingelijste content te maken, hoe meer je die middelen kunt laten werken voor jou als maker en er rare, leuke, experimentele activaties mee kunt doen. Of je kunt verkoop het als een NFT. Er zijn een miljoen dingen die je kunt doen, want het is een digitaal bezit.

Een van de dingen die ik leuk vind aan een film van voor 2000 of zo, is als je iets opgeblazen ziet worden, je zoiets hebt van, "Oh, mijn God, ze hebben dat echt opgeblazen." In die zin zal virtuele productie nooit volledig dat gevoel vervangen van te weten dat iets fysiek werd gedaan. Maar het voordeel is dat we het dagelijks leven van mensen niet verstoren door straten af te sluiten of een hoop afval van opnames te creëren omdat we een grote gekke explosie moesten doen. 

Skylar Sweetman: Even inhakend op wat Christina zei over de veelzijdigheid van deze virtuele activa en ruimtes die je creëert voor virtuele productiepijplijnen: Die explosie waar we het over hadden is iets dat steeds opnieuw kan gebeuren. Het kan gebeuren in een galerie ruimte, of in een soort van ervaringswandeling waar het publiek heen kan gaan en die hitte kan voelen en het kan zien als een visuele - en het is precies wat er gebeurde in de film of tv-show waar ze naar keken. Er zijn zoveel manieren om een digitaal object uit te breiden en het is spannend voor makers en technologen, omdat het zo'n nieuwe en open grens is. Er zijn veel gebieden voor samenwerking. En dat is altijd een beetje het verhaal geweest van Hollywood en entertainment: De makers hebben technologen nodig, en de technologen hebben de makers nodig om te weten waar ze hen moeten duwen.

Welke rol speelt Metastage, of hoopt het in de toekomst te spelen, in de metaverse?

CH: We bestaan nu iets meer dan drie jaar, en ons belangrijkste doel is om authentieke, echte menselijke performances in de metaverse te brengen. Dus in plaats van het creëren van een synthetische avatar die is gemodelleerd, brengen we live-action prestaties van echte mensen in virtuele en augmented reality met behulp van traditionele en virtuele productie tools en methoden.

Dus, we doen volumetrische video of volumetrische opname. We hebben atleten, muzikanten en publieke figuren vastgelegd. We hebben Black Panthers uit de jaren 60 en overlevenden van de Holocaust vastgelegd. Wij zijn trots op de zeer hoge kwaliteit en hoge resolutie van onze opnames - het komt het dichtst bij de werkelijkheid, of je nu naast die persoon staat, tegenover hem zit of hem observeert. Als we naar de toekomst kijken, zien we ook aspecten van live volumetrische video aan de horizon, waarbij we muzikanten of optredens ook live uitzenden in de metaverse. 

We werken ook samen met een heleboel experts in Lidar scannen om echte omgevingen in virtuele en augmented reality-ruimtes te brengen. Ik zou niet willen dat de metaverse alleen uit synthetische mensen en personages bestaat: Het moet ons ook in staat stellen onze echte wereld en fysieke realiteit te waarderen. Het is een heel coole niche om in te zitten, en ik denk een belangrijke.

Vertel ons wat meer over volumetrische video.

SS: Het concept achter volumetrische video is dat je een reeks camera's gebruikt rond een persoon of een dier, en je neemt die persoon op vanuit elke hoek boven hen, rond hen, van onder hen. Je legt elk deel van hun lichaam vast. En je kunt dan al die video data nemen, het verwerken, en een 3D asset maken dat een exacte, fotografische digitale replica is van wat er op het podium gebeurde. Je hoeft geen tracking dots te gebruiken. Er is geen poppenspel of virtuele rigging, er zijn geen visuele effecten. Het is echt een 3D weergave van wat er op het toneel is gebeurd. Dus in die zin is het echt een unieke en prachtige technologie voor ed-tech of iets dat een echte en authentieke menselijke aanwezigheid vereist in een virtuele digitale omgeving.

CH: Veel van de gebieden waarop we al succes hebben geboekt, zijn sport, bijvoorbeeld door beroemde atleten binnen te halen en hen kenmerkende bewegingen te laten maken, of gewoon door hun fysieke aanwezigheid te kunnen zien. Het spijt me, maar een synthetische avatar van Ray Allen is lang niet zo cool als de man die de legendarische driepuntschoten deed.

We hebben ook veel met muzikanten gedaan. Muzikanten staan altijd te popelen om op het scherp van de snee te lopen. We zijn onlangs begonnen met het maken van 3D performance captures van muziekvideo's en commercials die gemaakt zijn met een game engine, waarbij de volumetrische video wordt vastgelegd bij Metastage en de hero asset is binnen de VFX-pijplijn van de virtuele productie.

We hebben veel marketing activiteiten gedaan met 8e muur en QR codes. Je scant de QR-code zonder dat je een app hoeft te downloaden, en er verschijnt een klein hologram voor je en je kunt deze persoon naar je huiskamer halen. We hebben er onlangs een gedaan met de wereldkampioen snowboarden Chloe Kim: Je krijgt je skipas en je kan een QR code scannen en Chloe Kim springt in je woonkamer, en praat met je over het komende skiseizoen.

Wat is het verschil tussen 360/immersive video en volumetrische video?

CH: 360 video is een totaal ander proces en kan eigenlijk een aanvulling zijn op volumetrische opnames, zoals 360 video's waarbij je opnames maakt met een reeks camera's om de wereld rondom je vast te leggen. En dan heb je nog LIDAR scanning en fotogrammetrie, waarbij je een hoge resolutie ruimtelijke scan van een omgeving maakt.

Volumetrische video, aan de andere kant, is het naar binnen opnemen van een voorstelling vanuit elke hoek. Maar je kunt 360-video nemen en binnen die 360-video een volumetrische opname doen, om een realistische meeslepende video-ervaring te creëren.

Wat voor apparatuur is typisch nodig voor volumetrische video-opnamen?

CH: Het hangt echt af van uw doelstellingen en met welk volumetrisch systeem u werkt. Metastage is een premium aanbieder van volumetrische opnames. Dat betekent dat we top-of-the-line apparatuur gebruiken: We gebruiken 106 camera's om deze voorstellingen vast te leggen, en daarbovenop gebruiken we de Microsoft technologie stack om de data te verwerken. Wij vallen in de categorie van een professionele productiestudio die de hoogst mogelijke kwaliteit levert. Hoewel, ik moet opmerken dat we niet zo duur zijn als mensen denken. We gebruiken 106 camera's en we verwerken de data op een 50-blade, on-premise render farm-plus we gebruiken Azure wolkverwerking voor overloop. 

Aan de andere kant, kijk je naar andere oplossingen zoals Scatter's Depthkitwat meer een op consumenten gebaseerd volumetrisch product is. Het is een heel ander systeem. Het heeft aanzienlijk minder camera's, maar het is een systeem dat je in een veld kunt plaatsen, of waar dan ook, en volumetrische opnamen kunt maken met slechts één of twee mensen voor de productie. Er zijn dus verschillende opties als het gaat om volumetrische videoproductie. Over het algemeen geldt echter dat meer camera's beter zijn als het op opnemen aankomt, en je zult een kwalitatief verschil zien.

Diepte set 1

Depthkit - Scatter

SS: Interessant, want iemand met meerdere iPhones kan technisch gezien zoiets als een volumetrische opname-installatie opzetten. Wat wel cool is. Ik bedoel, het is best spannend om er op dat niveau over na te denken.

Hoe zit het met resoluties en beeldsnelheden? Wat gebruik je meestal en verschilt dat per project?

We filmen meestal met 30 beelden per seconde. We kunnen 60 beelden per seconde maken, maar dan krijgen we de dubbele hoeveelheid gegevens. Om je een idee te geven van de hoeveelheid gegevens die we vastleggen als we met 12 megapixels filmen, wat we meestal doen voor opnamen van de hoogste kwaliteit, leggen we 30 gigabyte ruwe gegevens per seconde vast. Als we filmen met vier megapixels, leggen we 10 gigabyte aan onbewerkte gegevens per seconde vast. We filmen dus met 30 beelden per seconde, want als we met 60 beelden per seconde filmen, verdubbelen we de hoeveelheid gegevens en het kost gewoon veel meer tijd, geld en energie om die te verwerken. Ik denk dat we misschien één opname met 60 hebben gedaan, waar we een atleet aan het filmen waren met een bijzonder snelle beweging. En het was een zeer korte opname.

Ook, afhankelijk van waar we de uiteindelijke ervaring gaan uitvoeren, zullen we onze poly count aanpassen - dat is het aantal polygonen in de mesh van de holografische opname, afhankelijk van waar het heen gaat. Als het een web AR ervaring wordt, willen we het zo klein mogelijk in termen van poly count en resolutie omdat het via het web gaat streamen. In dat geval, denk ik dat het kleinste dat we kunnen gaan 10.000 polygonen is bij een 1.5K resolutie.

We hebben onlangs een shoot gedaan met Snapchat, en we moesten heel hard werken om de poly count en resolutie op een formaat te krijgen dat op Snapchat kon. Omgekeerd, toen we een shoot deden voor Unity voor hun nieuwe Metacast UFC proof of conceptZe zouden het door hun eigen compressiesystemen halen, dus deden we het op onze maximale resolutie: 60.000 polygonen op bijna 4K resolutie.

We evalueren altijd hoe groot het bestand zal zijn, samen met welke kwaliteit je nodig hebt. Maar de compressie van onze technologie is verbazingwekkend: als we die 30 gigabytes aan ruwe data per seconde moeten terugbrengen tot, je weet wel, 70 megabytes voor een minuut, dan doen we dat op regelmatige basis. De inhoud zo streambaar mogelijk maken en zo klein mogelijk is iets waar we vanaf het begin mee bezig zijn geweest.

Terabytes aan ruwe data versturen via de cloud

Heeft u speciale cameralenzen of cameratypes nodig of gebruikt u die?

Een volucam camera gebruikt voor het volumetrisch vastleggen van metaverse ervaringen

VOLUCAM 89B64CV Replay Camera

CH: We gebruiken IOI-camera's. Het zijn machine vision camera's. Drieënvijftig van hen zijn RGB-camera's die de visuele en tekstuele gegevens van de onderwerpen vastleggen, en de andere 53 zijn infraroodcamera's die een puntenwolk uitstralen waaruit een netwerk wordt afgeleid. En dat is hoe we het netwerk krijgen. Er is een UV kaart, en dan worden al die visuele en tekstuele gegevens toegepast op de UV kaart op het net, en zo krijgen we het hologram. 

SS: Er zijn ook verschillende lenzen die je kunt gebruiken. En daar is geen hard getal voor. Wij gebruiken 16 mm lenzen, maar we hebben ook bredere en smallere lenzen gezien. Het hangt gewoon af van de technologie en de toepassing.

U had het over grote bestanden; wat is de gemiddelde bestandsgrootte van een volumetrische video?

SS: Zoals Christina zei, als we opnamen maken met 12 megapixels, is dat 30 gigabyte aan gegevens per seconde bij 30 beelden per seconde. En dan kan het een artiest een paar takes kosten om de foto te maken. En dus is gegevensbeheer zeker een deel van onze wereld - we denken er veel over na. Wij gebruiken Azure, zowel voor de verwerking van overflow als voor opslag.

Maar als je het hebt over de uiteindelijke asset, het proces van het nemen van alle 106 camera's aan videogegevens en het maken van een klein streambaar bestand ... je begint met deze gigantische puntenwolk, met miljoenen punten. En dat verandert in een gesloten waterdichte mesh met gigantische texturen. En je itereert en iterereert en iterereert daarop totdat het gereduceerd is tot minder dan 100 megabytes voor een volle minuut volumetrische, volledig 3D performance.

Kunt u een voorbeeld geven van de grootste projecten die u in Azure hebt opgeslagen?

CH: Ik zou zeggen 60 tot 70 terabytes. En dat is inclusief veel van de brongegevens en dat soort dingen - we bewaren ze voor het geval de klant ze uiteindelijk wil opwerken of iets in die trant. En dat is dus onbewerkt. We hebben het niet door de pijplijn gehaald. Dat is gewoon de ruwe data. Het is een knap staaltje moderne technologie, want voor cloud-opslag zou ik niet eens weten hoe je dit soort workflow zou moeten doen.

Hoe zit het met audio? Hoe ga je te werk bij het opnemen of creëren van 3D geluid?

CH: We werken met een geweldig audio team-Echo VR is hun naam. We steken er veel energie in om de audio net zo serieus te nemen als de video. Voor veel van onze opnames gebruiken we lavaliers om een goede, zuivere audio-opname te krijgen, zoals je dat bij elke professionele productieshoot zou doen. We hebben ook Sennheiser shotgun microfoons die we gebruiken als een betrouwbare en zuivere audiobron: Als de kostuums het niet toelaten om een lavalier te integreren, laten we zeggen dat we een zwempak of iets dergelijks doen, dan kunnen we de shotgun microfoons gebruiken. En dan halen we alles door een typisch Pro Tools sound cleanup en mastering proces, en wordt het aan het eindproduct gehecht.

Is volumetrische video een must-have in de toekomstige metaverse?

CH: Je kunt een metaverse ervaring hebben die geen volumetrische opname heeft. Ik doe het de hele tijd in VR, ga in AltspaceVR en VR chat. We zijn allemaal avatars. We verkennen synthetische werelden. Het is super leuk, en er is geen volumetrische video nodig. Maar om de metaverse echt tot zijn recht te laten komen, moeten we er echte mensen in kunnen porten. En dat is waar wij uniek gekwalificeerd zijn om dat te doen.

Wat is de relatie tussen volumetrische en virtuele productie? Kruisen ze elkaar?

CH: Dat doen ze. Bijvoorbeeld, in een commerciële we deed met R/GA in New York, bouwden ze alle werelden met VFX software: Ze gebruikten Maya, Houdinien Nuke. Ik denk dat ze Maya gebruiken voor het meeste van de wereldcreatie, en Houdini en Nuke voor wat extra VFX op de opname zelf. En zo is de volumetrische video het hoofdbestanddeel, en de wereld werd gecreëerd met behulp van VFX software, en het is waar ze de virtuele camerabewegingen deden om alle shots voor de uiteindelijke reclamespot in te kaderen. 

Als je de acteur of performer vastlegt met volumetrische video van hoge kwaliteit, dan heb je nu dezelfde flexibiliteit met die asset die je hebt met elke 3D asset. En als je alles in de game engine maakt, kunnen echte mensen deel uitmaken van dat virtuele productiescenario, in tegenstelling tot een virtueel productiescenario waarbij een persoon voor een LED-muur staat en je het op die manier filmt. Het stelt je in staat om alles in-engine te doen.

SS: En als je denkt aan wat R/GA's team in staat was om te doen, konden ze die wilde, enorme camerabewegingen doen die in de praktijk heel duur zouden zijn geweest, en een enorm budget en veel meer personeel en tijd zouden hebben gevergd. En ze zouden de opnames verschillende keren hebben moeten doen. Maar omdat ze deze held hadden, is al het andere gewoon flexibel.

Hoe ziet u virtuele productie en volumetrische capture evolueren in de toekomst?

CH: Ik zie dat het meer flexibiliteit mogelijk maakt bij het creëren van inhoud. Idealiter komt dat niet alleen de regisseurs en visionairs ten goede, maar ook de uitvoerders. Misschien hoeven ze minder opnames te maken, omdat de regisseur hun opnames achteraf kan inlijsten.

We willen Christina Heller en Skylar Sweetman van Metastage bedanken voor hun uitleg over de technische nuances van het creëren van een metaverse ervaring en hoe dit media & entertainment zal beïnvloeden. Om meer te weten te komen over hoe Metastage volumetrische video en virtuele productie gebruikt om authentieke menselijke prestaties vast te leggen voor een digitaal medium, kunt u bezoek hun website.

De metaverse belooft de grenzen tussen onze digitale en fysieke realiteit te doen vervagen. Hoewel dat een ambitieus concept is, is het dankzij de vooruitgang in game- en mediatechnologie niet onbereikbaar. Volumetrische video en virtuele productie zijn twee manieren waarop creatieve professionals mensen in digitale werelden integreren. Door fotorealistische voorstellingen vanuit elke hoek vast te leggen en deze te combineren met VFX-wereldopbouw en state-of-the-art rendering, kunnen creatieven content produceren die ons op een intiemer niveau aanspreekt.

Om de metaverse - of een andere digitale productie - tot leven te brengen, moeten filmmakers en ontwikkelaars alle massaal De bestandsgrootte van video-opnames met een hoge resolutie en productiebestanden met veel gegevens. Of het nu gaat om het verplaatsen van beeldmateriaal van de volumetrische opnamefase naar het VFX-team of het versturen van proxies naar klanten ter beoordeling, massieve bestanden vragen om MASV.

MASV is een dienst voor het delen van bestanden waarmee mediaprofessionals snel terabytes aan gegevens kunnen overdragen naar iedereen ter wereld via de cloud. Dankzij ons netwerk van 150 wereldwijde datacenters leveren wij bestanden altijd in recordtijd af en wordt de overdrachtssnelheid niet beperkt. Alle bestanden die via MASV worden gedeeld, zijn versleuteld en worden ondersteund door een Vertrouwd partnernetwerk beoordeling; de industriestandaard voor inhoudsbescherming. Meld je vandaag aan voor MASV en krijg 100 GB gratis bij uw volgende overdracht. 

Overal vandaan grote bestanden verzenden en ontvangen

Maak gebruik van 100 GB met de snelste dienst voor overdracht van grote bestanden die momenteel verkrijgbaar is, MASV.