De virtuele productieworkflow begrijpen

Wat is Virtuele Productie?

Bij virtuele productie wordt gebruik gemaakt van 3D-renderingstechnologie, vaak in de vorm van een game-engine zoals Unreal, om fotorealistische decors te bouwen die worden weergegeven op grote LED-schermen. De virtuele set wordt in real-time aangepast aan het perspectief van verschillende camerahoeken en -bewegingen, terwijl een camera een acteur vastlegt die voor de schermen optreedt.

Virtuele productie vs. traditionele productie

"Traditionele" productie lijkt veel op een lopende band; een proces waarbij elke entiteit of afdeling volgens een lineair schema werkt. Vanwege de strakke tijdslijnen is het herhalen of opnieuw opnemen van scènes tijdrovend en onbetaalbaar. Filmmakers nemen vaak scènes op zonder een duidelijk idee te hebben van hoe die scènes er uiteindelijk uit zullen zien.

Virtueel produceren is anders. Het is een niet-lineaire, meer collaboratieve en meer iteratieve methode om video te maken. Het combineert computerondersteunde productie en realtime visualisatietools zoals game-enginetechnologie, computergegenereerde beelden (CGI), virtuele realiteit en augmented reality om een "...creatieve feedbacklus in realtime."

Dit kan bespaart productieteams uren en biedt meer zekerheid rond look en feel tijdens de preproductie- en productiefase.

Er zijn verschillende soorten virtuele productie:

• Visualisatie: Prototypebeelden om de bedoeling van een opname te laten zien.
• Het vastleggen van voorstellingen: Het opnemen van de bewegingen van acteurs of objecten.
• Hybride virtuele productie: Gebruik van cameratrackingtechnologie en green screen.
• Live LED wall, virtuele productie in camera.

Virtuele productie kan beelden en effecten opleveren die een paar jaar geleden nog niet mogelijk waren.

Veel virtuele productiestudio's worden toepasselijk LED volume podia genoemd - en ze hebben veel ruimte nodig om te kunnen werken. Eén zo'n podium is MELs Studio in Montrealmet LED-schermen van 20 voet hoog en 65 voet in diameter.

In wezen combineert virtuele productie de fysieke en de virtuele wereld om meeslepende decors voor videoproducties te creëren. De fysieke wereld bestaat in dit geval uit rekwisieten en acteurs, terwijl de virtuele wereld achtergronden, virtuele belichting en visuele effecten omvat.

Het wordt vaak gebruikt voor film en televisie, videospelletjes en zelfs commerciële producties van bijvoorbeeld The Weather Channel.

De techniek is immens populair gebleken sinds De Mandaloriaan kwam in 2018 in het nieuws als de eerste grote virtuele productie, met inmiddels meer dan 300 virtuele podia (tegen slechts drie in 2019).

Research and Markets, een onderzoeksbureau, schat dat de wereldwijde markt voor virtuele productie groeien op een 17,8 procent samengestelde jaarlijkse groei (CAGR) tussen 2022 en 2030.

Een van de meest revolutionaire aspecten van virtuele productie is echter niet het bestaan van LED volumes, real-time rendering of live cameratracking. Het is eerder dat visuele effecten worden toegepast op scènes tijdens het hele productieproces, inclusief preproductie. En dat er vanaf het begin van het project effecten en beelden van hoge kwaliteit worden gebruikt.

Het filmen is min of meer cameraklaar tegen de tijd dat het filmen begint en iteraties kunnen op elk moment plaatsvinden, wat meer zekerheid en flexibiliteit biedt voor filmmakers die gewend zijn om compromissen te sluiten op kwaliteit en te moeten werken met plaatshouders voor visuele effecten.

En visuele effecten en andere middelen worden meer gezamenlijk geproduceerd in plaats van in silo's, waardoor cross-compatibiliteit tussen verschillende teams mogelijk is.

Dankzij virtuele productie is de oude mantra van filmmakers "fix it in post" veranderd in "fix it in pre".

💡 Leer Meer: Hoe MASV Verplaatst ongecomprimeerde 6K-video voor LED-podiumshows

Wat is de virtuele productieworkflow?

De virtuele productieworkflow is een reeks stappen die het virtuele productieproces opsplitst in een reeks beheersbare taken. Het omvat alle drie stadia van videoproductie: Pre-productie, productie en postproductie.

Hier is een momentopname van de virtuele productieworkflow:

Bron: Unreal Engine

De stappen van een virtuele productieworkflow omvatten (maar zijn niet beperkt tot):

• World capture (inclusief virtuele verkenning, scannen van locaties en digitalisering)
• Visualisatie
• Prestaties en motion capture
• Simulcam
• In-camera visuele effecten (bekend als ICVFX).

Hoewel elk project iets anders is en elke stap verschilt qua timing, bepalen de volgende fasen meestal de virtuele productiepijplijn.

Let op: Hoewel de virtuele productielijn niet zo lineair is als een traditionele productie en er in elk stadium iteraties kunnen plaatsvinden, zijn de traditionele projectfasen van pre-productie, productie en post-productie nog steeds relevant.

Pre-productie

De preproductie bij virtuele productie heeft overeenkomsten met de traditionele filmproductie, want hier wordt de productie eerst gevisualiseerd ter goedkeuring.

De preproductiefase is echter van groot belang in de virtuele productieomgeving, omdat het de plaats is waar de meeste visuele effecten (VFX) worden geboren en beginnen vorm te krijgen....

Het toevoegen en herhalen van ICVFX-elementen tijdens pre-productie en productie kan een nauwere integratie van live-action en computergegenereerde inhoud vergemakkelijken en de post-productietijd verkorten.

Dat kan een groot verschil maken in de totale tijd die aan een project wordt besteed. "Elk uur preproductie is twee uur productie waard," zegt Zach Alexander, oprichter van het virtuele productiebedrijf Lux Machina.

Pitchvis

Tijdens deze fase creëren 3D-artiesten een digitale pitchvis om verschillende scènes binnen het project samen te vatten - een beetje zoals een high-tech storyboard maar meer geproduceerd als een filmtrailer.

Pitchvis in virtuele productie vertrouwt op game engine-technologie. De hoge kwaliteit van assets die worden ontwikkeld binnen game engine-platforms betekent dat ze opnieuw kunnen worden gebruikt gedurende de hele levenscyclus van het project.

Virtuele kunstafdeling (VAD)

Het is ook in pre-productie dat twee nieuwe entiteiten in het spel komen: De virtuele productie supervisor en de virtuele kunst afdeling (VAD).

• De VAD ontwerpen, creëert en beheert alle visuals van het project, inclusief de productie van 3D-prototypes en cameraklare rekwisieten en omgevingen. Ze beslissen ook welke elementen virtueel moeten verschijnen en welke fysieke objecten. De VAD werkt meestal nauw samen met het previs-team om een naadloze overgang van idee naar iteratie te garanderen.
• De virtuele productiebegeleider is een soort lijnproducent in een virtuele productieomgeving. Zij onderhouden contacten tussen de brainbar (het team dat de technische aspecten van de virtuele opnames beheert), de VFX-afdeling, de VAD en het fysieke productieteam.

Visualisatie

Deze fase omvat het maken van assets, waarbij artiesten game-engines, 3D-modelleringssoftware zoals Maya en motion-capture (mocap) of virtuele camera's gebruiken om digitaal beeldmateriaal te produceren voor de rekwisieten en personages die de virtuele wereld van het project vormen.

Bron: Voor en na

3D-artiesten gebruiken virtuele rapid prototyping (VRP) technieken om snel sequenties of fotogrammetrie om levensechte 3D-modellen te maken van foto's. De modellen worden voortdurend verfijnd zodat ze klaar zijn voor de camera wanneer de productie begint.

De visualisatiefase omvat ook virtuele scouting, waarbij virtuele camera's en digitale rekwisieten worden gebruikt om digitale locaties te creëren op basis van de voorgestelde sets.

Andere elementen van het pre-productieproces van de virtuele productie omvatten:

• Previs: Net als bij een traditioneel project kan in de previsualisatiefase worden geëxperimenteerd met belichting, camerastandpunten en -bewegingen en andere elementen.
  • In tegenstelling tot een traditioneel project is previs bij virtuele productie een zeer gezamenlijke inspanning waarbij meerdere belanghebbenden betrokken zijn, waaronder de cinematograaf, regisseur en video-editor.
  • Door de voortdurende verbetering van de beeldkwaliteit en computerprestaties liggen de sequenties en shots die in previs zijn ontworpen bovendien niet ver af van de uiteindelijke beeldkwaliteit in pixels. Om deze en andere redenen wordt previs vaak "het begin van de productie" genoemd in een virtuele productieworkflow.
• Techvis: Techvis helpt VFX-artiesten en anderen bij het plannen van specifieke shots door gebruik te maken van cameragegevens en andere informatie om via motion control de juiste cameralenzen, plaatsingen en bewegingen te bepalen. Met deze planning kunnen regisseurs camerabewegingen zeer nauwkeurig en perfect herhaalbaar sturen.
• Stuntvis: Gebruikt de fysica van het spel om komende fysieke stunts te plannen en te testen en details te verfijnen rond wapenontwikkeling, choreografie en andere decorelementen.

Productie (Principal Photography)

Net als bij een traditioneel project is de productiefase (ook bekend als principal photography) de fase waarin de camera's beginnen te rollen en de film of video vorm krijgt.

Bij virtuele productie is het ook waar al die door de VAD gecreëerde 3D-activa en virtuele werelden worden geprojecteerd op de LED-volumes rond acteurs en (soms 3D-geprinte) fysieke rekwisieten op virtuele productiepodia.

Bron: Unreal Engine

Omgevingsverlichting van de LED-wanden vervangt vaak de traditionele verlichting op de voorgrond, terwijl binnen de virtuele wereld virtuele verlichting wordt toegepast.

Fysieke camera's met camera-tracking technologie worden gesynchroniseerd met virtuele camera's in de game engine (een proces dat Simulcam wordt genoemd), waardoor de virtuele scène perfect meebeweegt met de fysieke camera's.

Omdat vrijwel alles bij virtuele productie in real-time gebeurt, kunnen 3D-kunstenaars virtuele werelden aanpassen om verlichting en camerahoeken te verbeteren of zelfs digitale activa te verfijnen.

Hoewel het ook wordt gebruikt in previs, is het tijdens de productiefase dat real-time performance capture (of motion capture) om de bewegingen van acteurs vast te leggen in alle ernst plaatsvindt. Simulcam wordt gebruikt om acteurs, gekleed in mocap-pakken, in real-time op virtuele sets te plaatsen, zodat virtuele scènes net als fysieke scènes kunnen worden geregisseerd.

Ook groene schermen worden soms in dit stadium gebruikt. Hoewel LED volumes de laatste tijd het leeuwendeel van de pers hebben gehaald, worden groene schermen nog steeds gebruikt in virtuele productieomgevingen voor live compositing en om kleine correcties aan te brengen in opnamen die niet in de camera kunnen worden voltooid.

Post-Productie

De postproductie neemt bij virtuele productie veel minder tijd in beslag dan bij een traditioneel project, omdat de meeste VFX en zelfs color grading tijdens de preproductie- en productiefase plaatsvinden.

VFX

Dat betekent echter niet dat er voor VFX-artiesten niets meer te doen is zodra de opnamen zijn afgerond. Net als bij een traditioneel project voegen virtuele productie video-editors vaak plaatshouders toe aan scènes die VFX-artiesten moeten opschonen en afwerken (door effecten of 3D-modellen toe te voegen) in de post.

💡 Leer Meer: Hoe 4K 360°-platen te delen met VFX-teams

Postvis

Postvis, de laatste vorm van visualisatie, vindt plaats na het filmen en integreert live-action beelden met eventuele ruwe VFX. Postvis helpt post-productie VFX teams met de timing en staging van verschillende shots en assisteert de redactie bij het combineren van alle elementen - waaronder live action, previs en virtuele productiebeelden - tot een final cut.

Virtuele productiemiddelen en software

Virtuele productie zou niet mogelijk zijn zonder geavanceerde technologie, van end-to-end virtuele productiesoftware zoals ILM StageCraft tot eenmalige tools. Dit is een voorproefje van enkele tools en software die virtuele productieteams gebruiken om de werkelijk verbluffende beelden te produceren waaraan we allemaal gewend zijn geraakt.

LED wanden

De meeste projecten huren een soundstage die is uitgerust met wanden van in elkaar grijpende LED-panelen. Deze panelen worden gecombineerd tot een heel groot scherm en aangedreven door videobewerkingshardware en -software. Maar je kunt ook zelf een LED-volume bouwen of een van de vele virtuele productieleveranciers - zoals MELs, Line 204, Nant Studios of Dark Bay - vragen er een op maat te maken.

Bron: Newsshooter

Spelmotoren:

Deze 3D-engines creëren virtuele decors en werelden die kunnen worden verkend en doorkruist als een videogame. De populairste game-engine, Unreal Engine 5is gebruikt voor producties van De Mandaloriaan naar Westworld. Andere game engines die in de virtuele productie worden gebruikt zijn Eenheid, CryEngineen Godot.

Lees meer: Waarom deze top eSports League afhankelijk is van MASV

Krachtige grafische verwerkingseenheden (GPU's)

De krachtigste game-engines ter wereld zijn vrijwel nutteloos zonder krachtige GPU's om ze uit te voeren. Hoe beter de GPU's in uw computer, hoe meer detail u kunt weergeven op die enorme LED volumes. Het is raadzaam om een Windows PC te gebruiken voor virtuele productie, omdat veel van de plugins die u nodig hebt, waaronder LED tracking, alleen op Windows werken.

3D-opname- en animatiehulpmiddelen

Fotogrammetrische instrumenten zoals RealityCapture gebruiken AI om 3D-modellen te maken van foto's of laserscans, terwijl andere 3D-toepassingen zoals Houdini rijke 3D-animaties mogelijk maken om effecten te creëren met behulp van reflecties en deeltjes.

3D activabibliotheken

Het bestaan van de Quixel Megascan Bibliotheek, de zelfbenoemde grootste 3D-scanbibliotheek ter wereld, betekent dat je het wiel niet opnieuw hoeft uit te vinden als je 3D-props, texturen of omgevingen nodig hebt.

Camera's voor het volgen van bewegingen

Nauwkeurige cameratracking is essentieel in een virtuele productieomgeving. Populaire bewegingsvolgsystemen zijn onder meer OptiTrack en StarTracker.

Virtuele realiteitskoppen

VR-headsets kunnen van onschatbare waarde zijn tijdens het preproductie- en virtuele scoutingproces. Crewleden kunnen shots plannen en beginnen met het plannen van set builds door gezamenlijk 3D-omgevingen te verkennen en ermee te interageren met headsets als Somnium VR One en MeganeX.

De meest populaire virtuele productietechnologie, volgens een recent onderzoek? Bewegingsopnametechnologie, waarbij meer dan de helft van de respondenten aangaf deze in de afgelopen 12 maanden te hebben gebruikt.

Voordelen van virtuele productie

Virtuele productie heeft vele voordelen; ten eerste kwam het echt van pas tijdens de pandemie, die de samenwerking tussen verafgelegen teamleden vergemakkelijkte.

Maar het heeft tal van andere voordelen (waarvan we er al enkele hebben genoemd). Hier volgen enkele van de belangrijkste voordelen van een virtuele productiepijplijn:

1. Tijd- en kostenbesparingen

• Virtueel scouten met VR-headsets en andere technologie bespaart enorm op reistijd en -kosten.
• Door belangrijke creatieve beslissingen eerder in het proces af te ronden, zijn de crews beter voorbereid terwijl de acteurs op de set zijn, wat zorgt voor een minder zware productie.
• Het is ook veel gemakkelijker om de inhoud tijdens het filmen aan te passen, in plaats van acteurs terug te halen voor dure heropnames of uren te besteden aan rendering na de productie.
• Het verlaagt de kosten voor het maken van assets, omdat high-fidelity assets die vroeg in het proces worden gemaakt, gedurende de hele productiecyclus kunnen worden gebruikt zonder dat ze opnieuw moeten worden gemaakt met een hogere resolutie.
• Het kan ook de kosten en moeite verlagen die nodig zijn voor het beheren en traceren van bedrijfsmiddelen, omdat game-engines meestal zeer sterke ingebouwde systemen hebben voor het traceren van bedrijfsmiddelen.

2. Milieubewust

Virtuele omgevingen kunnen de ecologische impact van traditionele producties door digitale sets en rekwisieten te maken in plaats van fysieke, die bijdragen aan afval en vervuiling. Dit vermindert ook de reistijd en afstand. Als een acteur in Los Angeles bijvoorbeeld een scène in de woestijn opnieuw moet opnemen, is het milieuvriendelijker om naar een volumepodium in L.A. te rijden dan met het vliegtuig en de auto naar de opnamelocatie te reizen.

En omdat game-engines zijn ontworpen met "multiplayer" in gedachten, is het op afstand of met meerdere gebruikers samenwerken met belanghebbenden op verschillende fysieke locaties een tweede natuur voor virtuele productietechnologie. Unreal Engine gebruikt bijvoorbeeld Perforce Helix-kern technologie voor versiebeheer van projecten met mogelijk honderden medewerkers.

3. Meer verfijnde creatieve ideeën

Vroeg in het proces beginnen met visuals en shotplanning leidt tot meer iteraties en uiteindelijk tot betere visuals, omgevingen en shots. Virtuele productie biedt meer mogelijkheden om creatieve ideeën verder te verfijnen vanwege het gemak waarmee realtime engines shots en sequenties kunnen itereren of aanpassen.

Filmmakers kunnen ook gebruikmaken van de realtime fysica van game-engines om actiescènes of camerabewegingen te ontwerpen in een zandbak waarin de natuurkundige wetten van de echte wereld gelden.

4. Verbeterde natuurlijke verlichting

We noemden al de voordelen van sfeervolle LED-schermverlichting - groene schermen zijn notoir kieskeurig wat betreft het soort verlichting waarmee ze goed werken, wat betekent dat er in de post meer tijd nodig is om effecten en verlichting aan te passen.

5. Real-time zichtbaarheid

Het is veel gemakkelijker voor de cast en de crew om een idee te krijgen van hoe de shots eruit zullen zien als ze naast de actie optreden op LED-schermen, in tegenstelling tot acteren voor een groen scherm en het later invullen van achtergronden en effecten.

6. Milieucontrole

Crews hebben volledige controle over het tijdstip van de dag, het licht, het weer, het verkeer en andere variabelen die een rol kunnen spelen bij opnames op locatie. Het wisselen van scène en in een virtuele omgeving is veel gemakkelijker (en sneller).

7. Meer meeslepende omgevingen

Virtuele omgevingen die zijn gecreëerd voor virtuele productie kunnen worden verkend als een 360-graden omgeving met behulp van extended reality technologie.

Virtuele productie-uitdagingen

Virtuele productie is natuurlijk ook niet zonder uitdagingen.

1. Wijziging van de voorbereiding

Zijn voorgeladen workflow kan een moeilijke aanpassing zijn voor filmmakers die gewend zijn aan post-loaded schema's en niet gewend aan de uren van planning en voorbereiding die nodig zijn voordat de opnames beginnen.

2. Talentkloof

Het vinden van personeel met de vereiste vaardigheden om aan een virtueel productieproject te werken is ook een uitdaging vanwege de technische complexiteit ervan. TV Technologie merkt op dat aanpalende industrieën zoals VR-animatie, architectuur en auto-ontwerp bronnen van talent zijn geworden voor de industrie dankzij de vaardigheidseisen van die industrieën.

Industrie-initiatieven zoals Epic Games' Unreal Fellowship, een gemengde leerervaring bedoeld om filmmakers de nuances van virtuele productie bij te brengen, met als doel virtuele productievaardigheden en -technieken te verspreiden onder filmmakers en videoprofessionals.

Tips voor een betere virtuele productie

Zoals bij elke workflow zijn er goede en slechte manieren om een virtuele productie aan te pakken. Hier zijn een enkele tips en beste praktijken om in gedachten te houden als je aan je volgende project begint:

1. Investeer in eersteklas grafische hardware

Zoals hierboven vermeld, moet u zorgen voor een krachtige GPU, zoals een gaming-pc met ten minste tien CPU-kernen en een GPU die overeenkomt met de NVIDIA GeForce RTX 3090. Een robuustere opstelling, zoals de NVIDIA RTX A6000 grafische kaart in combinatie met de Quadro Sync II Kit, wordt aanbevolen voor de knooppunten die zijn aangesloten op de videoprocessoren van het LED-paneel.

2. LED muren terugschroeven om geld te besparen

U hoeft niet noodzakelijk alle poen neer te tellen om een volledig LED-volume met omhullende plafonds en zijwanden te huren. Soms volstaat een LED met één wand. Houd er wel rekening mee dat het type wand dat u gebruikt een grote invloed heeft op de hoeveelheid omgevingslicht die wordt uitgestraald. Hemisferische koepels, halve kubussen en wanden met vleugels worden beschouwd als de beste voor stralend licht, in die volgorde.

3. Maak gebruik van programmeerbare verlichting

Als je niet genoeg stralend licht hebt, het digitale multiplex (DMX) protocol kan worden geprogrammeerd om veelkleurige lichten te veranderen in effectverlichting. Crews kunnen verlichtingsspecificaties programmeren via DMX in de game engine of via een lighting board.

4. Vergeet de kleur niet

Inzicht in kleurwetenschap, vooral met betrekking tot uw specifieke camera's en LED-volume, is cruciaal voor het produceren van de meest realistisch ogende virtuele omgevingen en middelen. Het negeren van de finesses van colorimetrie kan leiden tot rampzalige visuele artefacten in uw uiteindelijke cut.