Richard Cormier is Uitvoerend Producent van Virtuele Productie bij MELs Studios in Montreal, Quebec, Canada - een van de grootste virtuele productiestadia ter wereld.
MELs combineert fysiek podiumontwerp met geavanceerde virtuele decors, waarbij vaak wordt gewerkt met bestanden met een resolutie tot 12K die worden gerenderd op een 20 meter hoge LED-muur op de achtergrond naast een fysieke set op de voorgrond. De state-of-the-art technische faciliteiten omvatten:
- Een virtuele productiestudio van 10.000 vierkante meter
- Een concave wandconfiguratie met een doorsnede van 6 meter (en een hoogte van 6 meter)
- Een volledig gecomputeriseerd en gemotoriseerd plafond voor aangepaste configuraties.
We spraken onlangs met Richard over alles wat met virtuele productie te maken heeft, en het gesprek was fascinerend. Dit is wat we geleerd hebben.
Inhoudsopgave
- Hoe wordt men een uitvoerend producent van een virtuele productie?
- Wat is Virtuele Productie?
- Hoe lang doet MELs al aan virtuele productie?
- Kunt u iets zeggen over de upgrades van MEL's virtuele productiefase?
- Kunt u de rollen op de set in een virtuele productiestudio uitleggen?
- Hoe begeleidt u filmmakers door het virtuele productieproces?
- Is het bouwen van een virtuele set hetzelfde als het maken van een traditionele set?
- Welk type software/hardware is nodig om de sets tot leven te brengen?
- Hoe zijn Real-Time Renders mogelijk?
- Zijn er speciale uitrustingen nodig om een virtuele set op te nemen?
- Wat gebeurt er met een virtuele set nadat hij is gefilmd?
- Welke vooruitgang in virtuele productie ziet u in de nabije toekomst?
Bestandsoverdracht voor filmmakers
Stuur beeldmateriaal en grote productiebestanden via de cloud, ongeacht de grootte.
Let op: Het volgende transcript is bewerkt omwille van de lengte en duidelijkheid.
Hoe wordt men een uitvoerend producent van een virtuele productie?
Ik heb twee functies: Ik ben Vice-President van Digitale Creatieve Diensten, en Uitvoerend Producent voor Virtuele Productie. Mijn achtergrond is altijd geweest in post-productie, VFX, allesomvattende 3D animatie, het hele ding.
Toen ik 23 was, begon ik mijn eerste bedrijf genaamd Buzz Image Group. We waren het grootste posthuis in Canada, tijdens de begindagen van VFX. We begonnen een nieuwe techniek met de hulpscanner waar we hebben video frames afgedrukt in een fysieke film.
Later startte ik een ander bedrijf met Bell Canada, Jazz Media Network, een wereldwijd breedband samenwerkingsnetwerk dat professionals over de hele wereld in staat stelde om in real time te werken aan welke instrumenten dan ook. op afstand bedienen. We hadden videoconferencing en annotatiegereedschappen - dingen die vandaag normaal lijken, hadden we ongecomprimeerd en real-time in het midden van de jaren '90.
Meest recentelijk, werkte ik bij Moment fabriek om hen te helpen hun wereldwijde productieafdeling uit te breiden. En dat leidde tot hier, bij MELs.
Wat is Virtuele Productie?
Ik ben blij dat je het vraagt, want virtuele productie is nu niet precies wat we dachten dat het zou zijn. Het is net als het Zwitserse zakmes, toch? Je denkt dat het één ding doet, maar dan open je het mes en zijn er allemaal dingen die het kan doen die je niet had voorzien.
De oorspronkelijke gedachte was om veel game engine en 3D set uitbreidingen te doen. De realiteit is dat dat maar 10 procent is van wat we doen. We doen veel green screen werk en video plates voor auto shoots. We produceren ook een hoop muziekvideo's; we hebben vorig jaar waarschijnlijk 12 muziekvideo's gemaakt, met behulp van tools als Inkeping of TouchDesigner op de achtergrond, of zelfs pre-rendered motion graphic materiaal. We gebruiken het LED podium zelfs als een pure podium omgeving.
We deden een enorme 3D set uitbreiding voor een film met Joaquin Phoenix genaamd Teleurstellende Boulevard. We bouwden een 3D cruiseschip en de performers stonden hier op het podium op een platform van 32 bij 32 voet, acterend op het dek van de boot. We hadden een verbazingwekkend huwelijk tussen de fysieke set en de virtuele set uitbreiding.
Dus, in een notendop, virtuele productie is gewoon een fantastisch, veelzijdig instrument.
En we zijn nog maar aan het experimenteren. Toen we het podium bouwden, dachten we dat we de uiteindelijke CG-materialen op het scherm zouden tonen, zodat de performers erop konden reageren. Dat zal ook gebeuren, maar we denken dat het werken met platen nog lang zal blijven bestaan. In dit geval is de CG misschien voor 50 tot 100 procent klaar, maar we zullen het gebruiken voor belichting, reflectie in de bril, of voor de performance van een acteur.
En dan zijn we een techniek aan het ontwikkelen die ghost framing heet, die ons in staat stelt om tegelijkertijd green screen en echte camera actie op te nemen met dezelfde camera. Dus het gaat de wereld van compositing op een goede manier veranderen.
Zo zien wij virtuele produktie voor het ogenblik, en wij zien andere hulpmiddelen die zich spoedig bij de band zullen voegen. Virtuele productie zal evolueren tot een groter geheel van trucs waarbij gebruik wordt gemaakt van elektronische weergave.
Verwant: De Metaverse creëren met volumetrische video en virtuele productie
Onbeperkte overdracht voor onbeperkte creativiteit
Deel tot 15 TB met één bestand wanneer u MASV gebruikt. Meld u vandaag nog aan voor 20 GB gratis.
Hoe lang doet MELs al aan virtuele productie?
Het was een pandemisch initiatief... MELs startte deze fase voordat ik kwam als een proof of concept, en dat is toen ze me uitnodigden. En toen gingen we verder met R&D voor meer dan een jaar, en productie op hetzelfde moment.
Er was veel onzekerheid over virtuele productie, dus probeerden we allerlei verschillende technieken uit. We hebben het hele scala aan technologie uitgeprobeerd en op alle systemen: volgsystemen, LED-systemen, processorsystemen, de grootte van de LED, plat, hol plafond, geen plafond, enz.
We stelden vast wat voor ons het minimum zou zijn om zaken te doen met het podium. Ons doel was om internationaal aanwezig te zijn, en de reikwijdte, de breedte en de ambitie ervan te hebben. Dus het komt met een minimum, en als je op onze website gaat kun je download alle specificaties van onze studio.
Kunt u iets zeggen over de upgrades van MEL's virtuele productiefase?
We zeiden tegen onszelf,
"Hé, we hebben afstand nodig. We hebben een diameter van 65 voet minimaal nodig. Dan kunnen we spelen met de grote producties."
Afstand is belangrijk. We hadden bijvoorbeeld een 15 voet hoge muur. We realiseerden ons al snel dat we een minimum van 20 nodig hadden, want als een DP zijn camera omhoog kantelt, komt 20 voet snel. Je denkt er niet over na, maar het komt supersnel.
Dat is wat al het O&O en trial-and-error voor ons heeft gedaan. Dat deden we tot de herfst van 2021, daarna wisten we wat we deden. We leerden heel wat op de harde manier.
Van daaruit kochten we wat wordt beschouwd als de wereldstandaard in virtuele productietechnologie. We hebben het wiel niet opnieuw uitgevonden. We kozen voor de beste technologie in zijn soort of de beste in zijn klasse:
- ROEdat is een LED fabrikant die goed bekend staat.
- Bromptondat is de processor die alle LED zaken en de kleurenpijplijn aanstuurt.
- Vermomming als de afspeel engine.
- Unreal Engineals de enige game engine die op een muur kan worden gezet.
Er waren een paar keuzes die makkelijk te maken waren.
Waar we het echter graag over hebben is ons computergestuurde, gemotoriseerde plafond. Hiermee kunnen we reflectie en verlichting tot op de millimeter nauwkeurig regelen. Met dit plafond, als je 's morgens iets doet en je wilt terug naar precies waar je 10 uur geleden was, of drie dagen geleden, dan hoef je alleen maar de tijd en plaats op te roepen en het plafond zal overeenkomstig bewegen. Het is magisch. Het plafond is als magie.
MEL's magische plafond in actie.
Het is ongelofelijk dat je dit alles in anderhalf jaar tijd voor elkaar hebt gekregen, van concept tot een volledige set.
We hadden de volledige steun van alle betrokkenen.
Een van mijn verzoeken aan mijn baas was om dit serieus te nemen. We hadden voltijds, vast personeel om ons virtueel podium zo goed mogelijk te maken, wat niet gebruikelijk is.
Dankzij onze toegewijde middelen, groeide onze kennisfactor elke week met vijf.
Gelukkig heeft het podium bewezen zeer waardevol voor ons te zijn. We zien het elke keer als we een meeting hebben met een klant. De klant voelt zich goed en, het belangrijkste, ze voelen zich veilig dat hun productie in goede handen is, omdat we alle invalshoeken bestrijken: de techniek, de creatie, de camera, de lens, enz.
Kunt u de rollen op de set in een virtuele productiestudio uitleggen?
Bij MELs hebben we iets dat de 'Brein Bardat is een collectief van rollen op de set om virtuele producties te vergemakkelijken. In de Brain Bar, hebben we:
Traceer Specialist
De volgspecialist moet het bereik van de fysieke set volledig begrijpen, omdat dat bepaalt welk soort volgapparaat we gaan gebruiken, welke systemen we gaan gebruiken, en waar we moeten positioneren (of herpositioneren) zodat we de camera kunnen volgen in de virtuele ruimte en de fysieke ruimte.
Die persoon zal een zeer gevoelig contactpunt zijn met de crew, in het bijzonder met de Director of Photography (we zetten wel wat hardware op de camera fysiek).
Het is gemakkelijk om een tracking systeem te doen of het tracking systeem te kalibreren wanneer er niets beweegt - maar wanneer we op een shoot zijn, beweegt elk aspect op de set elke minuut: een persoon, een meubelstuk, hij kernverlichtingsapparatuur, camera-apparatuur, enz. De tracking specialist heeft een sterke aanwezigheid nodig en moet weten waar de dingen zich tijdens de set zullen bevinden.
Ze verpakken de gegevens ook, zodat ze in goede staat bij de compositieafdeling aankomen. Het is makkelijk om slechte data te hebben. Zij zijn verantwoordelijk voor de integriteit van de tracking data die naar andere afdelingen kunnen gaan.
Een man wacht op de trein, alleen, hij is niet bij een metrospoor.
Betrouwbare bestandsoverdracht van zware gegevens
Maak u geen zorgen meer over zoekgeraakte bestanden en onvolledige overdrachten.
Chief Operator
Dan heb je de Chief Operator, die verantwoordelijk is voor de wedstrijd, het afspelen en de kleurentiming. We hebben een paar rollen gecombineerd om de Chief Operator te creëren.
Onze Chief Operator is eigenlijk als een DJ in het midden van een productieset. Ze staan schouder aan schouder met de regisseur en de eerste AD - die hun beste vriend zou moeten zijn. De Operator is degene die zegt,
"Als je deze verandering wilt, kan ik het voor elkaar krijgen, maar we moeten er nu aan werken zodat ik het later kan weergeven."
In ons geval is deze persoon ook verantwoordelijk voor Disguise, dat het afspelen regelt, en enkele belangrijke aanpassingen die moeten worden gedaan voor het volgen.
Beeld Specialist
De derde speler die we hebben is de Beeldspecialist. Deze persoon begeleidt de rest van de bemanning. Zij weten alles van lenzen, camera's, captors, enz. Zij zijn de expert generalist, maar meer van de oude-school wereld.
Dus als het DP een meer gecomprimeerd beeld wil, een meer open beeld, zal de Beeldspecialist het juiste advies geven. Zij zijn de persoonlijke adviseur van de DP.
Technisch Kunstenaar
Als de scène ergens anders is gebouwd (d.w.z. niet bij MELs), brengt de klant meestal zijn technici mee. Als er creatieve veranderingen nodig zijn, zullen zij vooraf hier op de set zijn en kunnen zij de opdracht krijgen om dingen te veranderen.
Hoe begeleidt u filmmakers door het virtuele productieproces?
Al in een vroeg stadium betrokken raken
De meerderheid van de filmmakers - 98 of 99 procent van de regisseurs heeft geen ervaring met virtuele productie. Ook decorontwerpers niet. Dus, als de virtuele productie-experts, grijpen we vroeg in - ik heb het over maanden van tevoren.
Als een scène bijvoorbeeld ergens anders in de wereld wordt gecreëerd, zullen wij al maanden voordat de crew bij ons komt filmen deel uitmaken van het creatieproces. We geven geen commentaar op de creatieve aspecten van de scène, maar we adviseren over leveringsmethoden, opmaak, enz.
De analogie die ik graag gebruik is, 'lever ons geen plat bestand in Photoshop.' We willen alle lagen apart en op een bepaalde manier georganiseerd hebben. Als het tijd is om te filmen en de regisseur besluit een element in de achtergrond weg te werken, kan mijn team zeggen: 'Dat is laag zeven, geen probleem.' Klik, delete, klaar.
Scriptrecensie
We beginnen met het opleidingsproces op scriptniveau, en dat is voor films die over een jaar worden opgenomen.
Hier gaan we met een regisseur zitten; we bespreken waar hij vandaan komt. We proberen te begrijpen wat de regisseur echt wil bereiken. Dan introduceren we hen langzaam aan de technologie en laten voorbeelden zien.
Set Doorloop
We ontmoeten de regisseur vaak voordat we op de set komen (we zijn 24/7 open). We nemen ze mee door de set zodat ze niet zo geïntimideerd zijn. Ze leren alle woorden die ze moeten begrijpen op alle vergaderingen, en we zorgen ervoor dat ze de lingo begrijpen, en dat ze zich op hun gemak voelen.
Het is belangrijk te weten dat virtuele productiekunstenaars geen techneuten op de achtergrond zijn. Wij maken deel uit van het filmmakingsproces en we willen dat filmmakers het best mogelijke creatieve resultaat krijgen. Ik zeg vaak tegen regisseurs,
"Ik ben je partner vandaag. Ik ben je allerbeste vriend. Let's rock and roll."
En dat is hoe ze, hopen we, een fantastische ervaring hebben.
Uitvoerenden
Voor performers is het een veel meeslepender ervaring dan het gebruik van een groen scherm. Zonder virtuele productie moet een acteur zich voorstellen dat hij aan de voet van een vulkaan staat. In een sciencefictionfilm bijvoorbeeld moet de acteur zich een groot buitenaards wezen voorstellen zonder de werkelijke hoogte te kennen.
In een virtuele set kunnen ze naar de lange alien op het scherm kijken en oogcontact maken op de perfecte hoogte.
Josh Brolin draagt een hoofdverlenging zodat medespelers een visuele ooglijn hebben.
Is het bouwen van een virtuele set hetzelfde als het maken van een traditionele set?
Nee, dat is veranderd, ten goede. Voor ons aan de creatieve kant, is dit het coolste deel van virtuele productie. Laten we het voorbeeld nemen van het cruiseschip dat ik hierboven noemde.
De decorontwerper belt ons en zegt,
"Hé, voor deze scène, dit is de ligstoel die ik wil gebruiken, dit is de paraplu en zijn kleur en textuur. Dit is het materiaal dat ik ga gebruiken."
Dus, onze taak is om dit alles te digitaliseren. En dan, de decorontwerper wil stoelen op de achtergrond zetten. Omdat wij de achtergrond van de voorgrond zijn, moeten we met hen samenwerken om een lay-out op de achtergrond te maken die overeenkomt met de fysieke voorgrond. En we moeten samenwerken op hetzelfde moment.
Dit is in strijd met een traditionele visuele-effectenworkflow, waar de beelden al zijn geschoten en de VFX-kunstenaars het moeten doen. Er is geen enkele interactie met de set designer.
Ditzelfde proces werkt ook vice versa.
Soms maken we dingen die de decorontwerper in de echte wereld moet namaken. Dan maken we 3D-modellen en sturen die naar de ontwerper voor constructie. Of, als het script om iets speciaals vraagt, 3D-printen we het item.
Het is belangrijk om wendbaar te zijn. Als we twee dagen voor de opnames een gebruiksvoorwerp moeten vervangen, moeten we dat kunnen digitaliseren of toegang krijgen tot de 3D-elementen. De communicatielijnen moeten open en direct zijn.
En dan moeten filmmakers beslissen - en dit is iets nieuws om te managen - of ze activa fysiek of digitaal creëren? Als er een tafel nodig is op de set, zal de voorman dan een andere fysieke tafel bouwen, of dupliceert de virtuele productiestudio een bestaande tafel en voegt die digitaal toe?
Verwant: Fotogrammetrie, virtuele sets en de toekomst van digitale gegevens
Welk type software/hardware is nodig om de sets tot leven te brengen?
Unreal Engine
Wat software betreft, voor 3D scènes, is er maar één spel in de stad: Unreal Engine, van Epic Games. En het is niet zomaar een game engine waar we gebruik van maken. Unreal Engine heeft een specifieke focus op virtuele productie. Ze hebben verschillende tools samengesteld voor real-time virtuele verbindingen.
Via Megascans hebben we toegang tot verbazingwekkende texturen.
Vermomming
De tweede laag, die eigenlijk half software, half hardware is, is het Disguise platform dat ons in staat stelt het zware werk te doen, namelijk high-res videoweergave op een muur duwen.
Daar heb je zeer krachtige software en hardware voor nodig. Het is duur, maar dat is de prijs die je moet betalen voor zulke hoge resoluties. Disguise is intelligent genoeg om rekening te houden met wat een mesh is, waar het materiaal moet worden uitgezonden; het begrijpt de fysieke omgeving waarop de dingen zullen worden weergegeven.
Kleur sorteren
We doen ook live color grading, want wat je op het scherm ziet, is wat je in de camera krijgt. We moeten in staat zijn om live en in een oogwenk te kleuren. We hebben geen uur om terug te gaan en te sleutelen aan het gamma omdat er honderd mensen op ons wachten op de set.
Brompton Processor
Voor het overige is de Brompton processor essentieel om elegant en snel over te schakelen van 24 beelden, naar 30 beelden per seconde, naar 60 beelden per seconde. Het is een fundamenteel onderdeel, vooral als een regisseur slow-mo wil doen of wil werken met de kleurtemperatuur van de LED.
Hoe zijn Real-Time Renders mogelijk?
Het kost tijd, maar dit is waar MELs, in het bijzonder, schittert. De truc met de game engine is om de framerate real-time te krijgen. Met Unreal kunnen we de meest verbazingwekkende en mooiste scène hebben, maar het zal niet zo goed zijn als het niet in real time afspeelt.
Het is een afweging; of de scène ziet er niet zo goed uit om het real time frame te krijgen, of we moeten dingen in de scène bakken. Dus, we zullen belichting bakken, of we zullen schaduwen bakken. We zullen beslissen hoe we de prestatie van die scène kunnen verbeteren.
Als de regisseur of de DP om een verandering vraagt, vertellen we hen wat er mogelijk is in een bepaalde hoeveelheid tijd. De meeste dingen waar ze om vragen, kunnen we in real time doen omdat we de opnames zo plannen.
Omdat we er al vroeg bij betrokken zijn, kennen we de scène uit ons hoofd, dus doen we op voorhand een interventie naar de DP.
Zijn er speciale uitrustingen nodig om een virtuele set op te nemen?
Lenzen
We moeten weten welke lens de cameraploeg zal gebruiken, want we moeten de lens koppelen aan ons systeem. Het is niet moeilijk, let wel, we moeten alleen het type lens weten. De meeste van de verschillende lens types zijn al in kaart gebracht in ons systeem.
Beeldsnelheid
De framerate is iets wat we lang van tevoren bespreken. Zoals gezegd, de framerate van de game engine dicteert de output. Dus, als een DP het frame wil veranderen naar een hogere snelheid zonder aankondiging, is dat niet mogelijk. We zorgen ervoor dat dit gesprek een deel is van het pre-productie proces.
Als de klant op het laatste moment nog iets wil veranderen, kunnen we onze virtuele productiefase in 1,2 seconde in een groen scherm veranderen. Dan is het een gewone VFX comp.
Wat gebeurt er met een virtuele set nadat hij is gefilmd?
Alle fysieke activa behoren tot de productie. De digitale activa zullen uiteindelijk worden gedeeld met het visuele effectenhuis.
Er zijn ook grijze gebieden rond het beheer van rechten.
Bijvoorbeeld: We gebruiken een scène van een bos en de klant zegt dat het hun bos is, maar het VFX huis zegt nee, het is publiek domein. Tenzij we de scène ingrijpend veranderen, door hem te veranderen in een mystiek magisch bos, laten we zeggen, wordt het een twistpunt.
Het doet de vraag rijzen wat digitaal domein is en wat eigenlijk een goed is waarvan de productie eigenaar is.
Hi-Res beelden verzenden
Gebruik MASV om video en afbeeldingen, audiobestanden, productiebestanden of volledige projectmappen te verzenden.
Welke vooruitgang in virtuele productie ziet u in de nabije toekomst?
We weten dat het alleen maar beter zal worden. Het is een soort vast antwoord, maar we weten dat GPU's beter zullen worden. We gebruiken een 6000 serie, maar we wachten op een 12.000. En daarna wordt het een 24.000 of de volgende gekke GPU. En dat stelt ons in staat om nog meer fotorealistisch materiaal te doen.
En naarmate de tijd vordert, zullen de mensen virtuele produktie en de kracht ervan beginnen te begrijpen, en zal de populariteit ervan toenemen.
Ik zie eigenlijk dat virtuele productie meer gebruikt wordt bij televisie.
Ik zie virtuele productie dagelijkse shoots aanpakken en dat soort dingen. Ik zie de fysieke decorbouw de komende vijf jaar met 80 procent krimpen, wat uiteraard gevolgen heeft voor de decorbouw.
Ik denk ook dat het vroeg of laat invloed zal hebben op de beeldtaal. We zien de taal veranderen; dingen waarvan we dachten dat ze up-and-coming waren, zijn nu de facto, toch? We kijken dingen op TikTok, op Instagram, en op YouTube, op een streaming device, etc. We raken nu gewend aan een nieuwe taal, beeldtaal. En ik denk dat virtuele productie een grote rol gaat spelen.
We willen Richard Cormier bedanken om ons mee te nemen door de ins-en-outs van virtuele enscenering. Van de techniek zelf, tot de mensen op de set, tot het veranderende gezicht van filmmaken dankzij realtime, fotorealistische renders van fysieke locaties.
Virtuele productie heeft een revolutie teweeggebracht in de manier waarop we media creëren en ervan genieten - en studio's zoals MELs staan in de voorhoede van deze revolutie. De sleutel tot een succesvolle virtuele productieshoot is een goede planning, vlotte communicatie en natuurlijk video en beeldmateriaal in superhoge resolutie.
Het verplaatsen van deze zware mediabestanden, bijvoorbeeld van een virtuele set naar een VFX-team voor compositing, vereist een robuuste oplossing voor bestandsoverdracht die de levering van grote video's aankan.
MASV is een veilige oplossing voor de overdracht van grote bestanden, waarmee terabytes aan gegevens snel en foutloos via de cloud kunnen worden gedeeld. Productiestudio's, postteams, live-uitzenders en freelance videoteams vertrouwen op ons bij het verzenden en ontvangen van auteursrechtelijk beschermd materiaal in alle stadia van hun respectieve workflows. Van uren van RAW-beelden, naar hi-res proxies, DCP'sen grote bestandsformaten, zoals DPX.
Wanneer je aanmelden voor MASVkrijg je toegang tot 20 GB gratis datategoed om naar eigen inzicht te gebruiken. Klik op de onderstaande knop om te beginnen. 👇
MASV Bestandsoverdracht
Krijg 20 GB om te gebruiken met de snelste, grote bestandsoverdrachtdienst die vandaag beschikbaar is, MASV.