Wat is fotogrammetrie? Alles wat u moet weten

Ga naar de sectie:

• Wat is fotogrammetrie?
• Hoe werkt fotogrammetrie?
• Foto's versus video's: Wat is beter voor fotogrammetrie?
• Is fotogrammetrie een uitbreiding van virtuele productie?
• Hoe wijdverbreid is fotogrammetrie in virtuele productie?
• Hoe wordt fotogrammetrie gebruikt in virtuele productie?
• Wanneer is fotogrammetrie echt van de grond gekomen?
• Hebben fotogrammetrie en virtuele productie veranderd wie er op de set moet zijn?
• Wat heeft de toekomst in petto voor digitale gegevens en filmmaken?

Wat is fotogrammetrie?

Je neemt een serie foto's samen om een object te extrapoleren, en als je er genoeg foto's omheen maakt, heb je een complete composiet van alles. En dan kun je eigenlijk iets bouwen op schaal.

NASA gebruikt fotogrammetrie om planeten in kaart te brengen en dat soort dingen. En nu we in deze wereld van virtuele productie komen met spelinformatie en 3D modellen en live camera gegevens, doen we eigenlijk precies hetzelfde. We nemen een datastroom, een audiostroom en een videostroom en voegen ze allemaal samen.

Bij fotogrammetrie kan gebruik worden gemaakt van Lidar, een lichtverplaatsend beeldvormingssysteem dat wordt gebruikt voor het in kaart brengen van ruimten en allerlei andere dingen. Het was vroeger erg duur, maar nu zit er Lidar in mijn iPhone. Apple begint het mogelijk te maken om de omgeving om je heen vast te leggen, en die te laten uitgroeien tot een 3D-wereld voor virtualisatie, voor gaming, voor al dat soort dingen. Dat soort technologie geeft mensen zoals wij de kracht om dit soort trucs uit te halen.

U kunt verschillende soorten gratis software voor Mac en Windows downloaden waarmee u foto's aan elkaar kunt naaien en een 3D model kunt maken. Nu is de modellering in fotogrammetrie onafhankelijk van de Lidar, die toegevoegde informatie is.

Er zijn ook hele leuke apps voor dit soort scans waarmee je modellen kunt bouwen. Het probleem is dat ze erg groot worden, erg snel.

Ik probeerde mijn keuken te scannen en besefte al snel dat ik 200 gig aan ruimte op mijn telefoon had verbruikt.

Hoe werkt fotogrammetrie?

Je doet eigenlijk een foto mapping.

Je verzamelt een reeks foto's zoals je een contactblad zou schrijven, en dan heeft de software verschillende bedieningsorganen nodig om dat te doen. Bijvoorbeeld, of je eerst dwars gaat, of eerst op en neer, en of de eerste rij op en neer gaat. Er zijn regels over hoe de individuele software de volgorde ziet, maar het is niet anders dan hoe je VR creëert.

Statische VR beelden worden over meerdere camera's op dezelfde manier in kaart gebracht. En dat is het interessante hieraan, is dat we nu individuele gebruikers de mogelijkheid geven waar we nog niet eerder aan gedacht hadden. Het geeft veel macht aan de gebruikers, toch?

Maar dit betekent ook dat als je virtuele omgevingen creëert, ik naar binnen kan gaan en met fotogrammetrie een achtergrond kan maken en die later als locatie kan gebruiken. Een eenvoudige uitleg daarvan is een show genaamd Station Elf op HBO Max. Ze gingen naar binnen en deden fotogrammetrie van hun sets. Zodat als en wanneer er iets zou gebeuren, zij de mogelijkheid zouden hebben om een acteur voor een achtergrond te zetten, waar ook ter wereld, en deze achtergrond erbij te plaatsen. Ze konden de acteur op een groen scherm filmen en de achtergrond achter hem genereren.

Met virtuele productie kun je dat op een muur in een bewegende omgeving zetten en laten zien hoe het werkt.

Een van de fabrikanten waar ik mee werk had een scherm dat drie keer fijner was dan alles wat er op de markt was. Het had een resolutie die ongeveer gelijk was aan die van een 8K TV. Dus het is een 4K, 10-bit muur, en meer bits zorgt voor een beter beeld, zorgt voor langere toonbereiken, en al het andere. En in plaats van gewoon beelden te tonen op het scherm, kunnen we een 3D model tonen in de Unreal Engine. En dat is het coole eraan. Het is niet eens een fysieke locatie. En je kunt niet eens zien waar de muur ophoudt en het podium begint, omdat de samensmelting zo goed is.

Bron: Kunst van LED Muur Virtuele Productie, fxguide

Foto's versus video's: Wat is beter voor fotogrammetrie?

Een stilstaand beeld heeft een veel hogere resolutie dan een video. Een 4K-beeld heeft een doorsnede van 4000 pixels, maar de meeste van onze fotocamera's hebben zes, acht, 10.000 pixels. Het is niet ongewoon om een fotocamera te hebben met een veel hogere resolutie.

Maar uiteindelijk gaat het erom dat je een groot aantal beelden kunt vastleggen om ze samen te voegen, en die informatie kunt toepassen. En het is allemaal wiskunde. Het doet het op een intelligente manier. Ik werk hier al jaren aan. Ik heb ooit QuickTime VR gebruikt om panorama's te maken van het interieur van Taco Bell voor een bewegwijzeringsproject. In plaats van drie restaurants af te huren en ze te fotograferen, wat duur is, maakten we een virtuele Taco Bell. En we konden alles gewoon op schaal plaatsen - we konden de restauranthouders vooraf laten zien hoe elke afbeelding er in het restaurant uit zou zien. We gingen er letterlijk op uit en filmden het interieur van de winkel, en vervolgens filmden we de buitenkant van de winkel als een resolutiekaart. En het was allemaal in stilstaand beeld. 🌮

Dit proces verloopt nu veel sneller dankzij de digitale technologie. Geloof het of niet, dat is eigenlijk van de locatie gegevens in de camera's. De camera weet en kan de positie, volgorde van opnamen en al het andere bepalen. En het trouwt het beeld op basis van opeenvolgende nummers. Toen ik dit begon te doen, gebruikten we nog steeds film om dit te doen. En het is een bijkomstigheid van dit alles. Maar het toont echt de diepte aan waarmee technologieën om ons heen alles wat we weten met elkaar verbinden.

Is fotogrammetrie een uitbreiding van virtuele productie?

Hoe wijdverbreid is fotogrammetrie in virtuele productie?

Hoe wordt fotogrammetrie gebruikt in virtuele productie?

Traditioneel is het een onderdeel van de VFX afdeling. Dat zou iemand zijn die begrijpt hoe je achtergrondplaten en achtergrondinformatie schiet. Dat zijn het soort mensen die je dat wilt laten doen. De andere mensen die het doen zijn mensen die veel ervaring hebben met architectuurfotografie.

Er zijn veel van dit soort technologieën in stilstaande fotografie - er is beeldstapeling, waarbij je een reeks foto's neemt om de focus van een object over het hele bereik vast te houden of uit te breiden. Of, in het geval van de James Webb-ruimtetelescoop, beeldstapeling door 27 verschillende foto's van hetzelfde object op verschillende spiegels met verschillende informatie te maken. En het is het combineren van die 27 spiegels tot één enkel beeld dat infrarood, ultraviolet, doorlatend licht en al dat soort dingen allemaal tegelijk weergeeft. De technologie voor fotogrammetrie wordt op veel verschillende manieren gebruikt.

Zoals ik al zei, het komt van de NASA. Ze gebruikten dit om de maan in kaart te brengen. En dat is waarom als je de oude NASA foto's ziet, vooral die op de maan, je altijd overal van die kleine X'en in de kaders ziet. Die werden gebruikt om te weten hoe groot de astronaut is, zodat ze kunnen bepalen hoe ver hij is, hoe hoog hij zich in de omgeving bevindt, want dat hebben ze allemaal in kaart gebracht.

Toen de mens naar de maan ging in 1969, toen dit allemaal nog werd gefilmd, was er nog geen digitaal. Ze gebruikten die rastermarkering op het brandvlak, waardoor ze de inhoud op de juiste schaal konden produceren. We werken dus met dingen die 50 jaar geleden gebeurden, en die nu geëvolueerd zijn naar wat we in de virtuele wereld doen.

Wanneer is fotogrammetrie echt van de grond gekomen?

Het wordt al heel lang gebruikt in architecturale renderings, en locaties voor architectuur. Het wordt al zeker 30 of 40 jaar in de architectuur gebruikt. En het wordt al een aantal jaren in Hollywood gebruikt voor achtergrondplaten.

In de auto-industrie zijn er dingen als de Blackbird auto. Het is een auto met 37 camera's, ontworpen om de reflecties in een auto te fotograferen. Het heeft een constant veranderende wielbasis, je kunt de breedte ervan aanpassen, het is volledig instelbaar met verschillende soorten banden van verschillende grootte erop. Je kunt er SUV banden op zetten. Dus ze rijden rond en zetten het model erop. Ze krijgen dus echte banden en wielen, maar alles daarbovenop is een nepauto. Ze genereren de reflecties op de auto zelf. Dat soort technologie wordt al heel lang gebruikt, vooral in de auto-industrie en architectuur en dat soort dingen.

Deze technologie wordt steeds sneller omdat de computers en de hulpmiddelen waarmee we werken zo krachtig zijn geworden. En je kunt nu eindelijk genoeg gegevens vastleggen om die gegevens te gebruiken op een functionele manier die je project of je leven kan verbeteren. En het is dat vermogen om die gegevens te bewaren, en die gegevens en de bestanden en alles wat ermee samenhangt te onderhouden, dat het zo'n groot succes maakt.

En in Hollywood, wat was het eerste ding dat dat ooit deed?

Het antwoord is, natuurlijk, De Matrix en zijn beruchte bullet time sequentie.

En geloof het of niet, dit was oorspronkelijk niet ontwikkeld voor De Matrixmaar van een Michael Jordan reclame. De persoon die de unit productie manager werd op De Matrix hadden gewerkt aan die Michael Jordan reclame, en ze realiseerden zich dat dit echt iets cools zou zijn om te doen. En ze bedachten hoe ze het moesten doen. Dat is iets waar je niet over nadenkt - iets dat voortkwam uit iemands idee om een echt cool shot voor een commercial te doen veranderde in bullet time voor De Matrixdie nu gebruikt wordt op De Mandaloriaan.

Hebben fotogrammetrie en virtuele productie veranderd wie er op de set moet zijn?

Absoluut. In de oude wereld een Supervisor visuele effecten om met de crew te praten, en misschien wat van de tweede eenheid te produceren of wat van de pick-up. En nu met shows als De Mandaloriaan, Star Trek: Discoveryen Lost in Spaceshows met veel en zwaar VFX materiaal, is dat nu een voltijdse positie op de set. Dat is eigenlijk heel gewoon geworden.

Het andere is, en ik denk dat het echt belangrijk is, dat de enige crewpositie die nooit gedefinieerd is in virtuele productie, een IT manager is. Er is nog nooit behoefte geweest aan een IT-man op de set. De digitale beeldvormingstechnicus (DIT) handelde dat meestal af. Of, een van de tweede assistenten; misschien degene die de video plaatste had te maken met alle IT.

De realiteit is nu dat de technologie op de meeste sets zodanig is, dat je een frequentiewerker nodig hebt - iemand die weet op welke frequentie alles zit, en waar alle losse elektromagnetische straling zit. En het is interessant omdat je er niet op die manier over nadenkt. Dat fotogrammetrie en virtuele productie, in het algemeen, eigenlijk nieuwe posities creëert.

Foto door Jason Leung op Unsplash

Wat heeft de toekomst in petto voor digitale gegevens en filmmaken?

Het verandert constant.

SMPTE 2110 gaat gelokaliseerde metadata toelaten in je video stream, meer dan nu het geval is. Ik bedoel echte lokalisatie, gebaseerd op je fysieke locatie, meer nog dan nu het geval is.

En nu hebben we het over het kunnen fotograferen en vastleggen van omgevingen met zo'n hoog kaliber aan details dat het kan worden verkleind en gereproduceerd als een simulatie. We hebben de mogelijkheid om een Holodeck; we hebben brillen die je real-time informatie geven omdat de datastroom dat mogelijk maakt, en de datastroom wordt geëxtrapoleerd uit de omgeving om je heen.

En hoewel ze niet precies hetzelfde zijn, is de manier waarop je die metadata verwerkt en verplaatst, of het nu inkomend of uitgaand is, allemaal hetzelfde. Het is in staat zijn om gegevens te verwerken op een schone, precieze manier die ze bruikbaar maakt voor allerlei andere doeleinden, niet alleen voor wat je nu denkt dat ze doen.

Ik bedoel, we blijven praten over virtuele productie. Maar er zijn momenten dat virtuele producties getrouwd moeten zijn met een traditionele VFX workflow, en je gebruikt het virtuele spul alleen voor de reflecties en alles erop en eraan. Ze kunnen er panelen opzetten om reflecties in aan te brengen die de echte wereld nabootsen en de visuele effecten kosten uitsparen, maar dat betekent niet dat ze de achtergrond de hele tijd kunnen vervangen, het betekent nog niet dat ze ver genoeg weg van de achtergrond kunnen geraken.

Maar het gaat allemaal om data, hoe die beweegt, en hoe meer data je bij de bron kunt vastleggen. Of het nu gaat om live camera's bij de acteurs; fotogrammetrie op een set die je later misschien nodig hebt; of een kunstmatige omgeving die wordt opgebouwd in een Unreal.

De kracht van dit alles is dat gegevens kunnen worden gewijzigd en gemanipuleerd op een manier waardoor zij er voor ons oog realistischer uitzien.

Kunt u meer zeggen over de lokalisatie van gegevens in de invoer van camera's?

Naarmate uitzendingen zich verder ontwikkelen, moeten we afstappen van de bestaande specificaties voor de levering van video, audio en gegevens. De stap is SMPTE 2110 en de verschillende onderdelen daarvan. Deze definiëren de mogelijkheid om onafhankelijke pijpleidingen te genereren voor video, audio en data. En data kan van alles zijn. Het is niet alleen een tijdstempel.

Het staat in de originele Blade Runner film - je loopt langs iets dat automatisch met je zou gaan praten. Je loopt voorbij en iets gaat direct met je om, als jou, omdat het weet dat je er bent. Dat is waar dit naartoe gaat.

Maar dit vermogen om de video te scheiden van de audio van de gegevens betekent veel verschillende dingen in onze wereld. Het Precision Time Protocol (PTP) zal ons in staat stellen om de gegevens van meerdere verschillende locaties op het juiste moment naar één eindpunt te verspreiden. En omdat video er langer over doet om te bewegen dan audio of data, kun je deze op verschillende niveaus en met verschillende snelheden laten samenwerken, afhankelijk van wat er aan de hand is.

Beter samenwerken op afstand

Op het kruispunt van fotogrammetrie, virtuele productie en de manier waarop wij inhoud ervaren, staan gegevens. Naarmate hardware en software geavanceerder worden, groeit de hoeveelheid gegevens die voor ons beschikbaar is. Dit betekent hogere resoluties, meer meeslepende ervaringen en meer manieren om media aan de individuele kijker aan te passen. Dit betekent echter ook dat de bestandsgrootte van digitale mediabestanden toeneemt.