Was ist Photogrammetrie? Alles, was Sie wissen müssen

Zum Abschnitt springen:

• Was ist Photogrammetrie?
• Wie funktioniert die Photogrammetrie?
• Fotos vs. Videos: Was ist besser für die Photogrammetrie?
• Ist die Photogrammetrie eine Erweiterung der virtuellen Produktion?
• Wie weit ist die Photogrammetrie in der virtuellen Produktion verbreitet?
• Wie wird die Photogrammetrie in der virtuellen Produktion eingesetzt?
• Wann hat die Photogrammetrie wirklich begonnen, sich zu entwickeln?
• Hat sich durch Photogrammetrie und virtuelle Produktion geändert, wer am Set sein muss?
• Was bringt die Zukunft für digitale Daten und das Filmemachen?

Was ist Photogrammetrie?

Man nimmt eine Reihe von Bildern auf, um ein Objekt zu extrapolieren, und wenn man genügend Fotos um das Objekt herum macht, erhält man ein komplettes Kompositum von allem. Und dann kann man tatsächlich etwas maßstabsgetreu bauen.

Die NASA setzt die Photogrammetrie ein, um Planeten zu kartieren und Ähnliches. Und wenn wir in die Welt der virtuellen Produktion mit Spielinformationen, 3D-Modellen und Live-Kameradaten einsteigen, machen wir eigentlich genau dasselbe. Wir nehmen einen Datenstrom, einen Audiostrom und einen Videostrom und führen sie alle zusammen.

Bei der Photogrammetrie kann Lidar eingesetzt werden, ein Bildgebungssystem mit Lichtentfernung, das für die Kartierung von Räumen und alle möglichen Dinge verwendet wird. Früher war es unglaublich teuer, aber jetzt hat mein iPhone Lidar eingebaut. Apple ermöglicht es jetzt, die Umgebung um einen herum zu erfassen und sie in eine 3D-Welt für Virtualisierung, Spiele und all diese Dinge zu verwandeln. Diese Art von Technologie gibt Menschen wie uns die Möglichkeit, diese Art von Tricks zu machen.

Sie können mehrere Arten von kostenloser Software für Mac und Windows herunterladen, mit der Sie Fotos zusammenfügen und ein 3D-Modell erstellen können. Nun ist die Modellierung in der Photogrammetrie unabhängig vom Lidar, das zusätzliche Informationen liefert.

Es gibt auch einige wirklich coole Apps für diese Art des Scannens, mit denen man Modelle bauen kann. Das Problem dabei ist, dass sie sehr schnell sehr groß werden.

Ich versuchte, meine Küche zu scannen, und stellte schnell fest, dass ich 200 Gigabyte Speicherplatz auf meinem Handy verbraucht hatte.

Wie funktioniert die Photogrammetrie?

Sie machen im Grunde genommen ein Foto-Mapping.

Sie nehmen eine Reihe von Fotos auf, so wie Sie einen Kontaktabzug erstellen würden, und die Software benötigt dann verschiedene Steuerelemente, um dies zu tun. Zum Beispiel, ob man zuerst quer oder zuerst von oben nach unten geht und ob die erste Reihe von oben nach unten geht. Es gibt Regeln dafür, wie die einzelne Software die Reihenfolge sieht, aber es ist nicht anders als wie Sie VR erstellen.

Statische VR-Bilder werden über mehrere Kameras hinweg auf die gleiche Weise abgebildet. Und das ist das Interessante daran, dass wir den einzelnen Nutzern jetzt die Möglichkeit geben, an die wir vorher nicht gedacht hatten. Das gibt den Nutzern eine Menge Macht, nicht wahr?

Das bedeutet aber auch, dass ich bei der Erstellung virtueller Umgebungen mit Hilfe der Photogrammetrie einen Hintergrund aufnehmen und diesen später als Standort verwenden kann. Eine einfache Erklärung dafür ist eine Sendung namens Station Elf auf HBO Max. Sie haben eine Photogrammetrie ihrer Sets gemacht. So hatten sie die Möglichkeit, einen Schauspieler vor einen Hintergrund irgendwo auf der Welt zu setzen und diesen Hintergrund einzufügen. Sie konnten den Schauspieler auf einem Greenscreen aufnehmen und den Hintergrund hinter ihm erzeugen.

Bei der virtuellen Produktion kann man das Ganze in einer bewegten Umgebung an die Wand hängen und zeigen, wie es wirklich funktioniert.

Einer der Hersteller, mit denen ich zusammenarbeite, hatte einen Bildschirm, der dreimal feiner war als alles andere auf dem Markt. Die Auflösung entsprach in etwa der eines 8K-Fernsehers. Es handelt sich also um eine 4K, 10-Bit-Wand, und mehr Bits sorgen für ein besseres Bild, für einen größeren Tonwertumfang und alles andere. Und anstatt einfach nur Bilder auf dem Bildschirm zu zeigen, können wir ein 3D-Modell innerhalb der Unreal Engine darstellen. Und das ist das Tolle daran. Es ist nicht einmal ein physischer Ort. Und man kann nicht einmal sagen, wo die Wand aufhört und die Bühne beginnt, weil die Verschmelzung so gut ist.

Quelle: Art of LED Wall Virtual Production, fxguide

Fotos vs. Videos: Was ist besser für die Photogrammetrie?

Ein Standbild hat eine viel höhere Auflösung als ein Video. Ein 4K-Bild hat eine Auflösung von 4000 Pixeln, aber die meisten unserer Fotokameras haben sechs, acht oder 10.000 Pixel. Es ist nicht ungewöhnlich, eine Standbildkamera mit einer viel höheren Auflösung zu haben.

Letztendlich geht es aber darum, eine große Anzahl von Bildern zu erfassen, die dann zusammengefügt werden können, und diese Informationen anzuwenden. Und das ist alles Mathematik. Es macht das auf intelligente Weise. Ich arbeite seit Jahren an diesem Thema - ich habe einmal QuickTime VR verwendet, um Panoramen von Taco Bell-Innenräumen für ein Beschilderungsprojekt zu erstellen. Anstatt drei Restaurants anzumieten und sie zu fotografieren, was sehr teuer ist, haben wir einen virtuellen Taco Bell erstellt. Und wir konnten einfach alles maßstabsgetreu einfügen - wir konnten den Restaurantbesitzern eine Vorschau geben, wie jede Grafik im Restaurant aussehen würde. Wir sind losgezogen und haben das Innere des Ladens fotografiert und dann das Äußere des Ladens als Auflösungskarte aufgenommen. Und das alles in Standbildern. 🌮

Dank der Digitalisierung ist dieser Prozess jetzt viel schneller. Ob Sie es glauben oder nicht, das kommt tatsächlich von den Standortdaten der Kameras. Die Kamera kennt und kann die Position, die Reihenfolge der Aufnahmen und alles andere bestimmen. Und sie fügt das Bild anhand von fortlaufenden Nummern zusammen. Als ich anfing, dies zu tun, verwendeten wir dafür noch Film. Und das ist nur ein Nebeneffekt von all dem. Aber es zeigt, wie sehr die uns umgebenden Technologien alles, was wir kennen, miteinander verbinden.

Ist die Photogrammetrie eine Erweiterung der virtuellen Produktion?

Wie weit ist die Photogrammetrie in der virtuellen Produktion verbreitet?

Wie wird die Photogrammetrie in der virtuellen Produktion eingesetzt?

Normalerweise ist das ein Teil der VFX-Abteilung. Das wäre jemand, der weiß, wie man Hintergrundplatten und Hintergrundinformationen aufnimmt. Das sind die Leute, die das machen sollten. Die anderen Leute, die das machen, sind Leute, die viel Erfahrung in der Architekturfotografie haben.

In der Standfotografie gibt es viele dieser Technologien - es gibt Bildstapelungbei dem man eine Reihe von Bildern aufnimmt, um die Schärfe über den gesamten Bereich zu halten oder den Fokus eines Objekts zu erweitern. Oder, im Fall des James-Webb-Weltraumteleskops, Image Stacking, bei dem 27 verschiedene Fotos desselben Objekts auf verschiedenen Spiegeln mit unterschiedlichen Informationen aufgenommen werden. Diese 27 Spiegel werden dann zu einem einzigen Bild kombiniert, das Infrarot-, Ultraviolett-, Durchlicht- und all diese Dinge gleichzeitig wiedergibt. Die Technologie der Photogrammetrie wird auf viele verschiedene Arten eingesetzt.

Wie ich schon sagte, stammt es von der NASA. Sie benutzten es, um den Mond zu kartieren. Deshalb sieht man auf den alten NASA-Fotos, vor allem auf denen vom Mond, immer diese kleinen X in den Rahmen, überall. Diese wurden verwendet, um zu wissen, wie groß der Astronaut ist, damit sie bestimmen können, wie weit er entfernt ist, wie hoch er sich in der Umgebung befindet, weil sie das alles kartiert haben.

Als der Mensch 1969 zum Mond flog und das alles noch gefilmt wurde, gab es noch keine digitale Technik. Man benutzte diese Rastermarkierung auf der Fokusebene, die es ermöglichte, den Inhalt im richtigen Maßstab zu produzieren. Wir arbeiten also mit Dingen, die vor 50 Jahren passiert sind, und die jetzt in der virtuellen Welt weiterentwickelt werden.

Wann hat die Photogrammetrie wirklich begonnen, sich zu entwickeln?

Es wird schon seit langem für architektonische Renderings und Standortbestimmungen in der Architektur verwendet. In der Architektur wird es seit mindestens 30 oder 40 Jahren verwendet. Und in Hollywood wird es schon seit einigen Jahren für Hintergrundplatten verwendet.

Im Automobilbereich gibt es Dinge wie das Blackbird-Auto. Das ist ein Auto, an dem 37 Kameras angebracht sind, um die Reflexionen in einem Auto zu fotografieren. Es hat einen sich ständig verändernden Radstand, man kann die Breite verstellen, es ist komplett anpassbar, mit verschiedenen Reifen unterschiedlicher Größe. Man kann auch SUV-Reifen aufziehen. Sie fahren also herum und setzen dann das Modell darauf ab. Sie bekommen also echte Reifen und Räder, aber alles, was darüber hinausgeht, ist ein falsches Auto. Sie erzeugen die Reflexionen auf dem Auto selbst. Diese Art von Technologie wird schon seit langem eingesetzt, vor allem in der Automobil- und Architekturbranche und ähnlichen Bereichen.

Diese Technologie wird immer schneller, weil die Computer und die Werkzeuge, mit denen wir arbeiten, so leistungsfähig geworden sind. Und man kann jetzt endlich genügend Daten erfassen, um sie auf funktionelle Weise zu nutzen, die Ihr Projekt oder Ihr Leben verbessern kann. Und die Fähigkeit, diese Daten zu speichern und zu pflegen, die Dateien und alles, was damit zusammenhängt, macht die Sache so wichtig.

Und was war in Hollywood die erste Sache, die das getan hat?

Die Antwort lautet natürlich, Die Matrix und seine berüchtigte Bullet-Time-Sequenz.

Und ob Sie es glauben oder nicht, dieses System wurde ursprünglich nicht für Die Matrixsondern aus einer Michael-Jordan-Werbung. Die Person, die der Produktionsleiter für die Einheit wurde Die Matrix hatten an dem Michael-Jordan-Werbespot mitgearbeitet, und sie erkannten, dass dies eine wirklich coole Sache wäre, die man machen könnte. Und sie haben herausgefunden, wie man es machen kann. Das ist etwas, worüber man nicht nachdenkt - etwas, das aus der Idee von jemandem entstand, eine wirklich coole Aufnahme für einen Werbespot zu machen, wurde zu einer "Bullet Time" für Die Matrixdie jetzt in folgenden Bereichen verwendet wird Der Mandalorianer.

Hat sich durch Photogrammetrie und virtuelle Produktion geändert, wer am Set sein muss?

Auf jeden Fall. In der alten Welt war ein Supervisor für visuelle Effekte kam vorbei und redete ein bisschen mit der Crew und produzierte vielleicht ein paar der Second-Unit-Sachen oder ein paar der Pick-up-Sachen. Und jetzt mit Shows wie Der Mandalorianer, Star Trek:Discoveryund Verloren im WeltallBei Sendungen, bei denen viel VFX-Zubehör zum Einsatz kommt, ist das jetzt eine Vollzeitstelle am Set. Das ist wirklich üblich geworden.

Die andere Sache ist, und ich denke, das ist wirklich wichtig, dass die eine Position in der Crew, die in der virtuellen Produktion nie definiert wurde, ein IT-Manager ist. Es gab noch nie einen Bedarf für einen IT-Mitarbeiter am Set. Der Digital Imaging Technician (DIT) kümmerte sich normalerweise darum. Oder einer der zweiten Assistenten; vielleicht musste sich derjenige, der das Videodorf aufbaute, um die gesamte IT kümmern.

In der Realität ist die Technologie an den meisten Geräten so weit fortgeschritten, dass man einen Frequenzzauberer braucht - jemanden, der weiß, auf welcher Frequenz alles läuft und wo die ganze lose elektromagnetische Strahlung ist. Und das ist interessant, weil man so nicht darüber nachdenkt. Die Fotogrammetrie und die virtuelle Produktion im Allgemeinen schaffen tatsächlich neue Positionen.

Foto von Jason Leung auf Unsplash

Was bringt die Zukunft für digitale Daten und das Filmemachen?

Sie verändert sich ständig.

SMPTE 2110 wird in Zukunft noch mehr als bisher lokalisierte Metadaten in den Videostream einfließen lassen. Ich meine echte, tatsächliche Lokalisierung, basierend auf Ihrem physischen Standort, sogar noch mehr als jetzt.

Und jetzt geht es darum, dass wir Umgebungen so detailliert fotografieren und aufzeichnen können, dass sie verkleinert und als Simulation wiedergegeben werden können. Wir haben die Möglichkeit, eine HolodeckWir haben Brillen, die Informationen in Echtzeit liefern, weil der Datenstrom dies erlaubt, und der Datenstrom wird aus der Umgebung extrapoliert.

Das ist zwar nicht genau das Gleiche, aber die Art und Weise, wie Sie diese Metadaten verarbeiten und verschieben, ob sie nun eingehen oder ausgehen, ist das Gleiche. Es geht darum, Daten auf eine saubere, präzise Art und Weise zu verarbeiten, die sie für alle möglichen anderen Zwecke nutzbar macht, nicht nur für das, was Sie jetzt denken.

Ich meine, wir reden ständig über virtuelle Produktionen. Aber es gibt Zeiten, in denen virtuelle Produktionen mit einem traditionellen VFX-Workflow verbunden werden müssen, und man verwendet das virtuelle Material nur für die Reflexionen und alles andere darauf. Man kann Paneele aufstellen, um Reflexionen zu erzeugen, die die reale Welt imitieren und die Kosten für visuelle Effekte einsparen, aber das bedeutet nicht, dass man den Hintergrund ständig ersetzen kann, es bedeutet nicht, dass man sich weit genug vom Hintergrund entfernen kann.

Aber es geht nur um Daten, wie sie sich bewegen, und um die Daten, die man an der Quelle erfassen kann. Egal, ob es sich um Live-Kameras mit den Schauspielern handelt, um Photogrammetrie an einem Set, die Sie vielleicht später verwenden müssen, oder um eine künstliche Umgebung, die in einem Unreal.

Die Stärke all dessen ist, dass die Daten so verändert und manipuliert werden können, dass sie für unser Auge realistischer aussehen.

Können Sie näher auf die Lokalisierung von Daten bei der Eingabe von Kameras eingehen?

Im Zuge der Weiterentwicklung des Rundfunks müssen wir uns von den bestehenden Spezifikationen für die Übertragung von Video, Audio und Daten lösen. Der Schritt ist SMPTE 2110 und seine verschiedenen Teile. Sie definieren die Fähigkeit, unabhängige Pipelines für Video, Audio und Daten an den Endbenutzer zu generieren. Und Daten können alles Mögliche sein. Es ist nicht nur ein Zeitstempel.

Es steht im Original Blade Runner Film - Sie gehen an etwas vorbei, das automatisch mit Ihnen zu sprechen beginnt. Du gehst vorbei und etwas interagiert direkt mit dir, als du, weil es weiß, dass du da bist. Das ist die Richtung, in die es geht.

Aber diese Fähigkeit, Video und Audio von den Daten zu trennen, bedeutet in unserer Welt eine Menge verschiedener Dinge. Das Präzisionszeitprotokoll (PTP) wird es uns ermöglichen, die Daten von mehreren verschiedenen Orten zum richtigen Zeitpunkt an einen einzigen Endpunkt zu übermitteln. Und da die Übertragung von Video länger dauert als die von Audio oder Daten, kann man sie auf verschiedenen Ebenen und in unterschiedlichen Geschwindigkeiten miteinander verbinden, je nachdem, was gerade passiert.

Bessere Remote-Zusammenarbeit

An der Schnittstelle zwischen Photogrammetrie, virtueller Produktion und der Art und Weise, wie wir Inhalte erleben, stehen Daten. Mit immer ausgefeilterer Hard- und Software wächst auch die Menge der uns zur Verfügung stehenden Daten. Das bedeutet höhere Auflösungen, ein intensiveres Erlebnis und mehr Möglichkeiten, die Medien an den einzelnen Betrachter anzupassen. Dies bedeutet jedoch auch, dass die Dateigrößen der digitalen Mediendateien zunehmen.