Qu'est-ce que la photogrammétrie ? Tout ce que vous devez savoir

Sauter à la section :

• Qu'est-ce que la photogrammétrie ?
• Comment fonctionne la photogrammétrie ?
• Photos ou vidéos : Qu'est-ce qui est le mieux pour la photogrammétrie ?
• La photogrammétrie est-elle une extension de la production virtuelle ?
• Quelle est la prévalence de la photogrammétrie dans la production virtuelle ?
• Comment la photogrammétrie est-elle utilisée dans la production virtuelle ?
• Quand la photogrammétrie a-t-elle vraiment commencé à décoller ?
• La photogrammétrie et la production virtuelle ont-elles changé les personnes qui doivent être présentes sur le plateau ?
• Que réserve l'avenir aux données numériques et à la réalisation de films ?

Qu'est-ce que la photogrammétrie ?

Vous prenez une série de photos pour extrapoler un objet, et si vous prenez suffisamment de photos autour de lui, vous aurez un composite complet de tout. Et ensuite, vous pouvez réellement construire quelque chose à l'échelle.

La NASA utilise la photogrammétrie pour cartographier les planètes et des choses comme ça. Et lorsque nous entrons dans le monde de la production virtuelle avec des informations de jeu, des modèles 3D et des données de caméra en direct, nous faisons en fait exactement la même chose. Nous prenons un flux de données, un flux audio et un flux vidéo et nous les combinons tous ensemble.

La photogrammétrie peut utiliser le Lidar, qui est un système d'imagerie à distance de la lumière utilisé pour cartographier des espaces et toutes sortes de choses. Il était auparavant incroyablement cher, mais aujourd'hui, mon iPhone est équipé d'un Lidar. Apple commence à vous permettre de capturer l'environnement qui vous entoure et de le transformer en un monde en 3D pour la virtualisation, les jeux, etc. Ce genre de technologie donne aux gens comme nous le pouvoir de faire ce genre de choses.

Vous pouvez en fait télécharger plusieurs types de logiciels gratuits pour Mac et Windows qui vous permettent d'assembler des photos et de créer un modèle 3D. Maintenant, la modélisation en photogrammétrie est indépendante du Lidar, qui est une information supplémentaire.

Il y a aussi des applications vraiment cool pour ce genre de scan qui vous aident à construire des modèles. Le problème, c'est qu'ils deviennent très gros, très vite.

J'ai essayé de scanner ma cuisine et je me suis vite rendu compte que j'avais utilisé 200 gigas d'espace sur mon téléphone.

Comment fonctionne la photogrammétrie ?

Vous faites essentiellement une cartographie photo.

Vous rassemblez une série de photos comme vous le feriez pour une planche contact, et le logiciel a ensuite besoin de différents contrôles sur la façon de procéder. Par exemple, vous devez décider si vous allez d'abord en travers, ou de haut en bas, et si la première rangée va de haut en bas. Il y a des règles sur la façon dont le logiciel individuel voit la séquence, mais ce n'est pas différent de ce qui se passe dans le cas d'une série de photos. comment vous créez la RV.

Les images VR statiques se reproduisent de la même manière sur plusieurs caméras. Et c'est le côté intéressant de tout cela, c'est que nous donnons maintenant aux utilisateurs individuels la capacité à laquelle nous n'avions pas pensé auparavant. Cela donne beaucoup de pouvoir aux utilisateurs, non ?

Mais cela signifie également que si vous créez des environnements virtuels, je peux y aller et prendre des photos par photogrammétrie pour créer un arrière-plan et l'utiliser plus tard comme lieu de tournage. Une explication simple de cela est une émission appelée Station Onze sur HBO Max. Ils ont fait une photogrammétrie de leurs décors. Ainsi, en cas de problème, ils avaient la possibilité de placer un acteur devant un arrière-plan n'importe où dans le monde et d'y ajouter cet arrière-plan. Ils pouvaient filmer l'acteur sur un écran vert et générer l'arrière-plan derrière lui.

Grâce à la production virtuelle, vous pouvez l'installer sur un mur dans un environnement dynamique et montrer comment il fonctionne.

L'un des fabricants avec lesquels je travaille avait un écran trois fois plus fin que tout ce qui existe sur le marché. Sa résolution était à peu près la même que celle d'une télévision 8K. Il s'agit donc d'un mur 4K, 10 bits, et plus de bits permet d'obtenir une meilleure image, des gammes de tons plus longues, et tout le reste. Et au lieu de simplement montrer des images à l'écran, nous pouvons montrer un modèle 3D dans Unreal Engine. Et c'est la partie la plus cool de tout ça. Ce n'est même pas un lieu physique. Et vous ne pouvez même pas dire où le mur s'arrête et où la scène commence, tant la fusion est bonne.

Source : Art of LED Wall Virtual Production, fxguide

Photos ou vidéos : Qu'est-ce qui est le mieux pour la photogrammétrie ?

Une image fixe aura une résolution bien supérieure à celle d'une vidéo. Une image 4K a une résolution de 4 000 pixels, mais la plupart de nos appareils photo ont une résolution de 6, 8 ou 10 000 pixels. Il n'est pas rare d'avoir un appareil photo dont la résolution est bien supérieure.

Mais en fin de compte, il s'agit d'être capable de capturer un grand nombre d'images à assembler, et d'appliquer ces informations. Et c'est tout à fait mathématique. Il le fait intelligemment. Je travaille sur ce sujet depuis des années. J'ai déjà utilisé QuickTime VR pour produire des panoramas des intérieurs de Taco Bell pour un projet de signalisation. Plutôt que de louer trois restaurants et de les filmer, ce qui est coûteux, nous avons créé un Taco Bell virtuel. Et nous pouvions tout déposer à l'échelle - nous pouvions montrer aux restaurateurs comment chaque graphique se présenterait dans le restaurant. Nous avons littéralement filmé l'intérieur du magasin, puis l'extérieur du magasin en tant que carte de résolution. Et tout cela en images fixes. 🌮

Ce processus est désormais beaucoup plus rapide grâce au numérique. Croyez-le ou non, cela provient en fait des données de localisation des caméras. La caméra sait et peut déterminer la position, l'ordre des prises de vue, et tout le reste. Et elle marie l'image en se basant sur des numéros séquentiels. Quand j'ai commencé à faire ça, on utilisait encore des films pour le faire. Et c'est un à-côté de tout ça. Mais cela montre vraiment la profondeur avec laquelle les technologies qui nous entourent marient tout ce que nous savons.

La photogrammétrie est-elle une extension de la production virtuelle ?

Quelle est la prévalence de la photogrammétrie dans la production virtuelle ?

Comment la photogrammétrie est-elle utilisée dans la production virtuelle ?

Traditionnellement, c'est une partie du département VFX. Il s'agit de quelqu'un qui sait comment filmer des images de fond et des informations de fond. C'est le genre de personnes que vous voulez voir faire. Les autres personnes qui s'en occupent sont celles qui ont une grande expérience de la photographie d'architecture.

Il existe de nombreuses technologies de ce type dans le domaine de la photographie. empilement des imagesoù l'on prend une série d'images pour être capable de maintenir la mise au point sur toute la gamme ou d'étendre la mise au point d'un objet. Ou, dans le cas du télescope spatial James Webb, l'empilement d'images consiste à appliquer 27 photos différentes du même objet sur différents miroirs en utilisant différentes informations. Et il s'agit de combiner ces 27 miroirs en une seule image qui donne l'infrarouge, l'ultraviolet, la lumière transmissive, et toutes ces sortes de choses en même temps. La technologie de la photogrammétrie est utilisée de nombreuses façons différentes.

Comme je l'ai dit, ça vient de la NASA. Ils l'ont utilisé pour cartographier la lune. C'est pourquoi, lorsque vous regardez les vieilles photos de la NASA, en particulier celles de la lune, vous voyez toujours ces petits X dans les cadres, partout. Ils étaient utilisés pour connaître la taille de l'astronaute, afin de pouvoir déterminer à quelle distance il se trouve, à quelle hauteur il se trouve dans l'environnement, car ils ont cartographié tout cela.

Quand l'homme est allé sur la lune en 1969, quand tout cela était encore filmé, il n'y avait pas de numérique. Ils utilisaient ce marqueur de grille sur le plan focal, ce qui leur permettait de produire le contenu à l'échelle appropriée. Nous travaillons donc avec des choses qui se sont produites il y a 50 ans et qui évoluent maintenant vers ce que nous faisons dans le monde virtuel.

Quand la photogrammétrie a-t-elle vraiment commencé à décoller ?

Il est utilisé depuis longtemps dans les rendus architecturaux et les localisations de sites pour l'architecture. Elle est utilisée en architecture depuis au moins 30 ou 40 ans. Et il est utilisé à Hollywood depuis un certain nombre d'années pour les décors.

Dans l'automobile, il y a des choses comme la voiture Blackbird. Il s'agit d'une voiture entourée de 37 caméras, conçue pour photographier les reflets dans une automobile. Son empattement change constamment, vous pouvez en ajuster la largeur, elle est complètement ajustable avec différents types de pneus de différentes tailles. Vous pouvez mettre des pneus de SUV dessus. Donc, ils conduisent autour et puis ils laissent tomber le modèle sur elle. Ils ont donc de vrais pneus et de vraies roues, mais tout ce qui est au-dessus de ça est une fausse voiture. Ils génèrent les reflets sur la voiture elle-même. Ce type de technologie est utilisé depuis longtemps, notamment dans le domaine de l'automobile, de l'architecture et d'autres domaines similaires.

Cette technologie ne cesse de s'accélérer car les ordinateurs et les outils avec lesquels nous travaillons sont devenus très puissants. Et vous pouvez enfin capturer suffisamment de données pour les utiliser de manière fonctionnelle et améliorer votre projet ou votre vie. Et c'est cette capacité à conserver ces données, à les maintenir, ainsi que les fichiers et toutes les choses qui y sont associées, qui en fait toute l'importance.

Et à Hollywood, quelle est la première chose qui a fait ça ?

La réponse est, bien sûr, La Matrice et sa tristement célèbre séquence de temps de balle.

Et croyez-le ou non, cela a été développé à l'origine non pas pour... La Matricemais d'une pub pour Michael Jordan. La personne qui est devenue le directeur de production de l'unité sur La Matrice avaient travaillé sur cette pub Michael Jordan, et ils ont réalisé que ce serait un truc vraiment cool à faire. Et ils ont trouvé comment le faire. C'est le genre de chose à laquelle on ne pense pas - quelque chose qui est venu de l'idée de quelqu'un de faire un plan vraiment cool pour une publicité s'est transformé en bullet time pour La Matricequi est maintenant utilisé sur Le Mandalorien.

La photogrammétrie et la production virtuelle ont-elles changé les personnes qui doivent être présentes sur le plateau ?

Définitivement. Dans l'ancien monde, un Superviseur des effets visuels s'arrêtait et discutait un peu avec l'équipe, et peut-être produisait-il une partie de la seconde unité ou de l'équipe de tournage. Et maintenant avec des émissions comme Le Mandalorien, Star Trek:Discoveryet Perdu dans l'espaceDans les séries où il y a beaucoup d'effets visuels lourds, c'est maintenant un poste à plein temps sur le plateau. C'est devenu très courant.

L'autre chose, et je pense que c'est vraiment important, est que le seul poste de l'équipe qui n'est jamais défini dans la production virtuelle est celui de responsable informatique. Il n'y a jamais eu besoin d'un informaticien sur le plateau avant. Le technicien en imagerie numérique (TIN) s'en occupait généralement. Ou, un des seconds assistants ; peut-être que celui qui mettait en place le village vidéo devait s'occuper de toute l'informatique.

Aujourd'hui, la technologie est telle sur la plupart des plateaux que vous avez besoin d'un spécialiste des fréquences - quelqu'un qui sait sur quelle fréquence tout fonctionne et où se trouvent toutes les radiations électromagnétiques libres. Et c'est intéressant parce qu'on n'y pense pas de cette façon. La photogrammétrie et la production virtuelle, en général, créent en fait de nouveaux postes.

Photo par Jason Leung sur Unsplash

Que réserve l'avenir aux données numériques et à la réalisation de films ?

C'est en constante évolution.

SMPTE 2110 va commencer à permettre l'intégration de métadonnées localisées dans votre flux vidéo, plus qu'actuellement. Je veux dire une localisation réelle, basée sur votre emplacement physique, encore plus qu'aujourd'hui.

Et maintenant, nous parlons de la possibilité de photographier et d'enregistrer des environnements avec un tel niveau de détail qu'ils peuvent être réduits et reproduits sous forme de simulation. Nous avons la capacité de faire HolodeckNous avons des lunettes qui vous donnent des informations en temps réel parce que le flux de données le permet, et le flux de données est extrapolé à partir de l'environnement qui vous entoure.

Et bien que ce ne soit pas exactement la même chose, la façon dont vous traitez et déplacez ces métadonnées, qu'elles soient entrantes ou sortantes, c'est la même chose. C'est la capacité de traiter les données de manière propre et précise qui les rend utilisables pour toutes sortes d'autres usages, et pas seulement pour ce que vous pensez qu'elles font actuellement.

Je veux dire, nous n'arrêtons pas de parler de production virtuelle. Mais il y a des moments où les productions virtuelles doivent être associées à un flux de travail VFX traditionnel, et où vous n'utilisez le matériel virtuel que pour les réflexions et tout le reste. Il est possible d'installer des panneaux pour créer des reflets qui imitent le monde réel et économiser les coûts des effets visuels, mais cela ne signifie pas qu'il est possible de remplacer l'arrière-plan tout le temps, ni qu'il est possible de s'en éloigner suffisamment.

Mais tout est question de données, de la façon dont elles se déplacent et du plus grand nombre de données que vous pouvez capturer à la source. Qu'il s'agisse de caméras en direct avec les acteurs, de photogrammétrie sur un plateau que vous pourriez utiliser plus tard ou d'un environnement artificiel en cours de construction dans Unreal.

Le pouvoir de tout cela est que les données peuvent être modifiées et manipulées de manière à ce qu'elles paraissent plus réalistes à notre œil.

Pouvez-vous nous en dire plus sur la localisation des données dans l'entrée des caméras ?

À mesure que la radiodiffusion progresse, nous devons nous éloigner des spécifications existantes sur la manière dont nous transmettons la vidéo, l'audio et les données. Le mouvement est la SMPTE 2110 et ses différentes parties. Elles définissent la capacité de générer des pipelines indépendants pour l'utilisateur final pour la vidéo, l'audio et les données. Et les données peuvent être n'importe quoi. Ce n'est pas seulement un horodatage.

C'est dans l'original Blade Runner Dans un film, vous passez devant quelque chose qui se met automatiquement à vous parler. Vous passez à côté de quelque chose qui interagit avec vous directement, en tant que vous, parce qu'il sait que vous êtes là. C'est là où nous voulons en venir.

Mais cette capacité à séparer la vidéo, l'audio et les données signifie beaucoup de choses différentes dans notre monde. Le protocole de temps de précision (PTP) va nous permettre de diffuser les données de plusieurs endroits différents vers un seul point d'arrivée au bon moment. Et comme la vidéo prend plus de temps à se déplacer que l'audio ou les données, vous pouvez les marier à différents niveaux et à différentes vitesses en fonction de ce qui se passe.

Une meilleure collaboration à distance

Les données sont à l'intersection de la photogrammétrie, de la production virtuelle et de la façon dont nous percevons le contenu. À mesure que le matériel et les logiciels deviennent plus sophistiqués, la quantité de données à notre disposition augmente. Cela signifie des résolutions plus élevées, des expériences plus immersives et davantage de moyens de personnaliser les médias pour chaque spectateur. Cependant, cela signifie également une augmentation de la taille des fichiers de médias numériques.