Cet article a été rédigé avec la contribution de Mitchell BlockIl est également titulaire de la chaire Jon Anderson en journalisme et communication à l'université de l'Oregon.
Le producteur exécutif oscarisé Mitchell Block dit qu'il se souvient du moment où il a pleinement réalisé l'intelligence artificielle (IA) changerait à jamais la réalisation de films. C'est peu de temps après avoir vu le film de Morgan Neville Roadrunnerun documentaire sur le regretté Anthony Bourdain.
Le film présentait des dialogues générés par l'IA de la célébrité décédée. Brock n'était pas au courant jusqu'à ce que Neville dise dans une interview que l'IA avait produit ce dialogue.
"Et c'est là tout le génie de l'IA : l'idée que l'on puisse créer quelque chose qui n'existe pas sans avoir nécessairement besoin d'une armée d'artistes et d'effets spéciaux pour faire tout ce travail difficile", dit-il.
Table des matières
Transférez des fichiers sans aucune limite
De gros fichiers ? Pas d'inquiétude. Le logiciel MASV n'impose aucune limite aux paquets de fichiers et traite des fichiers jusqu'à 15 To.
Exemples d'IA dans la réalisation de films
La quatrième révolution industrielle impulsée par le big data et l'IA s'est insérée dans pratiquement toutes les industries du monde, y compris la réalisation de films. Les outils d'IA peuvent faire plus qu'effectuer des résurrections synthétiques d'acteurs décédés. Ils aident également les humains à changer d'échelle en réalisant des activités plus rapidement et plus efficacement.
Mais des questions subsistent quant à l'éthique, aux utilisations et aux implications de l'IA et de ses dérivés, l'apprentissage machine (ML) et l'apprentissage profond (DP). Si certains experts affirment que l'IA sera en fin de compte un créateur net d'emplois, d'autres n'en sont pas si sûrs, en particulier lorsqu'il s'agit d'industries créatives que l'on croyait autrefois à l'abri des perturbations liées à l'IA.
L'utilisation persistante (et croissante) de l'IA générative pour créer des images et des vidéos "deepfake" est particulièrement gênante dans le domaine de la production de films et de vidéos.
Extrait du clip de "The Heart Part 5" de Kendrick Lamar qui utilise la technologie deepfake de Deep Voodoo.
Cela dit, si la sensibilisation du public à l'IA dans la réalisation de films a récemment augmenté, la technologie est déjà bien établie dans l'industrie cinématographique. Outils d'IA pour la réalisation de films-Les tâches connexes telles que le mixage audio, le masquage, la coloration, les doublages en langue et le montage vidéo sont désormais relativement courantes.
En effet, le nombre d'entreprises proposant des produits et services d'IA au secteur de la production vidéo est en pleine expansion.
- impeccable et son produit TrueSync pour le doublage IA lancé en mode furtif en 2018. Papercup, qui remplit une fonction similaire, existe depuis 2017.
- Domaine numérique, Première heureet Tally Labs créer des personnages virtuels et même de faux humains.
- L'urgence fournissent une gestion des talents "pour des personnalités robotiques" - et par là, ils entendent des humains virtuels, pas des personnes réelles monotones.
Et les créateurs de "South Park" récemment noté $20M en capital-risque pour financer leur Vaudou profond qui vise à créer une "technologie deepfake de pointe", des "services d'effets visuels rentables" et des "projets de médias synthétiques".
Tout cela donne lieu à une frénésie d'activités autour des médias basés sur l'IA, également appelés médias synthétiques. Mais de quoi s'agit-il exactement ?
Obtenez le meilleur transfert de fichiers volumineux
Inscrivez-vous dès aujourd'hui et obtenez 20 Go gratuits à utiliser avec le service rapide et fiable de transfert de fichiers volumineux de MASV.
Comment l'IA aide les cinéastes et les producteurs vidéo
Les façons dont l'IA aide flux de production vidéo sont presque trop nombreux pour être couverts entièrement, nous nous concentrerons donc sur certains des principaux domaines, le thème principal étant que Les outils d'IA permettent de gagner du temps et de l'argent dans chacun d'eux.
1. Planification de la pré-production
L'IA fait déjà partie intégrante du processus de préproduction. Elle aide à planifier les tournages et autres horaires, à trouver des lieux de tournage appropriés en analysant les données du monde réel par rapport aux exigences du scénario, et même à organiser les séquences pour aider les monteurs à trouver plus rapidement des scènes ou des angles de caméra spécifiques.
"Si vous pensez à simplifier la préproduction en termes de logistique et de conception, d'organisation d'un film - du casting à la budgétisation, en passant par la répartition des lieux, les accessoires et les costumes - toutes ces choses peuvent facilement être faites et budgétisées avec précision en utilisant l'IA à partir du scénario", explique Block.
2. Montage vidéo
Les outils d'IA sont déjà bien établis dans le monde de l'édition vidéo. Bien qu'il existe des générateurs vidéo entièrement automatisés, la plupart des outils d'IA pour l'édition vidéo aident les éditeurs vidéo humains à se perfectionner.
- Les outils de marquage tels que Premiere Propar exemple, offrent des outils d'IA pour effectuer automatiquement la correspondance des couleurs, les changements de format d'image et le suivi des mouvements.
- D'autres outils, tels que Piste d'atterrissagepermettent aux monteurs d'effectuer des rotoscopies et de masquer des séquences en quelques minutes à l'aide de ML, ce qui représente un changement majeur par rapport aux méthodes traditionnelles qui prennent généralement plusieurs heures.
- impeccablela société que nous avons mentionnée plus haut, apprend les phonèmes et les visèmes (comment ils s'expriment et comment ils se présentent lorsqu'ils produisent des sons) des acteurs. Cela permet aux monteurs vidéo de "modifier de manière transparente les expressions faciales et les mouvements de la bouche des acteurs afin de les faire correspondre aux dialogues nouvellement enregistrés", selon le site Web de la société. Los Angeles Times.
- AI aide également à restaurer les vieux films en éliminant automatiquement les rayures, la saleté, la déformation et le scintillement des impressions.
- Et Compression vidéo basée sur l'IA peut théoriquement améliorer la qualité vidéo des productions à faible résolution.
3. Effets visuels (VFX)
Nous avons mentionné comment l'IA a permis de réanimer des acteurs décédés et comment l'apprentissage automatique peut considérablement accélérer le travail manuel, comme le rotoscoping et le masquage. Mais il a également contribué à rationaliser le Pipeline VFX en automatisant certaines parties de la modélisation 3D, du traitement de l'image, de l'étalonnage des couleurs, du déplacement des matchs et d'autres éléments.
L'IA est aussi régulièrement utilisée pour vieillir des acteurs vivants, créer des arrière-plans numériques et augmenter l'éclairage, tandis que sa capacité à scanner des scènes entières et à classer les objets peut accélérer encore le processus VFX.
4. Casting et scénarisation
L'IA peut aider à prendre des décisions de casting en exploitant de riches veines de données sur les performances et les réactions du public afin de déterminer le meilleur acteur pour un rôle donné. Les directeurs de casting téléchargent les scénarios directement dans des outils d'IA tels que Largo.aien analysant quels acteurs pourraient monétiser le rôle le plus efficacement ou qui pourraient présenter un risque plus élevé.
Mais comme avec tout bon outil d'IA, c'est l'homme qui prend la décision finale.. Dans ce cas, le directeur de casting. Il s'agit simplement d'une décision plus éclairée qui demande moins de temps et d'énergie.
Cette technologie est également utilisée pour développer des scripts. DeepMind de Google a créé un outil appelé Dramatron qui exploite de grands modèles de langage pour générer des scripts bruts pour les films, les émissions de télévision ou les pièces de théâtre. Les scripts générés par l'IA sont accompagnés d'un titre, de descriptions des personnages, des dialogues et des scènes.
5. Marketing et promotion
Des studios comme Warner Bros. utilisent des logiciels d'IA tels que Cinelytic ou ScriptBook pour prédire quels scénarios ont les meilleures chances de succès commercial et déterminer quels films sont réalisés et lesquels ne le sont pas.
"Le système peut calculer en quelques secondes ce qui prenait auparavant des jours à évaluer par un humain lorsqu'il s'agit de l'évaluation générale d'un film ou de la valeur d'une star", explique le fondateur de Cinelytic, Tobias Queisser dans The Hollywood Reporter.
Et le réseau neuronal Merlin, développé par la 20th Century Fox, ainsi que d'autres outils similaires, aident les studios à réaliser toute une série d'activités de gestion et de promotion des films, notamment :
- Optimiser les bandes-annonces de films pour obtenir la meilleure réaction.
- Optimisation des feuilles uniques pour la promotion des films.
- Planification des campagnes de marketing en fonction de la géolocalisation et des caractéristiques démographiques ou des intérêts du public grâce à la micro segmentation.
"Si vous pouvez identifier cinq millions de spectateurs potentiels pour faire entrer 500 000 personnes dans la salle de cinéma pour une fraction du coût, c'est vraiment avantageux pour l'industrie du cinéma", dit Block. "L'IA peut aider les cinéastes ainsi que les studios, les cadres et les financiers à comprendre comment créer leur film, mais aussi, dans le même temps, comment financer et commercialiser le film."
6. Notation musicale
Les équipes peuvent utiliser des logiciels basés sur l'IA tels que Dynascore pour composer la musique de leur production vidéo. Au lieu d'utiliser de la musique de stock et ses limites inhérentes, le logiciel de composition d'IA génère des partitions musicales adaptées pour se synchroniser avec les coupes et autres actions d'un scénario.
Et Sony Computer Science Laboratories (CSL) a développé Machines à fluxun compositeur de musique d'IA destiné à aider Les compositeurs humains inventent divers accords et mélodies pour s'adapter au style qu'ils souhaitent.
7. Produire
Les films ou vidéos entièrement produits par l'IA sans grande intervention humaine sont encore rares, bien qu'un artiste informatique ait récemment remporté le prix du jury du Festival du court métrage de Cannes pour son film généré par l'IA, du texte à la vidéo, Le Corbeau.
Un autre non-filmier, Adrian Seltzer, a récemment été acclamé pour Selune série de courts métrages diffusés sur Twitter et générés par une combinaison d'outils d'IA tels que Stable Diffusion, Midjourney, DALL-E 2, Synthesia, Murf et GPT-3.
Transférez facilement les fichiers vidéo de production virtuelle
Transfert sécurisé, fiable et rapide de fichiers vidéo massifs de 8K ou 12K avec MASV.
Problèmes potentiels de l'IA et de la réalisation de films
"Nous ne pouvons plus faire entièrement confiance à ce que nous voyons", déclare Robert Wahl, professeur à l'université Concordia du Wisconsin, dans l'article du LA Times cité précédemment.
Et si le cinéma a toujours essayé de convaincre le public de suspendre son incrédulité, l'ère du deepfake porte les choses à un tout autre niveau.
Même celui de Neville Roadrunner Le film a obtenu son une part équitable de la critique pour ne pas avoir immédiatement alerté le public et les critiques sur son contenu généré par l'IA - y compris celui de l'ex-femme de la célébrité décédée.
Selon certains observateurs, la technologie de modification des vidéos et des dialogues telle que Flawless ouvrira probablement la voie à la mise à jour ou à la modification complète de films plusieurs années après les faits, ce qui, selon les critiques, risque de compromettre le consentement des acteurs originaux.
En effet, à quoi sert la participation humaine si l'IA peut écrire des scénarios, planifier des lieux de tournage, distribuer des acteurs et créer automatiquement des effets numériques époustouflants, voire produire des films et des vidéos entiers ?
La qualité est une raison importante, selon Block.
"Je pense que c'est comme tout le reste - juste parce que la machine à écrire a remplacé la plume d'oie, cela ne signifie pas que l'écriture s'est améliorée". dit-il, ajoutant qu'en fin de compte, ce sont les gens qui apportent la créativité humaine et la touche personnelle derrière un film, une œuvre écrite ou même un objet design.
"Nous évoluons vers un monde où tout peut être créé ou recréé numériquement", explique-t-il. "Y compris nous-mêmes, en tant que clones. Nous serons bientôt en mesure d'imprimer en 3D des sacs à main de créateurs ou des vêtements coûteux. Et si vous pouvez les créer chez vous sur votre imprimante 3D, alors quelle est la valeur d'une marque ?"
Selon lui, il appartiendra aux critiques, au public et même aux plateformes technologiques de demander des comptes aux réalisateurs et aux studios en cas d'utilisation excessive ou contraire à l'éthique de l'IA dans la production vidéo.
L'IA va-t-elle remplacer le cinéma traditionnel ?
Le festival du film Raindance dit que les gens peuvent rester pertinents dans une industrie de plus en plus automatisée grâce à :
- L'accent est mis sur la perspective unique et la profondeur émotionnelle des récits humains.
- Se concentrer sur les tâches que l'IA a actuellement du mal à accomplir, comme celles qui nécessitent de l'empathie, des compétences sociales et de la dextérité physique.
- S'adapter aux nouvelles technologies et en exploiter la puissance pour améliorer leur propre travail.
Mais M. Block dit qu'il ne s'inquiète pas du remplacement des humains par l'IA, du moins pour l'instant.
"L'IA ne peut pas, à elle seule, créer une idée brillante et commercialisable", dit-il. Même dans un monde où l'IA peut entrer l'idée dans une boîte et faire surgir un film, il faut toujours qu'un être humain le réalise, le regarde et dise "c'est nul" ou "c'est génial".
"Et c'est ce processus d'apport de l'humain qui donne de la valeur au travail".
Transfert de fichiers volumineux MASV
Obtenez 20 Go à utiliser avec le service de transfert de fichiers le plus rapide et le plus sûr disponible aujourd'hui, MASV.