Hoe kunstmatige intelligentie het maken van films helpt (en schaadt)

door | 24 januari 2023

Dit artikel is geschreven met medewerking van Mitchell Block, een Academy Award-winnende uitvoerend producent en Jon Anderson Leerstoel in Journalistiek en Communicatie aan de Universiteit van Oregon.

Academy Award-winnende producent Mitchell Block zegt dat hij zich kan herinneren wanneer hij zich volledig realiseerde... kunstmatige intelligentie (AI) zou het maken van films voor altijd veranderen.... Het was kort na het zien van Morgan Neville's Roadrunnereen documentaire over wijlen Anthony Bourdain.

De film bevatte AI-gegenereerde dialoog van de overleden beroemdheid. Brock wist van niets totdat Neville in een interview zei dat AI die dialoog had geproduceerd.

"En dat is echt het geniale van AI - het idee dat je iets kunt creëren dat niet bestaat zonder dat je per se een leger kunstenaars en effectenmensen nodig hebt om al dat harde werk te doen," zegt hij.

Inhoudsopgave

Bestanden overdragen zonder beperkingen

Grote bestanden? Geen zorgen. MASV kent geen beperkingen voor bestandspakketten en verwerkt bestanden tot 15TB.

Voorbeelden van AI in films

De vierde industriële revolutie, aangedreven door big data en AI, heeft zich in vrijwel elke bedrijfstak ter wereld genesteld, ook in de filmwereld. AI-tools kunnen meer dan synthetische wederopstanding van overleden acteurs. Ze helpen mensen ook om te schalen door activiteiten sneller en efficiënter uit te voeren.

Maar er blijven vragen bestaan over de ethiek, het gebruik en de gevolgen van AI en zijn uitlopers, machine learning (ML) en deep learning (DP). Terwijl sommige deskundigen zeggen dat het uiteindelijk een netto banenschepper zal zijn, zijn anderen daar niet zo zeker van - vooral als het gaat om creatieve sectoren die ooit veilig werden geacht voor AI-gerelateerde ontwrichting.

Bijzonder problematisch in de film- en videoproductieruimte is het zeurende (en groeiende) gebruik van generatieve AI om deepfake beelden en video's te maken.

Kendrick Lamar Will Smith Deepfake

Still uit de videoclip voor 'The Heart Part 5' van Kendrick Lamar waarin deepfake technologie van Deep Voodoo wordt gebruikt.

Dat gezegd hebbende, terwijl het publieke bewustzijn van AI in de filmwereld recentelijk is toegenomen, is de technologie al goed ingeburgerd in de filmwereld. AI-tools voor filmmaken-gerelateerde taken zoals geluidsmixen, maskeren, inkleuren, taalsynchronisatie en videobewerking zijn nu relatief gebruikelijk.

Het aantal bedrijven dat AI-producten en -diensten aanbiedt aan de videoproductie-industrie neemt inderdaad toe.

  • Foutloos en haar TrueSync product voor AI dubbing gelanceerd in stealth in 2018. Papercup, die een soortgelijke functie vervult, bestaat sinds 2017.
  • Digitaal Domein, Hour Oneen Tally Labs virtuele personages en zelfs nepmensen creëren.
  • De Aigency bieden talentmanagement "voor robotpersoonlijkheden" - en daarmee bedoelen ze virtuele mensen, geen monotone echte mensen.

En de makers van "South Park" onlangs gescoord $20M in durfkapitaal om hun Deep Voodoo project, dat tot doel heeft "toonaangevende deepfake-technologie", "kosteneffectieve visuele effecten" en "synthetische mediaprojecten" te creëren.

Dit alles leidt tot een golf van activiteiten rond AI-gebaseerde media, ook wel synthetische media genoemd. Waar gaat al die ophef eigenlijk over?

Krijg de beste overdracht van grote bestanden

Meld u vandaag nog aan en ontvang 20GB gratis om te gebruiken met MASV's snelle, betrouwbare overdracht van grote bestanden.

Hoe AI filmmakers en videoproducenten helpt

De manieren waarop AI helpt videoproductie workflows zijn er bijna te veel om volledig te behandelen, dus we zullen ons concentreren op enkele van de belangrijkste gebieden, met als overkoepelend thema dat AI-tools helpen tijd en geld te besparen in elk van hen.

1. Pre-productie planning

AI is al een alledaags onderdeel van het preproductieproces geworden. Het helpt bij het plannen van film- en andere schema's, het vinden van geschikte opnamelocaties door het analyseren van gegevens uit de echte wereld aan de hand van scriptvereisten, en zelfs het organiseren van beeldmateriaal om editors te helpen sneller specifieke scènes of camerahoeken te vinden.

"Als je denkt aan het vereenvoudigen van de pre-productie in termen van logistiek en ontwerp, van het organiseren van een film - van casting, tot budgettering, tot locatie verdeling, rekwisieten en garderobe - al die dingen kunnen gemakkelijk worden gedaan en begroot nauwkeurig met behulp van AI uit het scenario," legt Block uit.

2. Videobewerking

AI-tools zijn al goed ingeburgerd in de wereld van videobewerking. Hoewel er volledige AI-videogeneratoren bestaan, helpen de meeste AI-tools voor videobewerking bij het opschalen van menselijke videobewerkers.

  • Marquee tools zoals Premiere Probieden bijvoorbeeld AI-tools voor automatische kleuraanpassing, wijziging van de beeldverhouding en het volgen van bewegingen.
  • Andere instrumenten, zoals Startbaankunnen editors in enkele minuten beelden draaien en maskeren met behulp van ML, een grote verandering ten opzichte van traditionele methoden die meestal meerdere uren in beslag nemen.
  • Foutloos, het bedrijf dat we hierboven noemden, leert de fonemen en visemen (hoe ze klinken en hoe ze eruit zien als ze geluiden maken) van acteurs. Hierdoor kunnen videobewerkers "naadloos hun gezichtsuitdrukkingen en mondbewegingen aanpassen aan de nieuw opgenomen dialoog", aldus de Los Angeles Times.
  • AI helpt ook oude film te herstellen door automatisch krassen, vuil, kromtrekken en flikkering van prints te verwijderen.
  • En AI-gebaseerde videocompressie kan theoretisch verbeteren de videokwaliteit van producties met een lagere resolutie.

3. Visuele effecten (VFX)

We hebben vermeld hoe AI heeft geholpen bij het reanimeren van overleden acteurs en hoe machine learning de snelheid van handmatig werk, zoals rotoscoping en maskeren, drastisch kan opvoeren. Maar het heeft ook geholpen om de VFX-pijplijn door delen van 3D-modellering, beeldverwerking, kleurgradatie, het verplaatsen van wedstrijden en andere elementen te automatiseren.

AI wordt ook regelmatig gebruikt om levende acteurs te verouderen, digitale achtergronden te bouwen en de belichting te verbeteren, terwijl het vermogen om hele scènes te scannen en objecten te classificeren het VFX-proces nog verder kan versnellen.

4. Casting en scenarioschrijven

AI kan helpen bij het nemen van castingbeslissingen door rijke aders van prestatie- en publieksreactiegegevens te ontginnen om de beste acteur voor een bepaalde rol te bepalen. Castingdirecteuren uploaden scripts rechtstreeks naar AI-tools zoals Largo.aien analyseren welke acteurs de rol het beste kunnen verzilveren of wie een hoger risico loopt.

Maar zoals bij elk goed AI-instrument, neemt de mens de uiteindelijke beslissing.... In dit geval de casting directeur. Het is gewoon een beter geïnformeerde beslissing die minder tijd en energie vergt.

De technologie wordt ook gebruikt om scripts te ontwikkelen. Google's DeepMind creëerde een tool genaamd Dramatron dat gebruik maakt van grote taalmodellen om ruwe scripts genereren voor films, tv-shows of toneelstukken. De door AI gegenereerde scripts zijn voorzien van een titel, karakterbeschrijvingen, dialoog en scènebeschrijvingen.

Dramatron logo

5. Marketing en promotie

Studio's als Warner Bros. gebruiken AI-software zoals Cinelytisch of ScriptBook om te voorspellen welke scenario's de beste kans op commercieel succes hebben en te bepalen welke films gemaakt worden en welke niet.

"Het systeem kan in seconden berekenen wat vroeger dagen duurde om door een mens te worden beoordeeld als het gaat om algemene filmpakketbeoordeling of de waarde van een ster," zegt Cinelytic-oprichter Tobias Queisser in The Hollywood Reporter.

En het Merlin neuraal netwerk, ontwikkeld door 20th Century Fox, samen met soortgelijke instrumenten, helpen studio's een reeks filmmanagement- en promotieactiviteiten uit te voeren, waaronder:

  • Filmtrailers optimaliseren om de beste reactie te krijgen.
  • Het optimaliseren van one-sheets voor film promotie.
  • Marketingcampagnes plannen op basis van geolocatie en demografie of interesse van het publiek via microsegmentatie.

"Als je vijf miljoen potentiële kijkers kunt identificeren om 500.000 mensen in het theater te krijgen voor een fractie van de kosten, is dat echt voordelig voor de filmbusiness," zegt Block. "AI kan zowel filmmakers als studio's, executives en financiers helpen uit te zoeken hoe ze hun film moeten maken, maar tegelijkertijd ook hoe ze de film moeten financieren en op de markt brengen."

6. Muziek Scoren

Bemanningen kunnen software met AI gebruiken, zoals Dynascore om muziek te componeren voor hun videoproductie. In plaats van standaardmuziek en de inherente beperkingen daarvan, genereert AI-compositiesoftware muziekpartituren die op maat zijn gemaakt om te synchroniseren met de cuts en andere acties van een scenario.

En Sony Computer Science Laboratories (CSL) ontwikkelde... Flow Machineseen AI-muziekcomponist bedoeld om assist menselijke componisten komen met verschillende akkoorden en melodieën die passen bij hun gewenste stijl.

7. Het produceren van

Films of video's die volledig door AI zijn geproduceerd zonder veel menselijke tussenkomst zijn nog zeldzaam, hoewel een computerkunstenaar onlangs de prijs van de jury van het Cannes Short Film Festival heeft gewonnen voor zijn door AI gegenereerde tekst-naar-video film, De Kraai.

Een andere niet-filmmaker, Adrian Seltzer, werd onlangs geprezen voor Zout, een reeks korte films die op Twitter worden uitgebracht en die zijn gegenereerd door een combinatie van AI-tools zoals Stable Diffusion, Midjourney, DALL-E 2, Synthesia, Murf en GPT-3.

Eenvoudige overdracht van virtuele productievideobestanden

Veilige, betrouwbare en snelle overdracht van enorme 8K- of 12K-videobestanden met MASV.

Potentiële problemen met AI en filmmaken

"We kunnen niet langer volledig vertrouwen op wat we zien," zegt professor Robert Wahl van de Concordia University Wisconsin in het eerder geciteerde stuk van de LA Times.

En hoewel films altijd hebben geprobeerd het publiek ervan te overtuigen hun ongeloof op te schorten, tilt het deepfake-tijdperk de zaken naar een heel nieuw niveau.

Zelfs Neville's Roadrunner film oogstte zijn eerlijk deel van de kritiek voor het niet onmiddellijk waarschuwen van publiek en critici voor de door AI gegenereerde inhoud, waaronder die van de ex-vrouw van de overleden beroemdheid.

Sommige waarnemers zeggen dat video- en dialoogveranderende technologie zoals Flawless waarschijnlijk het pad zal effenen voor het bijwerken of volledig veranderen van films enkele jaren na de feiten, wat volgens critici het risico inhoudt dat de toestemming van de oorspronkelijke acteurs in het gedrang komt.

Inderdaad, wat is het nut van menselijke betrokkenheid als AI scripts kan schrijven, opnamelocaties kan plannen, acteurs kan casten en automatisch verbluffende digitale effecten kan creëren - en zelfs complete films en video's kan produceren?

Kwaliteit is één grote reden, volgens Block.

"Ik denk dat het is zoals alles - gewoon omdat een typemachine de ganzenveer verving, betekende dat niet dat het schrijven beter werd," zegt hij, eraan toevoegend dat het uiteindelijk de mensen zijn die zorgen voor de menselijke creativiteit en de persoonlijke toets achter een film, een geschreven werk of zelfs een designergoed.

"We gaan naar een wereld waarin alles digitaal kan worden gemaakt of nagemaakt," legt hij uit. "Inclusief onszelf, als klonen. Straks kunnen we designerportemonnees of dure kleding 3D-printen. En als je dat thuis op je 3D-printer kunt maken, wat is dan nog de waarde van een merk?"

Hij zegt dat het aan critici, publiek en zelfs technologieplatforms is om filmmakers en studio's ter verantwoording te roepen als het gaat om overmatig of onethisch gebruik van AI in videoproducties.

Zal AI het traditionele filmmaken vervangen?

Het Raindance Film Festival zegt dat mensen zichzelf relevant kunnen houden in een steeds meer geautomatiseerde industrie door:

  • Met de nadruk op het unieke perspectief en de emotionele diepte van menselijke verhalen.
  • Zich richten op taken waar AI momenteel moeite mee heeft, zoals taken die empathie, sociale vaardigheden en fysieke handigheid vereisen.
  • Zich aanpassen aan en gebruik maken van de kracht van nieuwe technologieën om hun eigen werk te verbeteren.

Maar Block zegt dat hij zich voorlopig geen zorgen maakt over de vervanging van mensen door AI.

"AI kan op zichzelf geen briljant en verkoopbaar idee creëren," zegt hij. "Zelfs in een wereld waarin de AI het idee in een doos kan invoeren en er een film uitkomt, heb je nog steeds een mens nodig om het te maken en ernaar te kijken en te zeggen: 'dit zuigt' of 'dit is geweldig'.

"En het is dat proces van het binnenhalen van de mens dat het werk waardevol maakt."

MASV overdracht van grote bestanden

Krijg 20 GB om te gebruiken met de snelste, veilige bestandsoverdrachtservice die vandaag beschikbaar is, MASV.