Wat is AI-videocompressie?

door | 5 januari 2023

We hebben eerder gesproken over verschillende hulpmiddelen voor kunstmatige intelligentie (AI) die reeds zijn intrede doet in de filmwereld. Een andere AI-revolutie met veel potentieel - en steun van grote bedrijven - is... AI-videocompressie.

Moderne videocodecs zoals H.265 en ProRes worden nu immers uitgedaagd door nieuwe soorten intelligente videocompressie die door AI worden aangedreven.

Deze AI-videocodecs hoeven niet noodzakelijkerwijs comprimeer een videobestand, maar reconstrueren op basis van context en referentiebeelden om de kwaliteit te behouden ondanks een drastische vermindering van de bestandsgrootte.

Lees verder voor meer informatie over AI-videocompressie hieronder.

Inhoudsopgave

Verstuur grote videobestanden met vertrouwen

Meld u aan voor MASV en begin met het snel en betrouwbaar verzenden en ontvangen van grote bestanden.

Welke video-codecs worden tegenwoordig gebruikt?

Fundamenteel in elke discussie over codecs is de werkelijke betekenis van het woord: Codec is eigenlijk een portmanteau van "compressie" en "decompressie". Want dat is wat codecs doen: comprimeren en decomprimeren.

Codecs voor video en audio bieden "lossy" of "lossless" compressie. Bij lossy compressie wordt een deel van de gegevens van het bestand opgeofferd om het bestand efficiënter te maken, terwijl lossless compressie alle oorspronkelijke gegevens bevat. De meeste videocodecs zijn van de lossy variant.

Er is ook een verschil tussen de types van beschikbare codecs: Delivery, intermediate en acquisition.

Delivery codecs - gebruikt voor uitzending en weergave

  • H.264 (AVC)
  • H.265 (HEVC)
  • AV1
  • VP9
  • WMV

Intermediaire codecs - gebruikt voor videobewerking

  • ProRes 422 en 4444
  • DNxHR
  • DNxHD
  • CineForm

Acquisitie codecs - voor het vastleggen van video:

  • ArriRaw
  • Blackmagic Raw
  • Redcode Raw

Velen van ons beseffen niet hoeveel codecs er overal om ons heen zijn, van telefoongesprekken tot zelfs de uitgezonden inhoud die we consumeren. Televisie kijken is in feite getuige zijn van het compressie-decompressieproces in real time.

Er zijn veel codecs. Hier is een lijst. van bijna allemaal.

💡 Wil je snel weten hoeveel compressie een bestand bevat? Leg twee versies van hetzelfde bestand op je tijdlijn in Premiere Pro of Resolve en zet de ene in de overvloeimodus Difference. Je ziet dan snel waar de compressie zit en wat de verschillen zijn tussen de twee bestanden.

Bestanden overdragen zonder beperkingen

Grote bestanden? Geen zorgen. MASV kent geen beperkingen voor bestandspakketten en verwerkt bestanden tot 15 TB.

Waarom hebben we betere video-codecs nodig?

We hebben betere video codecs nodig om een paar redenen, maar vooral omdat hoge resolutie videobestanden zijn absurd groot geworden - en worden steeds groter, mede dankzij inhoud in 6K-, 8K- en zelfs 12K-resoluties.

Video Codecs

Streaming 4K video van Netflix, Amazon Prime, HBO Max of Disney+ neemt ook veel bandbreedte in beslag, net als videoconsumptie gedreven door sociale media-platforms.

Inderdaad, video is overal in de online wereld:

  • De gemiddelde persoon wereldwijd kijkt ongeveer 84 minuten video dagelijks.
  • Al in 2018 voorspelde Cisco dat video de 82 procent van al het netwerkverkeer in de wereld (vergeleken met 75 procent destijds).
  • Videostreaming alleen al was goed voor meer dan 70 procent van alle mobiele dataverbruik in 2022. Volgens Ericsson zal dat aantal tegen 2027 stijgen tot 80 procent.

Dit is geweldig nieuws voor videomakers en consumenten, maar het probleem is dat video veel ruimte in beslag neemt. Consumenten zijn er ook aan gewend geraakt dat video van hoge kwaliteit op aanvraag beschikbaar is.

Vooral, traditionele codecs zijn dom in die zin dat ze zich niet bewust zijn van wat ze doen of welke beelden ze comprimeren - ze comprimeren en decomprimeren gewoon pixels, en meer niet.

Wat is AI-videocompressie?

Traditionele videocompressie verwijdert bits visuele informatie om de totale bestandsgrootte van een video te verminderen. AI-videocompressie onderzoekt de inhoud van een video om recreëren op een kleinere schaal. Met andere woorden, het creëert een hyperrealistisch duplicaat van de originele video.

AI-videocompressie" is namelijk videocompressie op basis van machinaal leren (ML) (ook wel neurale compressie genoemd). ML-algoritmen of -modellen leren taken uit te voeren en evaluaties te maken op basis van relevante trainingsgegevens die door een mens - of in dit geval, een videofeed - worden ingevoerd.

Deze modellen hebben conceptuele patronen geleerd van hoe een menselijk gezicht eruit ziet en hoe het beweegt, samen met nog bredere patronen over de omgeving, zoals "boten worden meestal op het water gevonden".

In feite bestaan er vandaag al verschillende AI-videocodecs, waaronder:

  • NVIDIA's Maxine
  • Google's VP9
  • AIVC
  • AccMPEG

Laten we eens onderzoeken hoe AI-videocompressie precies werkt.

Grote bestanden verzenden zonder compressie

MASV kan elke bestandsgrootte aan, zodat u uw tijd kunt besteden aan het creëren - niet aan het comprimeren.

Hoe AI-compressie werkt

Een van de gemakkelijkste manieren om te illustreren hoe AI-videocompressie werkt, is door het te zien als een stuk vectorkunst.

Vector kunst is:

  • Gemaakt van een referentiebeeld.
  • Gebruikt wiskundige elementen om beeldmateriaal na te maken.
  • Is oneindig schaalbaar.

AI-compressoren zoals NVIDIA's Maxine video codec werken op dezelfde manier. Zij gebruiken een referentiebeeld (bijvoorbeeld één frame voor elke minuut beeldmateriaal) om de kleurbalans te bepalen en andere controlepunten te isoleren, zoals de achtergrond, de voorgrond, het gezicht van het onderwerp en beweging.

De codec brengt deze gegevens in kaart tijdens het comprimeren en reconstrueert ze vervolgens tijdens het decomprimeren. door de details in te vullen via een proces dat resynthese.

Waarom dan op deze manier?

Video context

Zoals gezegd, traditionele domme codecs houden geen rekening met de context van de gecomprimeerde media. Ze bekijken de gegevens frame per frame om te zien wat kan worden verwijderd zonder de algemene kwaliteit te veel aan te tasten. Ze hebben geen idee of de video een pratend hoofd is, een auto die over een snelweg rijdt, een beer die op jacht is naar voedsel, enz. Dit kan leiden tot harde compressie van anderszins belangrijke gegevens.

Bandbreedtevriendelijk

Door alleen de basisinformatie van elk frame door te sturen - in wezen door wiskundige elementen (die klein zijn) en niet pixels (die groot zijn) door te sturen - en frames on the fly opnieuw op te bouwen, is AI-compressie bandbreedtevriendelijk en kan oneindig worden geschaald. In dit opzicht verschillen AI-codecs niet veel van de technologie achter thispersondoesnotexist.comdie fotorealistische beelden maakt van mensen die niet bestaan.

Opschaling

Maar deze codecs comprimeren niet alleen video; ze kunnen ook videokwaliteit verbeteren door hun oneindige schaalbaarheid. Video-inhoud die met een AI-codec is gecodeerd, kan helemaal opnieuw worden opgebouwd voor elke resolutie en beeldsnelheid. In dit opzicht lijkt AI-videocompressie veel op video upscalingdie een soortgelijk proces gebruikt om de kwaliteit van oudere video- en filminhoud te verbeteren.

Krijg de beste overdracht van grote bestanden

Meld u vandaag nog aan en krijg 20GB gratis om te gebruiken met MASV's snelle, betrouwbare overdracht van grote bestanden.

Wat is de toekomst van videocompressie?

Als u zich afvraagt of de huidige AI-compressietools de meeste andere codecs naar de achtergrond zullen verdringen, dan is het antwoord: Waarschijnlijk niet.

Ten eerste, als AI-compressie een beeld opnieuw creëert, rijst de vraag of het nieuwe resultaat even gedetailleerd is als het origineel. Dat is een veelgehoord bezwaar, maar er zijn oplossingen voor. U kunt meer te weten komen over AI-compressie's detailbehoud hier.

Maar in hoofdzaak zullen fabrikanten altijd codecs maken die passen bij hun gebruik. De meeste camera's hebben aangepaste acquisitiecodecs op ASIC- of FGPA-achtige chips in het toestel zelf. Dat zal niet snel veranderen, dus we zullen waarschijnlijk altijd Apple codecs, Sony codecs, ARRI codecs, Red codecs en codecs van andere fabrikanten hebben.

De fabrikanten zullen dat zeker blijven doen omdat zij hun cameragegevens comprimeren op een manier die specifiek is voor het bestandsformaat van de camera.

Maar wat tussen- en aflevercodecs betreft, is AI-videocompressie een zeeverandering die een astronomisch prestatievoordeel zal opleveren.

AI-videocompressie in een notendop

Codecs bestaan al heel lang, maar hedendaagse encoders zoals H.265 staan sinds kort onder zware druk door de steeds grotere behoefte aan bandbreedte en geheugen van video met hoge resolutie.

Daarom is er nu een nieuwe generatie op AI gebaseerde codecs die video efficiënter comprimeren, de videokwaliteit verbeteren door oneindige schaalbaarheid en - in tegenstelling tot traditionele codecs - zich bewust zijn van de inhoud die ze coderen.

Op basis van machinaal leren en deep learning-technieken is het waarschijnlijk slechts een kwestie van tijd voordat deze codecs onmisbare hulpmiddelen worden bij de productie van video's en bij de ontwikkeling van nieuwe technologieën. post-productie workflow.

Wat voor soort compressie u ook gebruikt, het is van vitaal belang voor de productie en post-productie teams om snel en betrouwbaar bestanden te delen - en dat is waar MASV om de hoek komt kijken.

MASV kan bestanden van vrijwel elke grootte verzenden en ontvangen - tot 15 TB per bestand - overal ter wereld en wordt gebruikt door teams bij Disney+, BBC, PBS en andere organisaties. grote media studio's.

Schrijf u vandaag in en krijg 20 GB om gratis over te dragen.

MASV overdracht van grote bestanden

Krijg 20 GB om te gebruiken met de snelste, veilige bestandsoverdrachtservice die vandaag beschikbaar is, MASV.