인공지능이 영화 제작에 도움이 되는(그리고 해가 되는) 방법

이 기사는 다음의 기여로 작성되었습니다. 미첼 블록아카데미상을 수상한 총괄 프로듀서이자 오레곤 대학교의 존 앤더슨 저널리즘 및 커뮤니케이션 석좌교수입니다.

아카데미상을 수상한 총괄 프로듀서 미첼 블록은 다음과 같은 사실을 깨달았을 때를 기억할 수 있다고 말합니다. 영화 제작을 영원히 바꿀 인공지능(AI). 모건 네빌(Morgan Neville)의 로드 러너고 앤서니 부르댕에 관한 다큐멘터리입니다.

이 영화에는 고인이 된 유명인의 대사가 AI로 생성되었습니다. 브록은 네빌이 인터뷰에서 AI가 그 대사를 만들어냈다는 사실을 알기 전까지는 전혀 눈치채지 못했습니다.

"아티스트와 이펙트 전문가를 동원하지 않고도 존재하지 않는 무언가를 만들어낼 수 있다는 생각, 그것이 바로 AI의 천재성입니다."라고 그는 말합니다.

• 영화 제작에 적용된 AI의 예
• AI가 영화 제작자와 비디오 프로듀서를 돕는 방법
  1. 사전 프로덕션 계획
  2. 비디오 편집
  3. 시각 효과(VFX)
  4. 캐스팅 및 대본 작성
  5. 마케팅 및 프로모션
  6. 음악 악보
  7. 제작
• AI와 영화 제작의 잠재적 문제점
• AI가 전통적인 영화 제작을 대체할까요?

영화 제작에 적용된 AI의 예

빅데이터와 AI가 주도하는 4차 산업혁명은 영화 제작을 포함한 전 세계 거의 모든 산업에 영향을 미치고 있습니다. AI 도구는 사망한 배우를 합성으로 부활시키는 것 이상의 역할을 할 수 있습니다. 또한 활동을 더 빠르고 효율적으로 수행하여 인간의 확장을 돕기도 합니다.

그러나 AI와 그 파생 기술인 머신러닝(ML) 및 딥러닝(DP)의 윤리, 용도, 의미에 대한 의문은 계속되고 있습니다. 일부 전문가들은 AI가 궁극적으로 일자리를 창출할 것이라고 말하지만, 다른 전문가들은 특히 AI와 관련된 혼란으로부터 안전하다고 여겨졌던 창의적인 산업에 관해서는 확신이 서지 않는다고 말합니다.

💡 관련: 비디오 파일 전송의 진화: '릴 보이'에서 자동화로: 비디오 전송의 진화

영화 제작 및 동영상 제작 분야에서 특히 문제가 되는 것은 딥페이크 이미지와 동영상을 제작하기 위해 제너레이티브 AI를 사용하는 일이 점점 더 많아지고 있다는 점입니다.

딥 부두의 딥페이크 기술을 사용한 켄드릭 라마의 '더 하트 파트 5' 뮤직비디오 스틸컷.

최근 영화 제작에서 AI에 대한 대중의 인식이 높아졌지만, 이미 영화 업계에서는 이 기술이 널리 사용되고 있습니다. 영화 제작을 위한 AI 도구-오디오 믹싱, 마스킹, 컬러링, 언어 더빙, 비디오 편집과 같은 관련 작업은 이제 비교적 일반적입니다.

실제로 동영상 제작 업계에 AI 제품과 서비스를 제공하는 기업의 수가 급증하고 있습니다.

• 무결점 그리고 2018년에 AI 더빙을 위한 트루싱크 제품을 은밀하게 출시했습니다. 페이퍼컵와 유사한 기능을 수행하는 앱이 2017년부터 출시되었습니다.
• 디지털 도메인, 시간 1및 탤리 랩스 가상 캐릭터와 가짜 인간을 만들 수 있습니다.
• Aigency '로봇 인격'을 위한 인재 관리 기능을 제공하는데, 여기서 로봇 인격이란 단조로운 실제 사람이 아닌 가상의 인간을 의미합니다.

그리고 "사우스 파크" 제작자 최근 $20M 득점 벤처 캐피털에 투자하여 딥 부두 프로젝트는 "선도적인 딥페이크 기술", "비용 효율적인 시각 효과 서비스", "합성 미디어 프로젝트"를 만드는 것을 목표로 합니다.

이 모든 것이 합성 미디어라고도 불리는 AI 기반 미디어에 대한 열광적인 활동으로 이어집니다. 그렇다면 이 모든 소란은 정확히 무엇에 관한 것일까요?

AI가 영화 제작자와 비디오 프로듀서를 돕는 방법

AI가 지원하는 방법 동영상 제작 워크플로 를 모두 다루기에는 너무 방대하므로 몇 가지 주요 영역에 초점을 맞추고, 가장 중요한 주제는 다음과 같습니다. 시간과 비용을 절약하는 AI 도구 를 입력합니다.

1. 사전 프로덕션 계획

AI는 이미 프리 프로덕션 프로세스의 일상적인 일부가 되었습니다. 촬영 및 기타 일정을 계획하고, 실제 데이터를 대본 요구 사항과 비교 분석하여 적합한 촬영 장소를 찾고, 편집자가 특정 장면이나 카메라 앵글을 더 빨리 찾을 수 있도록 영상을 구성하는 데 도움을 줍니다.

"캐스팅부터 예산 책정, 로케이션 분석, 소품과 의상 등 물류와 디자인, 영화 구성 측면에서 프리 프로덕션을 간소화한다고 생각하면 시나리오에서 AI를 사용하여 이 모든 작업을 쉽게 수행하고 예산을 정확하게 책정할 수 있습니다."라고 블록은 설명합니다.

2. 비디오 편집

AI 도구는 이미 동영상 편집 분야에서 널리 사용되고 있습니다. 완전한 AI 동영상 생성기도 존재하지만, 대부분의 동영상 편집용 AI 도구는 인간 동영상 편집자를 확장하는 데 도움을 줍니다.

• 다음과 같은 마키 도구 Premiere Pro는 컬러 매칭, 화면 비율 변경을 자동으로 수행하고 모션 트래킹을 활용하는 AI 도구를 제공합니다.
• 다음과 같은 기타 도구 활주로를 사용하면 편집자가 ML을 사용하여 몇 분 만에 로토스코프 및 마스킹 영상을 만들 수 있으므로 일반적으로 몇 시간이 걸리던 기존 방식과 크게 달라집니다.
• 무결점는 배우의 음소와 비젬(소리를 낼 때 어떻게 들리고 어떻게 보이는지)을 학습합니다. 이를 통해 동영상 편집자는 "새로 녹음된 대사에 맞춰 배우의 표정과 입 움직임을 매끄럽게 변경"할 수 있습니다. 로스앤젤레스 타임즈.
• 또한 AI는 인쇄물에서 긁힘, 먼지, 뒤틀림, 깜박임 등을 자동으로 제거하여 오래된 필름을 복원하는 데 도움을 줍니다.
• 그리고 AI 기반 동영상 압축 can 이론적으로 저해상도 프로덕션의 동영상 품질을 개선할 수 있습니다.

💡 관련: 비디오 편집의 진화: Moviola에서 머신 러닝까지

3. 시각 효과(VFX)

AI가 사망한 배우를 되살리는 데 어떻게 도움이 되었는지, 머신러닝이 로토스코핑이나 마스킹과 같은 수작업의 속도를 획기적으로 향상시키는 방법에 대해 언급했습니다. 하지만 AI는 또한 VFX 파이프라인 3D 모델링, 이미지 처리, 컬러 그레이딩, 매치 이동 및 기타 요소의 일부를 자동화합니다.

AI는 살아있는 배우의 노화 방지, 디지털 배경 구축, 조명 증강에도 자주 사용되며, 전체 장면을 스캔하고 오브젝트를 분류하는 기능으로 VFX 프로세스의 속도를 더욱 높일 수 있습니다.

4. 캐스팅 및 대본 작성

AI는 풍부한 연기 및 관객 반응 데이터를 마이닝하여 주어진 배역에 가장 적합한 배우를 결정함으로써 캐스팅 결정을 내리는 데 도움을 줄 수 있습니다. 캐스팅 디렉터는 다음과 같은 AI 도구에 직접 시나리오를 업로드합니다. Largo.ai를 통해 어떤 배우가 가장 효과적으로 수익을 창출할 수 있는지, 어떤 배우가 더 높은 위험을 감수할 수 있는지 분석합니다.

하지만 모든 좋은 AI 도구가 그렇듯 최종 결정은 사람이 내립니다.. 이 경우에는 캐스팅 디렉터입니다. 이 경우 더 많은 정보를 바탕으로 더 적은 시간과 에너지를 필요로 하는 결정을 내릴 수 있습니다.

이 기술은 스크립트 개발에도 사용됩니다. 구글의 딥마인드는 대규모 언어 모델을 활용하여 다음과 같은 작업을 수행하는 드라마트론이라는 도구를 만들었습니다. 대략적인 스크립트 생성 영화, TV 프로그램 또는 연극을 위한 대본입니다. AI가 생성한 스크립트에는 제목, 캐릭터 설명, 대사, 장면 설명이 포함되어 있습니다.

5. 마케팅 및 프로모션

워너 브라더스와 같은 스튜디오는 다음과 같은 AI 지원 소프트웨어를 사용합니다. 시네틱 또는 ScriptBook을 사용하여 어떤 시나리오가 상업적으로 성공할 가능성이 가장 높은지 예측하고 어떤 영화가 제작되고 어떤 영화가 제작되지 않을지 결정할 수 있습니다.

"이 시스템은 일반적인 영화 패키지 평가나 스타의 가치를 평가할 때 사람이 며칠씩 걸리던 것을 단 몇 초 만에 계산할 수 있습니다."라고 Cinelytic의 설립자 토비아스 콰이저는 말합니다. 할리우드 리포터.

또한 20세기 폭스에서 개발한 멀린 신경망은 유사한 도구와 함께 스튜디오에서 다음과 같은 다양한 영화 관리 및 홍보 활동을 수행하는 데 도움을 줍니다:

• 영화 예고편을 최적화하여 최고의 반응을 얻으세요.
• 영화 홍보를 위한 원시트 최적화.
• 마이크로 세분화를 통해 지리적 위치 및 오디언스 인구 통계 또는 관심사별로 마케팅 캠페인을 계획합니다.

"500만 명의 잠재적 시청자를 파악하여 적은 비용으로 50만 명을 극장으로 끌어들일 수 있다면 영화 비즈니스에 큰 도움이 될 것입니다."라고 블록은 말합니다. "AI는 영화 제작자뿐만 아니라 스튜디오, 경영진, 금융가들이 영화를 제작하는 방법뿐만 아니라 영화에 자금을 조달하고 마케팅하는 방법도 파악하는 데 도움을 줄 수 있습니다."

💡 관련: 할리우드가 영화 자금 조달, 배급, 상품화를 위해 대체 불가능한 토큰을 사용하는 방법

6. 음악 악보

승무원은 다음과 같은 AI 지원 소프트웨어를 사용할 수 있습니다. 다이나스코어 를 사용하여 동영상 제작에 필요한 음악을 작곡할 수 있습니다. AI 작곡 소프트웨어는 스톡 음악과 그 고유한 한계 대신 시나리오의 컷 및 기타 동작과 동기화되도록 맞춤화된 악보를 생성합니다.

그리고 소니 컴퓨터 과학 연구소(CSL)에서 개발한 플로우 머신인공지능 음악 작곡가인 지원 인간 작곡가들은 자신이 원하는 스타일에 맞게 다양한 코드와 멜로디를 만들어냅니다.

7. 7. 프로듀싱

최근 한 컴퓨터 아티스트가 텍스트-비디오 AI로 제작한 영화로 칸 단편 영화제 심사위원상을 수상한 바 있지만, 사람의 개입 없이 AI로만 제작된 영화나 비디오는 아직 드문 편입니다, 까마귀.

또 다른 비영화인인 Adrian Seltzer는 최근 다음과 같은 작품으로 찬사를 받았습니다. 소금는 트위터에 공개된 일련의 단편 영화로, Stable Diffusion, Midjourney, DALL-E 2, Synthesia, Murf, GPT-3 등의 AI 도구를 조합하여 제작되었습니다.

AI와 영화 제작의 잠재적 문제점

"우리는 더 이상 우리가 보는 것을 완전히 신뢰할 수 없습니다."라고 앞서 인용한 LA 타임즈 기사에서 위스콘신 대학교의 로버트 월 교수는 말합니다.

영화 제작은 항상 관객의 불신을 해소하기 위해 노력해 왔지만, 딥페이크 시대는 완전히 새로운 차원으로 나아가고 있습니다.

심지어 네빌의 로드 러너 영화는 공정한 비판의 장 는 고인이 된 유명인의 전 부인을 포함해 AI가 생성한 콘텐츠에 대해 관객과 비평가에게 즉시 알리지 않았다는 이유로 소송을 제기했습니다.

일부 관찰자들은 Flawless와 같은 영상 및 대사 변경 기술이 영화를 몇 년 후에 업데이트하거나 완전히 변경할 수 있는 길을 열어줄 것이라고 말하지만, 비평가들은 원작 배우의 동의를 침해할 위험이 있다고 지적합니다.

AI가 대본을 작성하고, 촬영 장소를 계획하고, 배우를 캐스팅하고, 놀라운 디지털 효과를 자동으로 생성하고, 심지어 영화와 비디오 전체를 제작할 수 있다면 인간이 개입할 필요가 있을까요?

블록에 따르면 품질이 가장 큰 이유 중 하나입니다.

"다른 어떤 것과도 마찬가지라고 생각합니다. 타자기가 붓글씨를 대체했다고 해서 글쓰기가 더 좋아진 것은 아니죠." 그는 영화나 글, 심지어 디자이너의 작품에 인간의 창의성과 개인적인 감성을 불어넣는 것은 궁극적으로 사람이라고 덧붙입니다.

"우리는 모든 것이 디지털로 생성되거나 재창조될 수 있는 세상으로 나아가고 있습니다."라고 그는 설명합니다. "클론인 우리 자신도 포함됩니다. 우리는 곧 디자이너 지갑이나 고가의 의류를 3D 프린터로 만들 수 있게 될 것입니다. 집에서 3D 프린터로 만들 수 있다면 브랜드의 가치는 어떻게 될까요?"

그는 비평가, 관객, 심지어 기술 플랫폼이 영화 제작자와 스튜디오가 동영상 제작에 AI를 남용하거나 비윤리적으로 사용하는 것에 대해 책임을 져야 할 것이라고 말합니다.

AI가 전통적인 영화 제작을 대체할까요?

레인댄스 영화제 는 사람들이 점점 더 자동화되는 산업에서 관련성을 유지할 수 있다고 말합니다:

• 인간 스토리텔링의 독특한 관점과 감정적 깊이에 집중합니다.
• 공감 능력, 사회적 기술, 신체적 손재주가 필요한 작업 등 현재 AI가 수행하기 어려운 작업에 집중합니다.
• 새로운 기술에 적응하고 그 힘을 활용하여 자신의 업무를 개선합니다.

하지만 블록은 적어도 현재로서는 인간이 AI로 대체되는 것에 대해 걱정하지 않는다고 말합니다.

"AI는 그 자체로 훌륭하고 시장성 있는 아이디어를 만들어낼 수 없습니다."라고 그는 말합니다. "AI가 아이디어를 상자에 입력하면 영화가 나오는 세상에서도 영화를 만들고 그것을 보고 '이건 형편없다' 또는 '이건 굉장하다'고 말할 수 있는 사람은 여전히 필요합니다.

"일을 가치 있게 만드는 것은 바로 사람을 끌어들이는 과정입니다."