バーチャルプロダクションのワークフローを理解する

バーチャル・プロダクションとは？

バーチャルプロダクションは、3Dレンダリング技術（多くはUnrealなどのゲームエンジン）を利用して、大型LEDスクリーンに表示される写実的なセットを構築します。スクリーンの前で演技をする俳優をカメラで撮影すると、バーチャルセットはカメラのアングルや動きに合わせてリアルタイムに調整され、遠近感を表現します。

バーチャルプロダクションと従来のプロダクションの比較

「伝統的な制作は、組み立てラインのようなもので、各事業体や部門が直線的なスケジュールで作業するものである。そのため、シーンの繰り返しや撮り直しに時間がかかる。 法外な値段.映画製作者はしばしば、そのシーンが最終的にどのように見えるかを明確にせずに撮影することがあります。

バーチャルプロダクションは違います。ノンリニアで、より協力的で、より反復的な映像制作の方法です。ゲームエンジン技術、CGI、バーチャルリアリティ、拡張現実などのコンピュータ支援による制作とリアルタイムのビジュアライゼーションツールを組み合わせて、""映像""を提供します。クリエイティブ・フィードバック・ループをリアルタイムで」

これができるのは 制作チームの時間を節約し、より確実な作業を可能にします。 を、プリプロダクションやプロダクションの段階で、見た目や使い勝手にこだわっています。

バーチャルプロダクションには、いくつかの種類があります：

• ビジュアライゼーション：撮影の意図を示すプロトタイプのイメージ。
• パフォーマンスキャプチャーのこと：俳優や物体の動きを記録すること。
• ハイブリッド・バーチャル・プロダクション：カメラトラッキング技術とグリーンスクリーンの使用。
• ライブLEDウォール、インカメラでのバーチャル演出。

バーチャルプロダクションは、数年前までは不可能だった映像や効果を実現することができます。

バーチャルプロダクションスタジオの多くは、LEDボリュームステージと呼ばれ、その運用には大きなスペースが必要です。そのようなステージの1つが モントリオールのMELs Studio高さ20フィート、直径65フィートのLEDスクリーンが設置されています。

バーチャルプロダクションは、物理的な世界とバーチャルな世界を融合させ、映像制作のための没入感のあるセットを作成することがその中核です。この場合、物理的な世界は小道具や俳優で構成され、仮想的な世界は背景、仮想照明、視覚効果などで構成されます。

映画やテレビ、ビデオゲーム、そしてThe Weather Channelなどのコマーシャル作品にもよく使われています。

以来、絶大な人気を誇っている技術です。 マンダロリアン は、2018年最初の大規模なバーチャルプロダクションとして話題になりましたが、現在では300以上のバーチャルステージが存在しています（2019年にはわずか3つから増加します）。

リサーチ会社であるResearch and Markets社は、世界のバーチャルプロダクション市場が、今後 化する 17.8パーセント 2022年から2030年にかけての複合年間成長率（CAGR).

しかし、バーチャルプロダクションの最も画期的な点は、LEDボリュームやリアルタイムレンダリング、ライブカメラトラッキングの存在ではありません。むしろ、以下のような制作プロセスを通じて、視覚効果がシーンに適用されることです。 プリプロダクション.また、プロジェクトの初期段階から高品質なエフェクトやイメージが使用されていること。

撮影が開始される頃には、ほぼカメラレディな状態になっており、いつでも反復作業を行うことができるため、品質に妥協し、視覚効果のプレースホルダーで作業しなければならないことに慣れている映画制作者にとって、より確実で柔軟なものとなっています。

また、ビジュアルエフェクトなどのアセットがサイロではなく、よりコラボレーションして制作されるため、異なるチーム間でのクロスコンパチビリティが可能になります。

実際、バーチャルプロダクションのおかげで、かつての映画制作者の信条であった "fix it in post "は、"fix it in pre "となりました。

💡 もっと 読む MASVの仕組み LEDステージショーに非圧縮6K映像をムーブする

バーチャルプロダクションワークフローとは？

仮想制作ワークフローは、仮想制作プロセスを管理可能な一連のタスクに分解するステップのセットである.映像制作の3つのステージをすべて網羅しています：プリプロダクション、プロダクション、そして ポストプロダクション.

ここでは、バーチャルプロダクションのワークフローをスナップショットで紹介します：

出典元： Unreal Engine

バーチャルプロダクションワークフローのステップには、以下のようなものがあります（ただし、これらに限定されるものではありません）：

• ワールドキャプチャ（バーチャルスカウト、ロケーションスキャン、デジタル化含む）
• ビジュアライゼーション
• パフォーマンスとモーションキャプチャー
• サイマルカム
• カメラ内視覚効果（通称：ICVFX）。

プロジェクトごとに微妙に異なり、各ステップのタイミングも異なりますが、一般的には以下のフェーズで仮想制作パイプラインを定義します。

メモ： バーチャルプロダクションのパイプラインは、従来のプロダクションほど直線的ではなく、どの段階でも反復が可能ですが、プリプロダクション、プロダクション、ポストプロダクションという従来のプロジェクトのフェーズは、依然として関連しています。

プリプロダクション

バーチャルプロダクションのプリプロダクションは、従来の映画制作と共通する点で、最初に作品をビジュアル化し、承認を得る場所である。

しかし、バーチャルプロダクション環境では、プリプロダクションの段階が非常に重要です。 VFX（ビジュアルエフェクト）が生まれ、形になり始めることが多い.

プリプロダクションやプロダクションの段階でICVFXの要素を追加し、反復することで、実写とCGをより緊密に融合させ、ポストプロダクションの時間を短縮することができます。

それが、プロジェクトに費やす全体の時間を大きく変えることになるのです。"プリプロダクションの1時間は、プロダクションの2時間に値する "と言います。 ザック・アレクサンダーバーチャルプロダクション「Lux Machina」の創設者。

ピッチビス

この段階では、3Dアーティストが、プロジェクト内のさまざまなシーンをまとめるデジタルピッチビスを作成します（少し似ています）。 ハイテクストーリーボード が、より映画の予告編に近い形で制作されました。

バーチャルプロダクションのPitchvisは、ゲームエンジン技術に依存しています。ゲームエンジンのプラットフォームで開発されたアセットは高品質であるため、プロジェクトのライフサイクルを通じて再利用することが可能です。

バーチャルアートデパートメント（VAD）

プリプロダクションでも、2つの斬新な存在が登場します：バーチャル・プロダクション・スーパーバイザーとバーチャル・アート・デパートメント（VAD）です。

• VADのデザインです、 3Dプロトタイプやカメラで撮影可能な小道具や環境の制作など、プロジェクトのすべてのビジュアルを制作し、管理します。また、どの要素をバーチャルに表示し、どの要素を物理的なオブジェクトにするかを決定します。VADは通常、プリビス・チームと密接に連携し、アイデアからイテレーションへのシームレスな移行を保証します。
• バーチャルプロダクションの監修者 は、バーチャルプロダクション環境におけるラインプロデューサーのようなものです。ブレインバー（バーチャル撮影の技術的側面を管理するチーム）、VFX部門、VAD、そしてフィジカルプロダクションチームとの間の連絡役を務めます。

ビジュアライゼーション

この段階では、ゲームエンジンやMayaなどの3Dモデリングソフト、モーションキャプチャー（Mocap）やバーチャルカメラを使って、プロジェクトの仮想世界を構成する小道具やキャラクターのデジタルイメージを制作するアセット制作が行われます。

出典元： ビフォーアフター

3Dアーティストは、VRP（Virtual Rapid Prototyping）技術を使用して、シーケンスや編集を素早く行うことができます。 フォトグラメトリー を使い、写真からリアルな3Dモデルを作成します。制作が始まるまでに、カメラで撮影できるようなモデルになるよう、常に改良を加えています。

また、ビジュアライゼーションの段階では、バーチャルカメラやデジタルプロップを使って、提案されたセットをもとにデジタルロケーションを作成する「バーチャルスカウト」も行われます。

その他、バーチャルプロダクションのプリプロダクションプロセスの要素もあります：

• プリヴィス:従来のプロジェクトと同様に、プリビジュアライゼーションの段階では、照明、カメラのアングルや動きなどの要素を試すことができます。
  • バーチャルプロダクションにおけるプリビスは、従来のプロジェクトとは異なり、撮影監督、ディレクター、ビデオエディターなど、複数の関係者が参加する高度な共同作業となる。
  • また、画質やコンピュータの性能が向上しているため、previsでデザインしたシーケンスやショットは、最終画素の画質から大きくかけ離れることはありません。このような理由から、バーチャルプロダクションワークフローにおいて、プリビスは「プロダクションの始まり」と呼ばれることが多いのです。
• テックビス:テックビスは、VFXアーティストなどが、カメラデータなどをもとに、モーションコントロールによって適切なカメラレンズや配置、動きを決定し、具体的な撮影計画を立てるのを支援します。このプランニングにより、監督はカメラの動きを非常に精密かつ完全に再現可能な単位で制御することができます。
• スタントビス:ゲーム物理学を使って、今後の身体的スタントを計画・テストし、武器開発、振付、その他のセットデザイン要素に関する詳細を微調整する。

プロダクション（プリンシパルフォトグラフィー）

従来のプロジェクトと同様に、カメラが回り始め、映画や映像が形になっていくのが制作段階（プリンシパルフォトグラフィーとも呼ばれる）です。

バーチャルプロダクションでは、VADで作成された3Dアセットやバーチャルワールドが、バーチャルプロダクションのステージで俳優や（時には3Dプリントされた）物理的なプロップを囲むLEDボリュームに映し出される場所でもあります。

出典元： Unreal Engine

LEDウォールのアンビエント照明が前景のステージの従来の照明に代わることが多く、仮想世界ではバーチャル照明が展開される。

カメラトラッキング技術を搭載した物理カメラとゲームエンジン内の仮想カメラを同期させ（Simulcamと呼ばれる処理）、物理カメラと仮想シーンの動きを完全に一致させることができるようにしました。

バーチャルプロダクションでは、実質的にすべてがリアルタイムで行われるため、3Dアーティストは、次のようなことができます。 照明やカメラアングルの改善、デジタルアセットの改良など、バーチャルワールドを調整することができます。.

プリビズでも使われますが、本格的に俳優の動きを記録するリアルタイム・パフォーマンス・キャプチャー（モーションキャプチャー）が行われるのは制作段階です。モーキャップスーツを着た俳優をバーチャルセットにリアルタイムで重ね合わせ、バーチャルシーンを物理的なシーンと同じように演出できるのが「サイマルカム」です。

また、この段階でグリーンスクリーンを使用することもある。最近ではLEDのボリュームが注目されていますが、バーチャルプロダクションの環境では、ライブコンポジットやカメラで仕上げられないショットの小さな修正にグリーンスクリーンが使われることもあるのです。

ポストプロダクション

バーチャルプロダクションでは、ほとんどのVFXやカラーグレーディングがプリプロダクションやプロダクションの段階で行われるため、ポストプロダクションにかかる時間は従来のプロジェクトに比べてはるかに短くなります。

VFX

しかし、撮影が終わった後、VFXアーティストが何もしないわけではありません。従来のプロジェクトと同様に、バーチャルプロダクションのビデオエディターは、VFXアーティストがポストでクリーンアップし、（エフェクトや3Dモデルを追加して）最終的に仕上げなければならないシーンにプレースホルダーを追加することがよくあります。

💡 もっと 読む 4K360°プレートをVFXチームと共有する方法

ポストビス

ポストビスは、撮影後に行われるビジュアライゼーションの最終形態で、実写映像とラフなVFXを統合するものです。ポストプロダクションのVFXチームは、様々なショットのタイミングや演出をサポートし、編集チームは、実写、プレヴィス、バーチャルプロダクションの映像など、すべての要素を組み合わせて最終カットを作成することができます。

バーチャルプロダクションツールとソフトウェア

バーチャルプロダクションは、以下のようなエンドツーエンドのバーチャルプロダクションソフトウェアなど、最先端の技術なくしては成り立ちません。 ILM StageCraft からワンオフツールまで。ここでは、バーチャルプロダクションのスタッフが、私たちが慣れ親しんできた、本当に感動的なビジュアルを生み出すために使っているツールやソフトウェアの一部を紹介します。

LEDウォール

多くのプロジェクトでは、LEDパネルで構成された壁面を持つサウンドステージをレンタルしています。これらのパネルは、ビデオ処理のハードウェアとソフトウェアによって、非常に大きなスクリーンに組み合わされ、駆動されます。また、MELs、Line 204、Nant Studios、Dark Bayなど、多くのバーチャル・プロダクション・プロバイダーに依頼して、自分たちのためにLEDボリュームをカスタマイズすることも可能です。

出典元： ニュースシューター

ゲームエンジンのことです：

これらの3Dエンジンは、ビデオゲームのように探索や移動が可能な仮想のセットや世界を作り出します。最も人気のあるゲームエンジンです、 アンリアルエンジン5の作品に使用されています。 マンダロリアン や ウエストワールド.その他、バーチャルプロダクションで使用されているゲームエンジンは以下の通りです。 ユニティ, CryEngine、 ゴドー.

💡 続きを読む このトップeスポーツリーグがMASVに依存する理由

強力なグラフィック・プロセッシング・ユニット（GPU）を搭載

世界で最も強力なゲームエンジンも、それを動かす強力なGPUがなければ、ほとんど意味がありません。GPUの性能が高ければ高いほど、巨大なLEDボリュームをより詳細に表示することができます。LEDトラッキングをはじめ、必要なプラグインの多くはWindowsにしかないため、バーチャルプロダクションではWindows PCを使用することをお勧めします。

3Dキャプチャー＆アニメーションツール

などのフォトグラメトリーツールがあります。 リアリティキャプチャー のような3Dアプリケーションは、写真やレーザースキャンから3Dモデルを作成するためにAIを使用しています。 Houdini リッチな3Dアニメーションを実現し、反射やパーティクルを使ったエフェクトを作成することができます。

3Dアセットライブラリ

が存在することになります。 キクセル メガスキャンライブラリー世界最大の3Dスキャンライブラリーを自称する株式会社エヌ・ティ・ティ・ドコモは、3Dプロップス、テクスチャー、環境が必要なときに、車輪を再発明する必要がないことを意味します。

モーション・トラッキング・カメラ

バーチャルプロダクションの環境では、正確なカメラトラッキングが不可欠です。一般的なモーショントラッキングシステムは以下の通りです。 オプティトラック や スタートラッカー.

バーチャルリアリティヘッドセット

VRヘッドセットは、プリプロダクションやバーチャルスカウトのプロセスにおいて、貴重なツールとなります。クルーは、以下のようなヘッドセットを使って3D環境を集団で探索し、相互作用することで、ショットを計画し、セット構築の計画を始めることができます。 ソムニウムVRワン や メガーヌX.

によると、最も人気のある仮想生産技術だそうです。 きんかんちょうさ?モーションキャプチャー技術、半数以上が過去1年以内に使用したと回答しています。

バーチャルプロダクションのメリット

バーチャルプロダクションの利点はたくさんあります。ひとつは、社会的弱者であるパンデミック時に、遠く離れたチームメンバーとのコラボレーションを促進するために、バーチャルプロダクションが活躍したことです。

しかし、それ以外にもたくさんの利点があります（そのうちのいくつかはすでにご紹介したとおりです）。ここでは、バーチャルプロダクションパイプラインの主なメリットをいくつか紹介します：

1.時間・コストの節約

• VRヘッドセットなどを使ったバーチャルスカウトは、移動時間やコストを大幅に削減することができます。
• 重要なクリエイティブの決定を早い段階で行うことで、俳優が撮影している間にスタッフの準備ができ、負担の少ない制作ができます。
• また、俳優を呼び戻して撮影し直したり、ポストプロダクションのレンダリングに何時間もかけたりするよりも、撮影中にその場でコンテンツを調整するほうがはるかに簡単です。
• プロセスの初期に作成した高忠実度のアセットを、より高い解像度で再作成することなく、プロダクションサイクル全体で使用できるため、アセット作成のコストを下げることができます。
• また、ゲームエンジンは一般的に非常に強力な資産追跡システムを内蔵しているため、資産管理や追跡に必要なコストや労力を低減することができます。

2.環境に配慮している

仮想環境では、以下のようなことが可能です。 伝統産業がもたらすエコロジーインパクト 廃棄物や公害の原因となる物理的なセットや小道具の代わりに、デジタルセットや小道具を作成することで、移動時間や距離を短縮することができます。また、移動時間や距離も短縮することができます。例えば、ロサンゼルスにいる俳優が砂漠でのシーンを撮り直す必要がある場合、飛行機と車で移動して撮影場所にたどり着くよりも、ロサンゼルスにあるボリュームステージまで車で移動する方が環境に優しい。

また、ゲームエンジンは「マルチプレイヤー」を念頭に置いて設計されているため、物理的に異なる場所にいる関係者と遠隔地やマルチユーザーで共同作業を行うことは、バーチャルプロダクション技術では当然のことです。例えば、Unreal Engineでは Perforce Helixコア は、数百人の共同作業者がいる可能性のあるプロジェクトでバージョン管理を行うための技術です。

3.より洗練されたクリエイティブな発想

ビジュアルとショットプランニングをプロセスの早い段階で開始することで、より多くのイテレーションが可能になり、最終的にはより良いビジュアル、環境、ショットにつながります。バーチャルプロダクションでは、リアルタイムエンジンでショットやシーケンスを簡単に変更・カスタマイズできるため、クリエイティブなアイデアをさらに洗練させる選択肢が広がります。

また、ゲームエンジンが提供するリアルタイムの物理演算を利用して、現実世界の物理法則が適用されるサンドボックスの中でアクションシーンやカメラの動きをデザインすることも可能です。

4.自然採光の改善

LEDスクリーン照明の利点についてはすでに述べましたが、グリーンスクリーンは、相性の良い照明の種類に敏感なため、ポストで効果や照明を調整するのに時間がかかることが知られています。

5.リアルタイムの視認性

グリーンスクリーンの前で演技をして、後から背景やエフェクトを入れるよりも、LEDスクリーンに映し出されるアクションと一緒に演技をする方が、キャストやスタッフにとって、ショットの見え方をイメージしやすくなるのです。

6.環境制御

時間帯、照明、天候、交通など、ロケで起こりうる様々な要素を、クルーは完全にコントロールすることができます。シーンの切り替えやバーチャルな環境での撮影は、より簡単に（そしてより速く）行えます。

7.より没入感のある環境

バーチャルプロダクション用に作られた仮想環境を、拡張現実技術を使って360度環境として探索することができます。

バーチャルプロダクションの挑戦

もちろん、バーチャルプロダクションにも課題がないわけではありません。

1.準備の変更

その プレインストール のワークフローに慣れている映像制作者にとっては、難しい調整となる場合があります。 ロード後 のスケジュールがあり、撮影に入る前に何時間もかけて計画・準備することに慣れていない。

2.タレント・ギャップ

また、バーチャルプロダクションは技術的に複雑であるため、それに対応できる人材を確保するのも大変です。 テレビ技術 は、VRアニメーション、建築、自動車デザインなどの隣接業界が、これらの業界のスキル要件のおかげで、業界の人材供給源になっていると指摘しています。

実際、Epic Gamesのような業界の取り組みは アンリアル・フェローシップまた、バーチャル・プロダクションのニュアンスを学ぶブレンデッド・ラーニングを実施し、映像制作者や映像プロフェッショナルにバーチャル・プロダクションのスキルやテクニックを普及させることを目的としています。

より良いバーチャル制作のためのヒント

ワークフローと同様、バーチャルプロダクションにも正しいやり方と間違ったやり方があります。以下はその一例です。 小技とベストプラクティス を、次のプロジェクトを始めるときに念頭に置いておく必要があります：

1.プレミアムグラフィックハードウェアに投資する

上記のように、少なくとも10個のCPUコアとNVIDIA GeForce RTX 3090と同等のGPUを搭載したゲーミングPCなど、強力なGPUを確保することです。LEDパネルのビデオプロセッサに接続されるノードには、NVIDIA RTX A6000グラフィックスカードとQuadro Sync IIキットの組み合わせなど、より堅牢なセットアップが推奨されます。

2.LEDウォールを縮小してコスト削減

天井やサイドウォールを包み込むようなフルLEDのボリュームをレンタルするために必要な資金をすべて投じる必要は必ずしもありません。時には、シングルウォールのLEDで十分な場合もあります。ただ、壁の種類によって、周囲に照射される光の量が大きく変わることに注意してください。半球ドーム、ハーフキューブ、翼のある壁の順で、発光に最適と考えられています。

3.プログラマブル照明を活用する

発光量が足りない場合、 デジタルマルチプレックス（DMX）プロトコル をプログラムすることで、多色照明をエフェクト照明にすることができます。ゲームエンジン内のDMXやライティングボードを用いて、照明の仕様をプログラムすることができます。

4.カラーを忘れない

カラーサイエンス、特にカメラとLEDのボリュームについて理解することは、最もリアルなバーチャル環境やアセットを制作する上で非常に重要です。色彩学の細かいポイントを無視すると、最終カットで悲惨なビジュアルアーティファクトが発生する可能性があります。