メタバースはその中の一つ 大きくて肉厚なコンセプト そのため、様々な議論が巻き起こる傾向があります。時には実用的に、時には理論的に。あるいは、まさに 曖昧.メタバースの意味合いについては、躊躇する人もいれば、積極的な人もいますが、多くの人が、このコンセプトは本当に大きなものだと考えています。
メタステージ は、その最先端を行く企業です。Metastage社は、最先端の3Dボリュームビデオキャプチャと写真のようにリアルなバーチャルヒューマンを提供しています。バーチャルプロダクションと組み合わせることで、実在の人物の表現としてメタバースに注入するのに最適です。
MASVでは、メタステージ社のCEO クリスティーナ・ヘラー とプロダクションの責任者 Skylar Sweetman と題して、映像制作者がどのようにメタバースを活用するか、そのためにどのようなツールを使うか、そしてM&Eの専門家や消費者にとってどのような意味を持つかについて、彼らの見解を聞きました。
掘り下げてみましょう。
注：以下のトランスクリプトは、長さとわかりやすさのために編集されています。
メタバースとは？
クリスティーナ・ヘラー:私にとってメタヴァースとは、バーチャルでデジタルな現実のことです。それは当然、時間とともに進化していきます。しかし、既存の物理的な空間現実の上に、デジタルレイヤーの基礎が見え始めています。無限に広がる合成的な世界で、その中を探索し、創造し、協力し、学ぶことができます。それ自体がひとつの存在であると同時に、コンピューターライフとフィジカルライフを融合させることができるデジタルレイヤーでもあります。バーチャルリアリティ、オーグメンテッドリアリティ、ミックスドリアリティなど、その構成要素が見え始めています。
例えば、ゲームをよくする人、バーチャルリアリティに積極的に取り組む人、最先端のAIコンセプトの制作に携わっている人などは、間違いなくその始まりを実感していることでしょう。しかし、次のようなものに比べれば、まだまだ初歩的なものです。 レディ・プレイヤー・ワン私たちが向かっているのは明らかにSFファンタジーだと思います。ただ、その最終的なビジョンが、これまで多くのメディアで見てきたようなディストピア的なものではなく、テクノロジーが私たちの生活を本当に強化してくれる方法をもっと心に留めておくことができるようになればいいと思います。
人々はどのようにしてメタバースにアクセスし、そこでメディアを消費するのでしょうか？
CH:少なくとも当面は、空間的な物理的リアリティを体験するためには、何らかのヘッドマウントデバイスが必要になるでしょう。という話を聞きました。 コンタクトレンズ で AWE 今年は顔に装着することで、デジタルコンポーネントと物理的なコンポーネントとの相互作用を可能にするインターフェースが登場することになります。
現在、腕時計が携帯電話と連動しているのと同じように、メガネが使われるようになると思います。そして、ホログラムやデータの視覚化、情報、エンターテインメント、広告などが、残念ながら世界のあちこちで見られるようになるでしょう。そして、バーチャルリアリティの要素に入ると、それはより包括的なデジタルリアリティとなり、私たちの物理的な形や物理的な経験の制約はもはや存在しません。バーチャルリアリティで可能になることは、特に技術が発展するにつれて、魅力的で、クレイジーで、エキサイティングなものになっています。
無限の創造性をもたらす無制限のファイル転送
MASVに登録すると、1つのファイルで最大15TBまで送信できます。
メディアやエンターテインメントへの影響はどうでしょうか？
CH:この20年間でわかったことは、エンターテインメントにはさまざまな形があるということです。最近、人々が争っているのは、視聴者の関心です。エクステンデッド・リアリティがより成熟してくれば、観客がコンテンツに関わる時間を過ごすための、もうひとつの手段になると思います。そして、それは他のものと同じです。時間の奪い合いになります。VRチャットで、お気に入りのミュージシャンのライブ演奏を見ていたいですか？それとも、Netflixを見ていたいですか？
もしかしたら、Netflixの番組が、ある時点で私のテレビから飛び出してきて、本当に没入感のある体験ができるかもしれません。それがどんなに素晴らしいことか想像してみてください。テレビ番組のドラッグトリップのシーンを見ていると、突然、寝室全体が30秒ほどドラッグトリップ状態になるのです。このように、創造性を発揮できる方法はたくさんあります。そして、より多くの人々が複合現実体験に興奮するようになることを願っています。
バーチャルプロダクションという概念は、コンテンツ制作者にどのような影響を与えるのでしょうか？
バーチャルプロダクションスタジオ Unreal Engine
CH:バーチャルコンテンツ制作の面白さは、汎用性の高さにあります。従来のテレビ番組のように撮影可能な世界を作ることができるだけでなく、その世界をバーチャルリアリティの要素にして、人々が中に入り、自分を配置し、歩き回れるようにすることもできるのです。従来型のコンテンツやフレーム型のコンテンツを作るためのデジタルアセットを作れば作るほど、そのアセットをクリエイターとして活用し、奇妙で楽しい、実験的な活動を行うことができるようになります。あるいは、次のようなことができます。 NFTとして販売.デジタル資産だからこそ、できることはいくらでもあります。
私が2000年以前の映画で好きなのは、何かが爆破されるのを見て、「ああ、これは本当に爆破されたんだな」と思うことです。そういう意味では、バーチャル・プロダクションは、物理的に行われたという感覚を完全に代替することはできません。しかし、そのメリットは、道路を封鎖して人々の日常生活に支障をきたすことや、大掛かりな爆発をしなければならなかったために撮影時に大量のゴミを出すことがないことです。
Skylar Sweetman:クリスティーナが言っていた、バーチャルな制作パイプラインのためのバーチャルな資産や空間の多様性について補足しておきます。私たちが話した "爆発 "は、何度でも繰り返し起こるものです。ギャラリースペースや体験型のウォークスルーで、一般の人がその熱気を感じ、映像として見ることができ、それが映画やテレビ番組の中で起こったことと同じである。デジタルアセットを拡張する方法はいくらでもあり、クリエイターや技術者にとってはエキサイティングなことです。なぜなら、これはとても新しく、開かれたフロンティアだからです。コラボレーションの可能性は無限大です。ハリウッドやエンターテインメントの世界では、常にこのような傾向が見られます。クリエイターは技術者を必要とし、技術者はクリエイターがどこでそれを後押しするかを知る必要があるのです。
メタヴァースにおいて、メタステージはどのような役割を果たしているのでしょうか、また将来的に果たしたいと考えているのでしょうか。
CH:私たちは3年ほど前から活動していますが、主な目的は、本物の人間のパフォーマンスをメタバースに導入することです。つまり、人形のような合成アバターを作るのではなく、伝統的かつバーチャルな制作ツールや手法を用いて、実在の人物の実写パフォーマンスを仮想現実や拡張現実に導入するのです。
そこで私たちは、ボリューメトリックビデオやボリューメトリックキャプチャーを行っています。私たちは、スポーツ選手、ミュージシャン、公人などを撮影してきました。1960年代のブラックパンサーやホロコーストの生存者も撮影しています。私たちは、非常に高品質で高解像度のキャプチャーを誇りとしています。これは、その人物の隣に立ったり、向かい合って座ったり、観察したりしたときの、本物に最も近い状態を意味します。将来的には、ミュージシャンやパフォーマンスをメタバースにライブ配信するような、ボリューメトリックなライブ映像も視野に入れています。
の多くの専門家とも協力しています。 ライダースキャン 現実世界の環境を仮想現実や拡張現実の空間に持ち込むことができます。私は、メタバースが合成された人間やキャラクターだけであってほしくはありません。現実の世界や物理的なリアリティに感謝できるようなものでなければなりません。これはとてもクールなニッチな分野であり、重要なことだと思っています。
ボリューミーな映像とは？
SS:ボリュームビデオのコンセプトは、人や動物の周りに複数のカメラを配置し、その人を上から、周りから、下から、あらゆる角度から撮影するというものです。人の体のあらゆる部分を撮影します。そして、すべてのビデオデータを処理して、ステージ上で起こったことを正確に、写真のようにデジタルで再現した3Dアセットを作成することができるのです。 トラッキングドットを使う必要もありません。人形劇やバーチャルリギングもなく、視覚効果もありません。舞台上で起こったことを3Dで忠実に再現しているのです。そういう意味では、教育技術や、バーチャルなデジタル環境の中で本物の人間の存在感を必要とするものにとっては、とてもユニークで素晴らしい技術だと思います。
CHです。 例えば、スポーツの分野では、有名なスポーツ選手を呼んで、その選手が得意とする技を披露してもらったり、その選手の身体的な存在感を示すことで、成功を収めています。 の合成アバターが出てきました。 レイ・アレン は、伝説的なスリーポイントショットを実際に行った人ほどクールではありません。
また、ミュージシャンとの共同作業も多く行ってきました。ミュージシャンは常に最先端であることを望んでいます。 最近では、ゲームエンジンで制作されたミュージックビデオやCMの3Dパフォーマンスキャプチャーを行うようになりました。その際、ボリューメトリックな映像はMetastageでキャプチャーされ、バーチャルプロダクションのVFXパイプライン内のヒーローアセットとなります。
を使ったマーケティング・アクティベーションを数多く行ってきました。 第8の壁 とQRコードを使っています。アプリをダウンロードしなくても、QRコードをスキャンすると、目の前に小さなホログラムが現れ、その人をリビングルームに連れてくることができます。最近では、スノーボーダーの世界チャンピオンである クロエ・キム:スキーパスを手に入れ、QRコードをスキャンすると、クロエ・キムがリビングルームに現れて、これからのスキーシーズンについて話してくれます。
360/immersive videoとvolumetric videoの違いは何ですか？
CH:360ビデオは全く異なるプロセスであり、360ビデオのように複数のカメラを使って周囲の世界を撮影するボリュームキャプチャーと補完関係にあります。また、LIDARスキャンやフォトグラメトリーのように、環境を高解像度で空間的にスキャンする方法もあります。
一方、ボリューミーな映像は、内側に撮影して、あらゆる角度からパフォーマンスを撮影するものです。しかし、撮れるのは 360ビデオ を作成し、その360映像の中でボリューメトリックキャプチャを行うことで、リアルな没入感のある映像体験を実現します。
ボリュームのある映像の撮影には、どのような機材が必要ですか？
CH:それはあなたの目標と、どのボリウムシステムを使っているかによります。Metastageはプレミアム・ボリューメトリック・キャプチャー・プロバイダーです。つまり、最高級の機材を使用しています。106台のカメラを使ってパフォーマンスを撮影し、その上でマイクロソフトのテクノロジースタックを使ってデータを処理しています。私たちは、可能な限り最高の品質を提供するプロの制作スタジオの範疇に入ります。とはいえ、世間で思われているほど高価なものではありませんよ。106台のカメラを使用し、データは50枚羽根のオンプレミスのレンダーファームで処理しています。 アズール オーバーフローのクラウド処理
その一方で、他のソリューションにも目を向けます。 Scatter's Depthkitこれは、より消費者に近いボリュームのある製品です。これは非常に異なるシステムです。カメラの台数はかなり少ないですが、現場などに置いて、1人か2人のスタッフでボリューメトリックキャプチャーを行うことができるシステムなのです。このように、ボリューメトリックビデオ制作にはさまざまな選択肢があります。ただ、一般的にはカメラの数が多ければ多いほど、質的な違いが出てくると思います。
デプスキット-スキャッター
SS:面白いことに、iPhoneを何台も持っている人は、技術的にはボリューメトリック・キャプチャー・リグのようなものを作ることができます。それはとてもクールなことです。そのレベルで考えると、ちょっとワクワクしますよね。
解像度やフレームレートについてはどうですか？一般的にはどのようなものを使用するのでしょうか？
私たちは通常、毎秒30フレームで撮影します。60フレームで撮影することもできますが、その場合はデータ量が2倍になってしまいます。最高画質である1200万画素で撮影した場合、1秒間に30ギガバイトの生データを取り込んでいることになります。4メガピクセルで撮影した場合は、1秒間に10ギガバイトの生データを取得しています。ですから、毎秒30フレームで撮影しています。毎秒60フレームで撮影すると、データ量が2倍になり、処理にかかる時間と費用、エネルギーが増えてしまうからです。60フレームで撮影したのは1回だけで、それは特に動きの速い選手を撮影した場合でした。それはとても短い時間の撮影でした。
また、最終的な体験をどこで行うかによって、ポリ数（ホログラフィック・キャプチャのメッシュのポリゴン数）を調整します。ウェブ上のAR体験であれば、ウェブ上で配信されるため、ポリ数や解像度をできるだけ小さくしたいと考えています。その場合は、1.5Kの解像度で10,000ポリゴンが最小だと思います。
先日、Snapchatとの撮影を行いましたが、ポリ数や解像度をSnapchatに掲載できるサイズにするために、とても苦労しました。逆に、先日のSnapchatの撮影では Metacast UFCの新しい概念実証のためのユニティしかし、彼らは独自の圧縮システムにかけるつもりだったので、私たちは最大の解像度で撮影しました。60,000ポリゴン、ほぼ4Kの解像度です。
私たちは常に、ファイルの大きさや必要とされる品質を評価しています。1秒間に30ギガバイトの生データを、1分間に70メガバイトにする必要がある場合、私たちはそれを定期的に行っています。コンテンツを可能な限りストリーミングし、可能な限り小さくすることは、当初から行ってきたことです。
テラバイトの生データをクラウドで送る
特殊なカメラレンズやカメラの種類を必要としたり、使用したりすることはありますか？
VOLUCAM 89B64CV リプレイカメラ
CH:私たちは IOIカメラ.それはマシンビジョンカメラです。そのうち53台はRGBカメラで、被写体の視覚と文字のデータを取得し、残りの53台は赤外線カメラで点群を撮影し、そこからメッシュを導き出します。メッシュはこうして作られます。メッシュにはUVマップがあり、ビジュアルやテキストデータをメッシュのUVマップに当てはめて、ホログラムを作成します。
SS:レンズも様々なものがありますよね。難しい数字ではありません。私たちは16mmのレンズを使っていますが、もっと広いものも、もっと狭いものもあります。技術スタックとアプリケーションに依存します。
ファイルサイズが大きいとのことですが、ボリュウムビデオの平均的なファイルサイズはどのくらいですか？
SS:クリスティーナが言ったように、12メガピクセルで撮影した場合、1秒間に30フレームで30ギガバイトのデータを扱うことになります。そして、パフォーマーが撮影するには数回の撮影が必要になるかもしれません。 そのため、データ管理は私たちの世界の一部であり、よく考えています。 私たちは、オーバーフローの処理のためにも、またストレージのためにも、Azureを使うことが多いです。
しかし、最終的なアセットの話になると、106台分のカメラの映像データをすべて取り込んで、小さなストリーミングファイルを作成するプロセスになります......何百万ものポイントを持つ巨大なポイントクラウドから始めます。そして、それが巨大なテクスチャーを持つ密閉されたメッシュになります。それを何度も何度も繰り返して、1分間のボリューム感のある完全な3Dパフォーマンスで100メガバイト以下にするのです。
Azureに格納した最大のプロジェクトの例を教えてください。
CH:60～70テラバイトといったところでしょうか。これにはソースデータなども多く含まれていて、クライアントが最終的に再処理をしたい場合などに備えて保存しています。ですから、これは未処理です。パイプラインには通していません。ただの生データなのです。クラウドストレージが登場する前は、このようなワークフローをどうやって実現していたのか分かりませんでした。
オーディオはどうですか？3Dサウンドの録音や制作はどのように行いますか？
CH:私たちは、素晴らしいオーディオチーム（Echo VR）と仕事をしています。私たちは、映像と同様にオーディオにも力を入れています。多くの撮影では、プロのプロダクションの撮影と同じように、ラベリアを使用してきれいな音声を収録しています。また、信頼できるクリーンなオーディオソースとして、ゼンハイザーのショットガンマイクも使用しています。水着などの衣装でラベリアが使えない場合は、ショットガンマイクを使用します。そして、すべてをPro Toolsの典型的なサウンド・クリーンアップとマスタリングのプロセスにかけ、最終的な成果物に添付します。
続きを読む オーディオファイルのフォーマットについて
ボリューメトリックビデオは、未来のメタバースの必須アイテム？
CH: ボリューメトリック・キャプチャーがなくても、メタバース体験は可能です。私はいつもVRでそれを行っています。 AltspaceVR とVRチャット。私たちはみんなアバターです。合成された世界を探索しています。それはとても楽しいことですし、ボリュームのあるビデオも必要ありません。しかし、メタバースがその真の可能性を発揮するためには、そこに生身の人間を移植する必要があります。そのためには、私たちにしかできないことがあります。
ボリューメトリック・プロダクションとバーチャル・プロダクションの関係は？交差していますか？
高品質のボリューメトリックビデオを使ってアクターやパフォーマーを撮影すれば、そのアセットは他の3Dアセットと同じように柔軟に扱えるようになります。また、すべてをゲームエンジン内で制作している場合、LEDの壁の前に人が立っていて、それを撮影するようなバーチャルな制作シナリオとは異なり、実際の人間がそのバーチャルな制作シナリオの一部となることができます。すべてをインエンジンで行うことができるのです。
SS:そして、R/GAのチームができたことを考えると そのためには、膨大な予算と、より多くのスタッフと時間が必要となりますが、そのようなことはできませんでした。 そして、そのショットを何度も行う必要がありました。しかし、このヒーローの資産があったからこそ、その後のことはすべて柔軟に対応できたのです。
今後、バーチャルプロダクションやボリューメトリックキャプチャーはどのように進化していくのでしょうか？
CH:コンテンツを作る上で、より柔軟性を持たせることができると思います。理想的なのは、ディレクターやビジョナリーだけではなく、パフォーマーにも役立つことです。監督がポストでショットを設定できるので、何度もテイクを重ねる必要がなくなるかもしれません。
メタステージ社のクリスティーナ・ヘラー氏とスカイラー・スウィートマン氏には、メタバース体験を生み出すための技術的なニュアンスと、それがメディアやエンターテインメントに与える影響について教えていただきました。メタステージ社がどのようにしてボリュームビデオとバーチャルプロダクションを使い、デジタルメディアのために本物の人間のパフォーマンスを撮影しているかについては、以下をご覧ください。 メタステージドットコム.
メタバースは、私たちのデジタルと物理的な現実の境界線を取り除くことを約束するものです。このコンセプトは野心的なものですが、ゲームやメディア技術の進歩により、実現できないことはありません。ボリューメトリックビデオやバーチャルプロダクションは、クリエイティブなプロが人間をデジタルの世界に統合する2つの方法です。あらゆる角度からフォトリアリスティックなパフォーマンスを撮影し、VFXによる世界観の構築や最新のレンダリングと組み合わせることで、クリエイターはより親密なレベルで人間に語りかけるコンテンツを制作することができます。
メタバースをはじめとするデジタル・ファーストの作品を世に送り出すためには、映画制作者と開発者がすべてのリソースを管理する必要があります。 膨大なものとなります。 高解像度のビデオキャプチャーやデータ量の多いプロダクションファイルから発生するファイルサイズ。ボリュームキャプチャーステージからVFXチームに映像を移動させたり、クライアントにプロキシを送って確認してもらうなど、大量のファイルにはMASVが必要です。
MASV は、メディア関係者がテラバイト級のデータをクラウド上で世界中の誰にでも素早く転送できるファイル共有サービスです。MASVは、150のグローバルデータセンターからなるネットワークと、転送速度の制限がないことにより、常に記録的な速さでファイルを配信しています。MASVで共有されるすべてのファイルは、暗号化されており、バックアップされています。 Trusted Partner Network 評価、コンテンツ保護の業界標準。 今すぐサインアップ をMASVに登録すると、次回の転送時に20GBが無料になります。
どこからでも大容量ファイルの送受信が可能
最速の大容量ファイル転送サービス「MASV」で、20GBを使い倒す。