ビデオアップスケーリングとは何か、どのように賢くなるのか？

ビデオのアップスケーリングというと、映像関係者以外には、裕福な映画鑑賞者のための贅沢なサービスのように聞こえるかもしれません。しかし、現実はそれよりもずっと派手ではなく、限りなく便利なものなのです。

ビデオアップスケーリングは、低解像度のコンテンツをより強固なスクリーンサイズに合わせてリサイズするものです。テレビや映画を見る人なら、ほぼ全員が経験したことがあることです。しかし、ほとんどの場合、彼らはそれを意識していない。

ほとんどのテレビとその接続機器（プレイステーション、ブルーレイプレイヤー、Rokuなど）は、解像度の小さい動画を再生する際に自動的にアップスケールします。

とはいえ、自分で作った動画を手動でアップスケールすることも可能です。たとえば、4Kで撮影した新しいプロジェクトに古い（そして低解像度の）コンテンツを追加する場合です。

ビデオのアップスケーリングには、メリットとデメリットがあります。首尾一貫した動画再生のために不可欠な場合もある。いずれにせよ、まずはビデオアップスケーリングとは一体何なのか、どのような仕組みなのかを説明する必要があります。

説明の通り、テレビのビデオアップスケーリングは、自動的に ケチョンケチョンにする 動画が画面上の利用可能な画素をすべて使い切らない場合。アップスケーリングは、この不足分を「補間アルゴリズム」によって補う。テレビは、周囲の画素の構成に基づいて、空白の画素を情報で埋めます。こうして、画面全体に動画を引き延ばす。

いくつかのステップ は、アップスケーリング時に発生する必要があります。このプロセスは、ソースの解像度を決定するための信号分析から始まります。その後、ノイズ除去、エッジとテクスチャの分析、画像のシャープネス処理が行われます。そして最後に、ターゲットとなる画面解像度（例えば4K）への変換が行われます。

現在、映像のアップスケーリングは4Kディスプレイで行われることがほとんどです。しかし、サムスン（および他のブランド）は 枠にはまらない 近年ではAIを活用した8K映像のアップスケーリングに関する技術を開発したそうです。 "人間が設計したアルゴリズムが、線、光、色などさまざまな映像品質をインテリジェントに分析し、それぞれを改善することでディスプレイの解像度を向上させる "と、同社はブログで説明しています。

確かに。 AI対応ビデオアップスケーリング 基本的には通常のアップスケーリングと同じですが、機械学習によって画像の文脈をより適切に判断し、より詳細な情報を追加することができます。

実際、Nvidiaの Maxine Video Effects SDK Upscaler（マキシン・ビデオ・エフェクツ・SDKアップスケーラー は、ノイズの多い低帯域の画像を扱う場合でも、AIによってディテールを追加し、解像度を向上させることができます。

多くの映像制作のプロフェッショナルが、さまざまな理由でマニュアルアップスケールを使用しています。ここでは、上記の例と同じように、ネイティブ4Kのプロジェクトで古いコンテンツを扱う場合を例に説明します。しかし、ビデオをアップスケールする際には注意が必要です。

アップスケーリングには、映像をリアルタイムで解析・解釈するコンピュータが必要です。そのため、映像のアーチファクトやその他の映像品質の問題が発生する可能性が高くなります。

自作の動画をアップスケールするテクニックはいくつかあります。

ここ数年、AIを駆使したアップスケーラーが続々と登場しています。代表的なものをいくつか紹介します。

YouTube GreenBoxでは、以下のような素晴らしい概要を紹介しています。

注意してください。 上の動画で紹介されているRed Giant 4Kは、どうやら 廃れた.

Handbrakeのオープンソースソフトウェアは、潜在的な品質問題を理由にアップスケーリングを推奨していませんが、その ドキュメンテーション は、コマンドラインインターフェイスの -width と -height オプションを使用することで可能であることを示します。

これは Adobe Premiere ProとAfter Effectsでビデオをアップスケールする方法。