動画アップスケーリングとは何か、どのようにスマートになるのか？

ビデオのアップスケーリングというと、映像関係者以外には、裕福な映画鑑賞者のための贅沢なサービスのように聞こえるかもしれません。しかし、実際はそんなに派手なものではなく、一般的に普及していて便利なものなのです。

動画アップスケーリングは、低解像度のコンテンツをより柔軟にスクリーンサイズに合わせてリサイズするものです。テレビや映画を見る人なら、ほぼ全員が経験したことがあることですが、大抵の場合、動画アップスケーリングを意識することはありません。

ほとんどのテレビとその接続機器（プレイステーション、ブルーレイプレイヤー、Rokuなど）は、解像度の小さい動画を再生する際に自動的に動画をアップスケールします。

自分で作った動画を手動でアップスケールすることも可能です。たとえば、4Kで撮影した新しいプロジェクトに古くて低解像度のコンテンツを追加する場合などは、手動でスケール処理を行います。

動画のアップスケーリングには、メリットとデメリットがあります。アップスケーリングは一貫してまとまった印象のある動画再生のために不可欠なものです。まずは、動画アップスケーリングとは一体何なのか、どのような仕組みなのかを説明していきます。

上で説明したように、テレビの動画アップスケーリングは、映像が画面上の利用可能なピクセルをすべて使い切らない場合に自動的に作動します。アップスケーリングは、この不足分を「補間アルゴリズム」によって補います。テレビは、周囲の画素の構成に基づいて、空白の画素を情報で埋めることによって、画面全体に映像を引き延ばすのです。

アップスケーリングの際には、いくつかのステップを踏む必要があります。まず、信号の解析から始まり、ソースの解像度を決定します。その後、ノイズ除去、エッジとテクスチャの分析、画像のシャープネス処理が行われます。そして最終的に、ターゲットとなる画面解像度（例えば4K）への変換が行われます。

現在、映像のアップスケーリングは4Kディスプレイで行われることがほとんどです。しかし、 サムスン (そしてその他の関連ブランド)は、近年 枠にはまらない ソリューションで、AIを活用した8K映像のアップスケーリングに関する技術を開発しました。 "人間が設計したアルゴリズムが、線、光、色などさまざまな映像品質をスマートに分析し、それぞれを改善することでディスプレイの解像度を向上させる "と、同社はブログで説明しています。

実際、AI対応の動画アップスケーリングは、基本的に通常のアップスケーリングと同じことを行いますが、機械学習によって画像のコンテキストをより適切に判断し、より詳細な情報を追加することができます。

実際、 NvidiaのMaxineビデオエフェクトSDK Upscaler では、ノイズの多い低帯域の画像を扱う場合でも、AIによって細部を追加し、解像度を向上させることを実現しています。

多くの映像制作のプロフェッショナルは、さまざまな理由で手動でアップスケールを使用しています。ここでは上記同様、ネイティブ4Kのプロジェクトで古いコンテンツを扱う場合を例に説明していきます。しかし、ビデオをアップスケールする際には注意が必要です。

アップスケーリングには、映像をリアルタイムで解析・解釈するコンピュータが必要です。これによって、映像のアーチファクトやその他の映像品質の問題が発生する可能性がも出てきます。

自身の動画をアップスケールする方法はいくつかあります。

ここ数年、AIを駆使したアップスケーラーが続々と登場しています。代表的なものをいくつか紹介します。

YouTube GreenBoxでは、以下の動画で素晴らしいコンテンツを紹介しています。

メモ： 上の動画で紹介されているRed Giant 4Kは、どうやら 提供中止しているようです.

Handbrakeのオープンソースソフトウェアは、品質の問題が発生する可能性があるため、アップスケーリングを推奨していませんが、 その ドキュメンテーション では、コマンドラインインターフェイスの -width （幅）と -height（高さ）オプションを使用することで可能であることを示しています。

ここでは Adobe Premiere Proで動画をアップスケールする方法 とAfter Effectsの2種類を紹介します。