クラウドアーカイブメリット、課題、ベストプラクティス

| 2024年07月15日

クラウドやその他の場所にホスティングされるアーカイブは、ストレージのバックアップに少し似ている。しかし、バックアップとは異なり、アーカイブは長期保存され、アクセス頻度の低いデータ用である。

しかし、クラウドアーカイブとは一体何なのか、データをアーカイブする従来の方法とどう違うのか、そして クラウドアーカイブのベストプラクティスは? 私たちがお答えします。さあ、手に入れよう。

目次

クラウドアーカイブのためのビッグデータ・インジェスト

Amazon S3 Glacierのような複数のクラウド・アーカイブ・ソリューションに、一元化された場所から大量のデータを取り込む。

なぜメディアやその他のデータをアーカイブするのか?

ビデオ会社やポストプロダクションは、ストレージスペースを確保し、万が一(情報監査時、クライアントから3年前の映像を求められた場合、災害復旧時など)ファイルが必要になった場合に備えて、データアーカイブを利用することが多い。

アーカイブストレージは、コールドデータストレージとしても知られている。ビデオ編集者やその他のポストプロフェッショナルにとって、データをコールドストレージに保存しておくことは、以下のような、より高速で応答性の高い「ホット」ストレージの空き容量を確保するのに役立ちます。 RAIDアレイまたはネットワーク接続ストレージ (NAS)デバイス。

アーカイブは、セキュリティ上の懸念や、コールドストレージからの退出には費用と時間がかかるため、データの保管やアクセスに厳格なルールを設けていることが多い。

クラウドアーカイブとは?

. クラウドアーカイブ 通常、Amazon S3オブジェクトストレージやGoogle Cloud StorageのようなStorage-as-a-Serviceパブリッククラウドを経由する。クラウド・アーカイビングは、企業がクラウドを利用できることに気づいて以来、人気を博している:

  • アーカイブされたデータを、どのような規模でも、よりコスト効率よく(そして、アーカイブされたデータを社内で保管するよりもはるかに少ないメンテナンスと心配で)保管することができます。どのようなアーカイブソリューションも、通常、実質的に無制限の規模とコールドデータストレージをGBあたりわずか数円で提供します。
  • 高価なオンプレミス機器の購入とアップグレードによる巨額の設備投資(およびその機器の保守、更新、パッチ適用にかかる運用投資)を回避する。

クラウド以前は、ほとんどのメディア企業が リニアテープ・オープン (磁気テープの一種であるLTO)にアーカイブデータを保存する。

クラウドアーカイブとクラウドバックアップ

. クラウドアーカイブとクラウドバックアップ 同じように聞こえるかもしれないが、そうではない:

  • バックアップ は、定期的な間隔で新しいデータがコピーされ、データの復旧が必要な場合に備えて比較的アクセスしやすい状態に保たれ、本番データがリアルタイムで進化するのに伴ってデータが変更されることがよくあります。通常、オンサイト(物理ストレージに保管されている場合)またはアクセスしやすい場所に保管される。 クラウドストレージ無期限に保管されるわけではない。
  • アーカイブ はデータを一度オフサイトに移し、無期限に安全な場所に保管する。データは変更も増強もされない。アーカイブからデータを取り出すには時間がかかることが多い。

クラウドアーカイブとテープアーカイブの比較

LTOテープは何年も前から使われており、メディア・アーカイビストにとっては伝統的な方法である。LTOテープアーカイブは通常、磁気テープのデータをカートリッジに保存し、安全な場所(通常はオフサイト)に保管します。

  • テープ・ライブラリーは、カートリッジの保管と取り出しにロボットを使うことが多く、その数は数千にもなる。
  • テープの性質には限りがあるため、テープ・ライブラリはデータが増えるにつれて拡張され続ける(ただし、LTO-7テープは最大6TBのデータを保持できることは注目に値する)。
  • テープ・ライブラリは、リニア・テープ・ファイル・システム(LTFS)などのファイル・システムで構成されることが多い。

LTOテープがアーカイブによく使われるのは、テープは耐久性があり、保存可能期間が長く(最大30年)、アーカイブデータをディスクに保存するよりも安価だからだ。テープ・ライブラリーの欠点は、テープには特定の 保存条件 温度は華氏70度前後、相対湿度は40%である。

プレースホルダー画像

クラウドのコールド・ストレージにはイグレスが遅いものもあるため、テープ・ライブラリからデータを取り出す方がクラウド・ストレージよりも速い場合もある。

しかし、LTOテープは、セキュリティ、検索機能、冗長性、アップタイム、利便性に優れ、安価であることが多いクラウド・アーカイブ・オプションと比較すると、一般的に人気が落ちている。

MASVによるデータ取り込みの一元化

MASVは、最もホットなものから最もコールドなものまで、オンプレムでもクラウドでも、接続されたストレージ先への単一のエントリーポイントとして機能する。

クラウドアーカイブをめぐる課題とその解決方法

クラウドアーカイブの導入と管理に課題がないわけではないが、こうした課題の中には、社内にクラウドに関する専門知識がないために、誤った設定をしてしまうことも少なくない。

そして、設定ミスは、コストの上昇、パフォーマンスの低下、クラウドデータアーカイブへのコンテンツの取り込み効率に関する信頼の欠如につながる可能性がある。

クラウドの設定ミスはどのようにして起こるのか?

一般的にクラウドストレージの主な利点の1つは、容量が事実上無制限に拡張できることだが、無制限に拡張できる代償として、足元をすくわれることが非常に多い。このことを念頭に置いて、クラウドアーカイブを正しく導入するには、十分な計画と戦略が必要である。

残念ながら、多くの企業は計画段階を飛ばしてすぐに飛び込んでしまう。

「メディアクラウドのコンサルタント会社Tyrellのクラウドプロダクトマネージャーであるニック・ソーパー氏は、次のように語っている。 MASV.

結局のところ、クラウド・アーカイビング・サービスによって導入されたピカピカの管理コンソールに、誤った安心感を抱いてしまいがちなのだ(アドバイス限られた状況以外では、コンソールを使わないこと。 しかし、これについては後述する)。

プレースホルダー画像

ソース アマゾン

課題1:保管コスト

クラウドの設定ミスの中には、Amazon S3のオブジェクト・ストレージ・バケットを一般からアクセス可能なままにしておくようなものがある(これは"リーキーバケット")、サイバーセキュリティやデータ侵害の大きなリスクにつながる可能性がある。

しかし、その他の設定ミスは、非効率的なワークフロー、コストの増大、クラウドアーカイブはより高価であるという誤解につながる可能性がある。

例えば、たった1つの設定ミスが、クラウド・コストの急上昇を引き起こす可能性がある、 アーカイブ・ストレージのワークフローを特定のバケットやパスに固定せず、ビジネス・ユーザーが現在のデータをクラウド・アーカイブに取り込むことを可能にする。.

コールドクラウドストレージは、一般的にホットストレージオプションよりも安価だ。しかし、現在のデータをアーカイブ・ストレージに保存しておくと、そのデータにアクセスする必要が生じた場合(いつ?

について Amazon S3例えば、ストレージクラスによってコストが大きく異なることを意味する:

ストレージタイプ ストレージコスト(GBあたり)
S3スタンダード $0.021-$0.023
S3スタンダード・インフリークエント・アクセス $0.0125
S3 Glacierインスタント検索 $0.004
S3 グレイシャー・フレキシブル・リトリーバル $0.0036
S3 氷河ディープ・アーカイブ $0.00099

上に示したように、GBあたりのストレージコストは、より低温のストレージ・オプションになればなるほど低下する。

素晴らしい!ということは、私たちのデータをすべてコールド・ストレージに保管すればいいということですね?

データの取り出しと検索のコストは、低温のストレージほど高くなる:

ストレージタイプ データ検索リクエスト(1,000リクエストあたり) データ検索(GBあたり)
S3スタンダード 該当なし 該当なし
S3スタンダード・インフリークエント・アクセス 該当なし $0.01
S3 Glacierインスタント検索 該当なし $0.03
S3 グレイシャー・フレキシブル・リトリーバル $0.05-$10 $0.01-$0.03
S3 氷河ディープ・アーカイブ $0.025-$0.10 $0.0025-$0.02

ここでの教訓はクラウドストレージの設定を間違えて、ユーザーが現在のデータをクラウドアーカイブに取り込んだり、コールドデータをホットストレージに取り込んだりしないこと(これも高くつく)。.

実際、アーカイブデータをホットストレージに取り込むのも高くつく可能性がある(ただし、Amazonのようなプロバイダーは通常、時間単位で課金するだけなので、早めに見つけてデータアーカイブに移しさえすれば、ストレージコストはそれほど膨らまないはずだ)。

従来のアーカイブ・ストレージの隠れたコストも考えなければならない:テープを保管し、分類し、物理的なスペースのコストを管理する。

課題2:パフォーマンス

特に、上記のコストの例と似ているが、ユーザーが現在のデータをコールド・ストレージに保存し、再度取り出す必要がある場合だ。

コールドストレージからデータを要求する場合、物事を開始するのにも時間がかかることがある:まず、データ検索リクエストが処理されるまで待たなければならないが、通常は数時間かかる。

その後、アーカイブはデータを回収する必要があるが、それには文字通り何日もかかる。

コストと同様、納期も長い。 コールドストレージからのデータ検索 低温貯蔵のレベルに大きく左右される:

ストレージタイプ データ検索所要時間
S3スタンダード ミリ秒
S3 Glacierインスタント検索 ミリ秒
S3 グレイシャー・フレキシブル・リトリーバル 1~5分(迅速)、3~5時間(バッチ)、5~12時間(バルク)
S3 氷河ディープ・アーカイブ 12~48時間

アマゾンのようなクラウド・プロバイダーは、ミスを犯しても非常に寛容に対応してくれるとはいえ、今すぐ必要な重要なビジネス・データがGlacier Deep Archiveに埋もれてしまっては困る。

💡 データ検索に許容できる所要時間は、データの種類と使用ケースによっ て異なります。場合によっては、柔軟な検索オプションが最適なこともあります。

課題3:管理コンソール/ポータル

私たちは今、これだけは言いたい: AWS Management Console、Azure Portal、Google Cloud Consoleなどの管理コンソールやポータルを使ってクラウドサービスを管理している場合、おそらくそれは間違っている。.

大手パブリッククラウド・プロバイダーの管理コンソールは通常、見た目が良く、新規ユーザーが馴染みやすいように設計されている:多くの場合、いくつかのボックスにチェックを入れるだけで、システムの設定は完了する。

  • 問題なのは、これらのボックスにチェックを入れるのは実に簡単で、間違ったボックスにチェックを入れると、悪影響が連鎖し、最初はわからないかもしれないが、時間が経つにつれて途方もない量の問題を引き起こす可能性があるということだ。
  • 多くのコンソールは混乱しやすく、モジュール間でルールに一貫性がないため、ある変更がシステムの他の部分に及ぼす影響を完全に理解することは不可能に近い。
  • また、設定ミスがあった場合、共同作業者が何が行われたかを確認するのは非常に難しい。

これらの理由からである。 パブリッククラウド・プロバイダーの管理コンソールを使って本番環境にデプロイしないことをお勧めします。.コンソールは良い出発点かもしれないし、役に立つかもしれないが、長期的に成功するための準備にはならない。

インフラストラクチャー・アズ・コード(IaC)やコマンドラインツールを使ってデプロイする方が、はるかに危険性が少なく、効果的だ。このアプローチにはいくつかの利点がある:

  • 審査プロセスがある他のチームメンバーにも見えるようにすることができます。レビュールールを強制することで、誰かが最初にレビューしなければ、その変更をデプロイできないようにすることができます。
  • ルールを設定することもできます。 例えば、S3バケットをパブリックに設定することを許可しないなど。例えば、S3バケットをパブリックに設定することを許可しないといったルールを設定できる自動スキャンツール。

IaCやコマンドラインを使ってクラウドアーキテクチャをセットアップし、管理することは、セットアップに多くの設定、時間、費用がかかる。しかし、コストや脆弱性、無用なミスによる損害を大幅に削減できるという利点もある。

クラウドアーカイブの導入と管理:ベストプラクティス

クラウドアーカイブを導入する際には、主に2つの点に留意する必要がある:

  • ストレージのインジェスト経路を設定して、適切な担当者やアプリケーションが 右記憶.
  • データを適切に分類し、取り込まれたデータが自動的に適切なストレージバケットに入るようにする。

クラウドアーカイブを設定するためのその他のヒントをいくつか紹介しよう:

  1. ホットストレージに延期:原則として、まずすべてのデータをホットストレージに保存することを検討する。
  2. コールド・ストレージへのデータの自動化:一定期間経過後、最終的にデータを再分類し、コールド・ストレージに移動する自動化システムを構築する(ターンキー・ソリューションを購入することも、独自のルールを構築することもできる)。このプロセスだけで、高価なミスを犯すことはかなり難しくなる。クラウドストレージと統合されたデータアップロード/ファイル転送ツールを使用し、クラウドストレージプラットフォーム内でアーカイブに関するルールを設定することもできる(例えば、未アクセスのデータはX日後にアーカイブする)。
  3. PoCにはコンソールを使う:管理コンソールは、サンドボックス・アカウントでのみ概念実証に使用する(そのアカウントでのコストを監視するよう、十分に注意すること)。PoCが完成したら、IaCまたはコマンドラインを使って本番環境にデプロイする。本番でウェブ・コンソールを使用してミスを犯した場合、問題を再現できるように、クリックしたすべてを覚えておく必要がある。コマンドラインツールは、間違ったコマンドを入力するとジョブが動作しなくなるため、上記のシナリオを防ぐことができる。
  4. 特権アクセスをケチる:IT管理者は、アーカイブのためにデータを保存する必要があるビジネス・ユーザーや機能にのみ、特権的なストレージ・アクセスを与えるべきである。

MASVでクラウドアーカイブにデータを簡単に取り込む

他のクラウドストレージと一緒にクラウドアーカイブをセットアップして管理するのは大変な作業で、フロントエンドに多大な時間を投資する必要がある。

しかし、このような時間と労力をかける価値はある。なぜなら、データ・アーカイブ・プロセスを体系的に考え抜いたということであり、その結果、設定ミスやコストのかかるエラーが減るからだ。

一方、ホット・ストレージからアーカイブまで、複数のストレージ先と共有アクセスを管理することは、複数のストレージ・プラットフォームとユーザー権限を管理し、システム・セキュリティを処理しなければならないITチームにとって、すぐに管理上の悪夢になりかねない。しかし MASV集中インジェスト は、セキュリティを向上させながら、すべてのクラウドストレージにおけるデータ取り込みプロセスを簡素化するのに役立ちます。

集中インジェストは、ストレージプラットフォームレベルで複数のユーザーや権限を管理することなく、ストレージへのデータ取り込みを接続、管理、自動化するハブです。IT管理者は、MASVのブラウザーインターフェイスを通じて、クラウドアーカイブのような共有ストレージを簡単に接続し、すべてのクラウドストレージへの集中化されたセキュアで自動化されたゲートウェイ内で、インジェストアクセスを簡単に設定することができます: MASV.プロジェクトチームは、MASVを使用して、共有ストレージへのメディアを自動化することができます。 ユーザーフレンドリーなアップロード ポータル生産性を高め、管理を簡素化する。

MASVに登録する を今日から無料で利用できる。

バックアップ&アーカイブ・ストレージのワークフローを自動化

MASVは多くのクラウドプラットフォームと統合し、大容量メディアの保存を自動化することができます。