Die Gegenwart und Zukunft von Cloud Storage: Ein Gespräch mit Qumulo

MASV und Qumulo kündigte kürzlich eine Integration an, die einen hochleistungsfähigen, unternehmensgerechten Cloud-Dateningest für die Cloud Native Qumulo (CNQ) Cloud-Storage-Plattform ermöglicht.

Die neue Integration ermöglicht Fachleuten mit großem Datenbedarf die Kombination von MASVMit den vollständig verwalteten Dateimanagement-Services von Qumulo auf AWS können Sie die blitzschnellen und zuverlässigen Übertragungen von Qumulo nutzen.

Viel besser geht es doch gar nicht, oder? Nun, warten Sie ab: Vielleicht kann es das doch.

Das liegt daran, dass bei Qumulo auch extrem kluge Köpfe arbeiten, die den Finger am Puls der neuesten Trends in Sachen Cloud, Datenspeicherung und Performance haben. Wir haben uns kürzlich mit Daniel Beres, einem technischen Strategen bei Qumulo, zusammengesetzt, um zu erfahren, wie er den aktuellen Stand der Dinge einschätzt und wohin sie sich entwickeln, wenn es um Cloud-Speicher und Big Data-Workflows geht.

Kommen wir zur Sache.

Hinweis: Dieses Interview wurde aus Gründen der Länge und Klarheit leicht gekürzt.

• Wie hilft Qumulo bei der Handhabung großer Dateien im Speicher, insbesondere bei M&E- und KI-Workflows?
• Welches sind die größten Speicherengpässe, die Produktionsteams heute ausbremsen?
• Warum ist die MovieLabs 2030 Vision wichtig für die Zukunft der Produktion?
• Was ist Qumulo Cloud Data Fabric und wie hilft sie bei Sicherheit und Leistung?
• Welche Trends sehen Sie bei On-Premise-, Full-Cloud- und Hybrid-Implementierungen?
• Warum sind hybride Workflows immer noch so weit verbreitet?
• Was sind die häufigsten Missverständnisse über Cloud-Speicher?
• Wie hilft das Dateisystem von Qumulo, die Leistung von S3 zu verbessern?
• Wie wirkt sich die KI auf die Speicherung und die damit verbundenen Arbeitsabläufe aus?
• Wie geht Qumulo mit dem Problem der kumulativen Skalierbarkeit um, insbesondere beim Training von KI?
• Was werden Ihrer Meinung nach in den nächsten fünf Jahren die Trends im Bereich der Lagerung sein?
• Wodurch unterscheidet sich MASV Ihrer Meinung nach von anderen Dateiübertragungslösungen?
• Das ist ein Wrap...

Wie hilft Qumulo bei der Handhabung großer Dateien im Speicher, insbesondere bei M&E- und KI-Workflows?

Daniel Beres: Qumulo hat die Branche als Ganzes betrachtet und sich auf verschiedene Bereiche konzentriert, z. B. M&E, KI und andere Massenangebote für unstrukturierte Daten. Und das ist hier der Schlüssel: Unstrukturierte Daten. Wenn wir uns ansehen, wohin sich die Speicherung im Laufe der Jahre entwickelt hat, dann hat sie sich von Datenbanken und strukturierten Informationen zu etwas mehr Dateibasiertem oder Unstrukturiertem gewandelt.

Und einer dieser Schlüsselbereiche ist M&E. Wenn wir uns anschauen, was vor 20 Jahren mit Videorekordern aufgenommen wurde, war die Datenmenge, die gespeichert wurde, nicht sehr groß. Aber mit 4K, 8K und noch mehr Auflösungen haben wir es mit riesigen Datenmengen zu tun. Es ist eine Sache, Dateisysteme der Vergangenheit zu verwenden, aber damit schränkt man sich selbst ein - nicht nur bei der Leistung, sondern auch bei der Skalierbarkeit - und hier ist Qumulo einzigartig in der Branche.

Blended Sense Kundengeschichte

Wie MASV das volle Potenzial der Videoproduktionswerkstatt von Blended Sense "freisetzte" - und dem Unternehmen half, seine wertvollsten Freiberufler durch einfache, schnelle und problemlose Transfers zu halten.

Lesen Sie mehr >

Welches sind die größten Speicherengpässe, die Produktionsteams heute ausbremsen?

DB: Ich denke, es geht darum, dass neue Inhalte so schnell wie möglich in die Hände der Cutter oder der Abteilungen für visuelle Effekte gelangen, damit diese so schnell wie möglich mit der Arbeit beginnen können. In der Branche geht es nicht so sehr darum, wie viel Speicherplatz man hat, sondern darum, wie schnell man diese Informationen in den Speicher bringen kann.

Warum ist die MovieLabs 2030 Vision wichtig für die Zukunft der Produktion?

DB: Wir können zurückgehen und sehen, wie sich die Sicherheit auf verschiedene Filmveröffentlichungen in der Vergangenheit ausgewirkt hat, wo bestimmte Elemente an die Presse durchgesickert sind, und das hat einen guten oder schlechten Eindruck auf die Kunden gemacht, die sich diese verschiedenen Produktionen tatsächlich ansehen.

Unter Sicherheitsgesichtspunkten müssen wir also sicherstellen, dass nur die Personen, die Zugang zu diesen Video-Assets, diesen Elementen, benötigen, auch Zugang dazu haben. Oder wenn ein Studio Informationen mit einem anderen Studio teilt, dann nur das, was sie brauchen, damit nicht zwei Personen etwas tun können, was die Sicherheit gefährdet.

Was ist Qumulo Cloud Data Fabric und wie hilft sie bei Sicherheit und Leistung?

DB: Cloud Data Fabric ist unsere Implementierung eines globalen Namespaces. Globale Namespaces waren in der Vergangenheit eine Schicht über den Dateisystemen, unabhängig davon, ob auf Dateisysteme als Informationsblöcke oder als Informationsdateien zugegriffen wurde. Das war nicht gerade förderlich für den schnellen Austausch von Daten auf der ganzen Welt.

Wir haben also unsere Version eines globalen Namensraums in die Struktur unseres Cloud-Speichers, unsere Cloud Data Fabric, integriert. Damit können Sie auf diese Informationsblöcke - nicht nur auf Dateien - überall auf der Welt zugreifen, sei es an einem Edge-Standort, an einem zentralen Standort oder vielleicht in verschiedenen Studios. Jeder von ihnen kann direkt auf die Blöcke zugreifen, die Sie benötigen, um diese Assets für die Kreativen zu erstellen, egal wer sie benötigt.

Welche Trends sehen Sie bei On-Premise-, Full-Cloud- und Hybrid-Implementierungen?

DB: Wir sehen da draußen viele hybride Installationen. Es geht nicht nur darum, dass sie in der Cloud sein müssen. Es geht auch nicht darum, dass sie vor Ort sein müssen. Sie müssen an beiden Orten sein. Und die Möglichkeit, an beiden Orten gleichzeitig zu sein, ohne Daten replizieren, kopieren und verschieben zu müssen, und sie buchstäblich dort zu speichern, wo sie am meisten gebraucht werden, bedeutet, dass jeder Zugang dazu hat. Die Cloud Data Fabric, die wir implementiert haben, hat damit eine viel größere globale Reichweite.

Warum sind hybride Workflows immer noch so weit verbreitet?

DB: Das ist es, was wir sehen: Bei der hybriden Nutzung von Cloud- und On-Premise-Lösungen durch unsere Kunden geht es nicht so sehr um den Zugriff auf die Daten, egal wo sie liegen. Sie wollen dort auf die Daten zugreifen, wo sie sich gerade befinden. Und diese Möglichkeit, jederzeit auf die Daten zugreifen zu können, macht eine hybride Installation von Cloud Data Fabrics zur idealen Lösung.

Was sind die häufigsten Missverständnisse über Cloud-Speicher?

DB: Eine davon ist, dass es viel Geld kostet, in die Cloud zu wechseln. Und ja, wenn Sie das, was Sie heute vor Ort betreiben, buchstäblich in dieift-and-shift direkt in die Cloudwerden Sie viel mehr bezahlen müssen. Sie müssen sich ansehen, wie die Cloud Ihnen die Vorteile dessen bieten kann, was sie in ihren Umgebungen aufgebaut haben. Eine davon ist die Fähigkeit, jederzeit nach Bedarf und auf der Grundlage Ihres Workflows zu skalieren. Eine davon könnte ein Burst-Rendering sein: Sie brauchen nicht 300 oder 1.000 Rechner, die darauf warten, dass Sie Daten übertragen und sie dann tatsächlich nutzen, und die dann ungenutzt bleiben, wenn Sie fertig sind. Sie können die Fähigkeit innerhalb der Cloud nutzen, diese verschiedenen Arten von Szenarien für Burst-Rendering dynamisch zuzuweisen und aufzubauen. Sie können jederzeit von 300 Knoten auf bis zu 1.000 Knoten erweitern. So müssen Sie kein Geld ausgeben, wenn Sie diese Systeme nicht nutzen.

Cloud Native Qumulo macht genau das Gleiche: Wenn Sie täglich nur eine bestimmte Menge an Leistung benötigen, sollten Sie diese nicht erweitern. Fügen Sie keine zusätzlichen Knoten in unserer Infrastruktur hinzu. Lassen Sie die Infrastruktur einfach so weiterlaufen, bis Sie mehr Leistung benötigen, und erweitern Sie dann die Performance-Seite. Denn der Backend-Cloud-Speicher wird immer S3 sein, der sich naturgemäß nur vergrößert, wenn Sie ihn nutzen, und sich automatisch verkleinert, wenn Sie ihn nicht nutzen.

Wie trägt das Dateisystem von Qumulo dazu bei, die Leistung des Cloud-Speichers S3 zu verbessern?

DB: Cloud Native Qumulo hilft, einige der Engpässe zu beseitigen, die Sie möglicherweise mit S3. Einige davon könnten das Verhältnis von Dateien zu Objekten sein. Viele Kunden schreiben tatsächlich eine Datei in ein Objekt, wenn sie es in S3 schreiben - und das ist in Ordnung, wenn Sie Archivdaten speichern, aber wenn Sie es von einem transaktionalen Standpunkt aus betrachten, sagen wir, Sie rendern ein bestimmtes Element, oder vielleicht bearbeiten Sie online verschiedene Aspekte innerhalb einer Zeitleiste. Sie brauchen diesen iterativen Prozess, bei dem Sie Blöcke verschieben und die Datei zu jedem Zeitpunkt ändern können, was mit einem objektbasierten System nicht möglich ist.

Wir haben das also aufgeteilt. Wir schreiben tatsächlich Informationsblöcke in S3. Das ist etwas anderes. Wir tun dies absichtlich, denn nicht alle Blöcke sind die heißesten Blöcke, auf die Sie jederzeit Zugriff benötigen. Diese heißen Blöcke verbleiben in unserem Caching-Mechanismus, der in CNQ integriert ist. Dadurch, dass diese heißen Blöcke jederzeit für jeden verfügbar sind, müssen Sie nicht ständig zu S3 hin und her gehen, um diese Informationsblöcke abzurufen. Es geht also nicht so sehr um die Blöcke, die Sie gerade verwenden, sondern um die nächsten Blöcke oder die anderen Informationsblöcke, nicht nur die Dateien, sondern auch die Blöcke innerhalb dieser Dateien, auf die Sie möglicherweise zur gleichen Zeit zugreifen müssen wie auf die Blöcke, die Sie gerade verwenden.

Und warum ist das wichtig? Nun, Sie müssen nicht ständig Dateien hineinbringen und wieder herausspülen und wieder hineinbringen und wieder herausspülen. Sie verwenden buchstäblich nur die Blöcke, die Sie brauchen. Die meisten davon bleiben im Cache, und wenn sie im Cache sind, können auch andere Leute sie verwenden. So gehen Ihre Renderings von Stunden auf vielleicht Minuten zurück.

Wie hat sich KI auf die Speicherung und damit verbundene Arbeitsabläufe ausgewirkt?

DB: Was wir sehen, ist diese Verschiebung im Bereich Big Data, weg von der alten Methode der Batch-Analyse, hin zu einem moderneren Ansatz: "Bringen wir der KI bei, die Daten für uns zu analysieren. Das Tolle an der KI ist, dass wir jetzt einzigartige Möglichkeiten sehen, unsere Daten aus dem Videomaterial zu betrachten. Wir sehen bessere Möglichkeiten, um Wolkenformationen oder Wellen im Ozean zu erkennen. All das wird aus riesigen Datenmengen generiert, die wir im Laufe der Jahre gesammelt haben. Einiges davon ist seismische Aktivität. Einige davon sind Wellenformanalysen. Einige sind verschiedene Aspekte, die wir in anderen Filmen gesehen haben und die in neueren Produktionen besser dargestellt werden.

Aber die KI-Implementierung, die wir sehen, erfordert riesige Datenmengen, und diese Daten befinden sich überall in Silos. Das meiste davon muss an einen zentralen Ort gelangen, damit wir darauf zugreifen und etwas damit tun können. Ich sehe also einige der Herausforderungen darin, diese Daten nicht nur hochzuladen, sondern auch den Zugriff auf sie zu ermöglichen, sobald sie hochgeladen sind.

Wie geht Qumulo mit dem Problem der kumulativen Skalierbarkeit um, insbesondere beim Training von KI?

DB: Wenn wir etwa 10 Jahre zurückgehen, als man die Leistung mit dem Cloud-Speicher gleichzeitig erhöhen musste, um diese Informationen herauszubekommen, bedeutete ein Knoten mehr Speicher innerhalb dessen, was man tut, oder mehr Speicher, was bedeutet, dass man mehr Rechenleistung dahinter haben musste. Durch die Aufteilung dieser beiden Faktoren und ihre Trennung auf der Grundlage Ihrer Nutzungsanforderungen können wir entweder den leistungsstärksten Cluster erstellen, damit Sie auf Ihre Daten zugreifen können, oder sogar den Cloud-Speicher für diese Daten. Diese gehen in ein Modell über, das mehr auf die Cloud ausgerichtet ist, was bedeutet, dass Sie, wenn Sie mehr Leistung benötigen, Daten analysieren müssen, weil Sie Tausende von Knoten haben, die versuchen, herauszufinden, was das neue Modell ist, großartig. Skalieren Sie das in der Cloud mit so vielen verschiedenen Ressourcen, wie Sie dafür brauchen. Wenn Sie damit fertig sind, können Sie sie wieder zurückskalieren. Da der Speicher jedoch vollständig davon getrennt ist, wird nur so viel Speicherplatz benötigt, wie für die jeweilige Aufgabe erforderlich ist.

Mit anderen Worten: Wenn es sich nur um 100 Terabyte Daten handelt, brauchen Sie keine weiteren Knoten für 100 Terabyte Daten hinzuzufügen, weil Sie sie nicht brauchen. Wenn es nur 10 Terabyte Daten sind, oder 10 Petabyte, 100 Petabyte, brauchen Sie nicht all diese leistungsstarken Knoten an der Front, um auf diese Daten zugreifen zu können. Es kommt wirklich darauf an, wie man auf die Daten zugreifen will und wie schnell man auf sie zugreifen will.

Was werden Ihrer Meinung nach in den nächsten fünf Jahren die Trends im Bereich der Lagerung sein?

DB: Das ist schwer zu sagen. Aber was ich bisher gesehen habe und wo ich eine Fortsetzung dieser Richtung sehe, ist, dass Unstrukturierte Daten werden in ihrem Umfang noch zunehmen.

Wenn wir uns unsere Kunden ansehen, egal ob sie in der KI-Branche, in der Öl- und Gasindustrie oder im Gesundheitswesen tätig sind, speichern alle immer mehr Informationen in höherer Auflösung, um diese Daten besser analysieren oder nutzen zu können. Das bedeutet einfach mehr Speicherplatz. Das bedeutet nicht nur mehr Speicherplatz, sondern auch die Frage, wie schnell ich auf die Daten zugreifen kann und wie schnell ich die Informationen von dem Ort hochladen kann, von dem aus ich die Daten erstelle. All das wird in der Zukunft eine Rolle spielen. Das wird enorm sein.

Wodurch unterscheidet sich MASV Ihrer Meinung nach von anderen Dateiübertragungslösungen?

DB: Was ich bei MASV etwas anders sehe, ist die Art und Weise, wie sie es machen, und die Informationen die sie den Daten beim Hochladen zuweisen können. Der andere Teil ist die Möglichkeit, eine einzelne Datei bei Bedarf an mehrere Stellen gleichzeitig zu verteilen, damit die Beteiligten an den gerade hochgeladenen Daten arbeiten können.

Und nach dem, was ich in der Branche gesehen habe, ist diese Möglichkeit - wenn man über ein mobiles Gerät im Außeneinsatzund Sie müssen eine Datei hochladen und sicherstellen, dass sie vollständig zugestellt wird - Sie warten nicht einfach nur und stellen sicher, dass sie tatsächlich in der Cloud oder wo auch immer sie zugestellt werden muss, vorhanden ist. MASV hat wirklich den größten Schritt in diese Richtung gemacht und stellt sicher, dass diese Dateien korrekt und zum richtigen Zeitpunkt an die richtigen Personen übermittelt werden.