OpenDrives Q&A: Was ist die Zukunft der Speichertechnologie für Medien-Workflows?

MASV und OpenDrives kündigte kürzlich eine Integration an, die darauf abzielt, Dateitransfer-Workflows zu optimieren, indem die zuverlässigen, ultraschnellen Übertragungsfunktionen von MASV direkt in die OpenDrives Atlas-Speicherplattform eingebettet werden.

Diese leistungsstarke Integration ermöglicht es Medienprofis, die mit großen Dateien arbeiten, mühelos die Geschwindigkeit und Benutzerfreundlichkeit von MASV mit den Hochleistungsspeicherlösungen von OpenDrives zu kombinieren.

Um mehr darüber zu erfahren, wie die Integration entwickelt wurde, und um herauszufinden, wohin sich die Speichertechnologie für Medien-Workflows entwickelt, haben wir uns mit James DiVitoVP für Produkte und Lösungen, und Roger Beck, Lösungsarchitekt bei OpenDrives. Lassen Sie uns eintauchen.

Dieses Interview wurde aus Gründen der Länge und Klarheit leicht gekürzt.

• Wie ist OpenDrives entstanden, und welche Herausforderungen wollten Sie lösen?
• Was unterscheidet OpenDrives von anderen Speicherlösungen für M&E?
• Vor welchen Herausforderungen standen Sie bei der Integration von MASV Agent in Ihre Atlas-Plattform?
• Warum ist es wichtig, Dateiübertragungsfunktionen direkt in die Speicherung zu integrieren?
• Wie verbessert die Leistung von OpenDrives die Zuverlässigkeit und Effizienz der Dateiübertragung?
• Wie erhält das Dateisystem von OpenDrives die Datenintegrität und sorgt für eine gleichbleibende Leistung?
• Wie hat sich OpenDrives an die wachsenden Anforderungen der Film- und Postproduktion angepasst?
• Welche Trends werden Ihrer Meinung nach die Zukunft der Medienspeicherung und des Datenverkehrs bestimmen?
• Wie wichtig wird die Speicherleistung angesichts der Zunahme verteilter Teams und der Remote-Zusammenarbeit sein?
• Das war's dann wohl...

Wie ist OpenDrives entstanden, und welche Herausforderungen wollten Sie lösen?

James DiVito: Unsere Gründer, zu denen auch ein gewisser Jeff Brew gehörte, der damals David Finchers leitender Ingenieur war, suchten nach Medienlösungen, um ihre Anforderungen an die Postproduktion zu erfüllen. Das war etwa 2011 und ein paar Jahre später war 4K in aller Munde und sie sahen sich um. Viele der Speicherlösungen, die es gab, waren einfach nicht leistungsfähig genug oder einfach viel zu teuer oder komplex.

Also bauten Jeff und die anderen Mitbegründer ihr eigenes System, und das sprach sich auf der Straße herum. Die Leute begannen zu fragen: "Hey, könnt ihr mir so ein System bauen, das ihr gebaut habt? Und dann hatten sie eine Idee: "Wisst ihr was, ich glaube, das ist ein Produkt. An diesem Punkt begannen wir also, das Produkt zu entwickeln und gründeten OpenDrives in seiner heutigen Form.

Was unterscheidet OpenDrives von anderen Speicherlösungen für M&E?

JD: Ich würde sagen, es ist die Tatsache, dass wir uns auf die Medien konzentrieren. Da kommen wir her, das liegt uns im Blut, und wir wollen diese Probleme lösen. Wir waren diejenigen, die bis spät in die Nacht auf den Beinen waren, um zu arbeiten, zu rendern, zu schneiden, weil wir wussten, dass wir Liefertermine hatten. Und so ist es bis heute das, was unser Team antreibt, nicht nur in der Lage zu sein, über Input/Output-Operationen pro Sekunde (IOPS) zu sprechen, sondern auch über EXR, DPX und verschiedene Arten von Codecs, und diese Arbeitsabläufe zu verstehen.

Vor welchen Herausforderungen standen Sie bei der Integration von MASV Agent in Ihre Atlas-Plattform?

Roger Beck: Als wir den Agent von MASV bekamen, war das Schöne daran, dass MASV die Docker-Containerisierung beibehält. Wir lieben die Docker-Containerisierung: Sie passt zu der Zukunft von OpenDrives. Und es entkoppelt Anwendungs-Upgrades von unseren Software-Upgrades.

MASV Agent ist sehr gut dokumentiert. Wir hatten ein paar Probleme, aber die wurden schnell gelöst, indem wir uns an Ihren Support gewandt haben. Wir nehmen nicht einfach den Docker-Container und geben ihn an unsere Kunden weiter. Wir bauen ein Rezept darum herum, das es dem Kunden leichter macht, ohne Kenntnisse über Docker oder Kubernetes zu haben. Der Kunde gibt lediglich Sicherheit, ID und den Pfad für die Bereitstellung des MASV-Agenten ein und hat in wenigen Sekunden ein vollständiges Setup und einen laufenden Agenten, ohne die Befehlszeile zu berühren.

JD: Die von Ihnen erwähnte Komponente der Benutzerfreundlichkeit ist ein wichtiger Antrieb für OpenDrives. Da wir aus dem Medienbereich kommen, wollen wir die Kreativen bei der Stange halten. Integrationen, die viele Schritte erfordern, sind untragbar, und Leute, die mehrere Aufgaben in einem Unternehmen zu erfüllen haben, zögern vielleicht, diese Integrationen voranzutreiben. Hier braucht man nur ein paar Felder auszufüllen, auf den Knopf zu drücken, und schon kann es losgehen.

Warum ist es wichtig, Dateiübertragungsfunktionen direkt in die Speicherung zu integrieren?

RB: Durch die Annäherung der Anwendung an den Speicher entfallen alle zusätzlichen Schichten: Der Client muss nicht dediziert werden, und es wird kein Netzwerkprotokoll benötigt. Sie erhöhen die Leistung, da Sie nativen Zugriff auf den Speicher haben. Dies ist besonders vorteilhaft für Außenübertragungen (OB), bei denen der Platz sehr knapp ist. Indem Sie den Client direkt einbetten, erzielen Sie eine bessere Leistung und sparen wertvollen Platz, da keine speziellen Geräte erforderlich sind.

Können Sie erklären, wie die Leistung von OpenDrives die Zuverlässigkeit und Effizienz der Dateiübertragung verbessert?

JD: Das Design von OpenDrives ist sehr flashlastig, d.h. wir nutzen die leistungsstärksten Schichten des Systems und verlassen uns dann auf die langsameren Schichten wie den Festplattenspeicher für einen größeren Teil der Kapazität. Das passt sehr gut zum MASV Agent. Als ich einige Tests mit dem Agenten und der Arbeit von Roger durchgeführt habe, haben wir einen großen Teil unserer Entwicklung mit VMs (virtuellen Maschinen) durchgeführt. Die Infrastruktur und das eigentliche Produktionsmaterial sind also nicht vorhanden. Ich konnte eine gute Leistung und eine gute Benutzerfreundlichkeit bei der Bereitstellung feststellen.

Aber der eigentliche Clou war, als wir gemeinsam einen Test auf einem echten Produktionssystem durchgeführt haben, das wir im Labor haben, und es lief wie geschmiert. Die Kombination aus MASV und dem OpenDrives-System verlagert den Engpass auf die WAN-Verbindung. Ich denke, das wird immer die Einschränkung sein. Wir sind für diese schnellen, sequenziellen Übertragungen mit hohem Durchsatz konzipiert, und die Kombination von MASV und OpenDrives ermöglicht diese Absorption oder Übertragung in das System oder aus dem System heraus sehr sauber.

Wie erhält das Dateisystem von OpenDrives die Datenintegrität und sorgt für eine gleichbleibende Leistung?

JD: Das Dateisystem unter OpenDrives verwendet ein prüfsummenbasiertes Dateisystem. Und das bedeutet, dass wir eine Prüfsumme von allem haben. Wenn also ein Client einen Block anfordert und dieser aufgrund eines Signalfehlers oder eines Bitfehlers beschädigt ist, wird er korrigiert, auf die Ebene des Dateisystems heruntergeschrieben und an den Client weitergegeben. Die stille Datenkorruption findet also nicht statt.

Außerdem haben wir Schnappschüsse, ein bisschen wie Time Machine auf dem Mac, aber nur mit einem Wimpernschlag erhalten Sie einen Schnappschuss von allem, ohne Leistungseinbußen. Wir sind das Dateisystem, wir sind der Kern von allem. Wir können nicht ein bisschen verlieren.

RB: Unser Hauptaugenmerk liegt auf der Reduzierung der Latenzzeit, und das erreichen wir durch die Verwaltung des Cache. Wir haben einen Weg gefunden, die Cache-Seite zu optimieren, indem wir die Inhalte von den Ingesting-Clients und von der MASV-Übertragung übernehmen und sie mit dem Speicher synchronisieren, wenn es keine Spitzenzeiten gibt. Gleichzeitig liest ein anderer Algorithmus die Daten von den anfragenden Clients, und wir führen ein aggressives Prefetching durch.

Das bedeutet, dass wir den nächsten Block davor und danach lesen, in der Hoffnung, dass Sie ihn brauchen werden. Wenn der Redakteur also auf "Play" drückt, kommen das Asset oder die Blöcke bereits aus dem Speicher und sind nicht mehr auf der Festplatte. Wir versuchen immer, einen Schritt voraus zu sein. Und wenn der erste Block erfolgreich war, lesen wir mehr und mehr Blöcke, um wirklich aggressiv und vorausschauend zu sein.

Wie hat sich OpenDrives an die wachsenden Anforderungen der Film- und Postproduktion angepasst?

JD: KI ist in aller Munde. Und viele Menschen versuchen herauszufinden, was das bedeutet, was es für die einzelnen Branchen bedeutet und was es für sie selbst bedeutet.

Für mich liegt die Zukunft der Datendienste in umfangreichen Metadaten. Nicht nur: Hier ist die Datei, hier sind einige Informationen oder hier sind einige XMP-Header. Wir sehen viel mehr von: Ich möchte in der Lage sein, danach zu suchen, was jemand gesagt hat oder wer im Inhalt vorkommt, oder wie kann ich auf die letzten fünf Jahre dieser Art von Daten zugreifen, mit diesem Gefühl oder diesem Aussehen. Und ich denke, das ist die nächste Phase, in der Kreative nach etwas suchen werden.

Welche Trends werden Ihrer Meinung nach die Zukunft der Medienspeicherung und des Datenverkehrs bestimmen?

JD: Die Trends, die wir beobachtet haben, sind, dass es aufgrund der Pandemie eine unmittelbare Hinwendung zur Fernarbeit gab. Ich glaube, viele Leute haben ihre Daten in die Cloud verlagert. Als die Leute wieder ins Büro zurückkehrten, schalteten sie einige der Geräte ein, mit denen sie vorher nicht umgehen konnten. Wir sehen also eine Menge disaggregierter Speichersilos. Nicht nur Speicher, sondern auch Systeme und Daten werden überall disaggregiert.

Was wir sehen werden, ist der Trend, die richtigen Daten zur richtigen Zeit am richtigen Ort zu haben und das Beste aus beiden Welten zu machen, ob das nun eine hybride Cloud oder eine On-Premise-Lösung ist. Es geht wirklich um Zugänglichkeit. Vor allem in diesem Jahr ist ein gewisser Trend zur Rückführung zu beobachten: Man geht einen Schritt zurück und überlegt, wie man Zeit und Infrastruktur am kosteneffizientesten und effizientesten nutzen kann.

Das wird sich also vermischen, und viele dieser Technologien wie KI und Automatisierung werden dafür sorgen, dass die Daten dort sind, wo sie sein müssen, und dass die Nutzer nicht supertechnisch sein müssen, um auf die Inhalte zuzugreifen, die sie abrufen wollen.

Wie wichtig wird die Speicherleistung angesichts der Zunahme verteilter Teams und der Remote-Zusammenarbeit sein?

RB: Wenn Sie mich das vor 15 Jahren gefragt hätten, wäre die Antwort dieselbe gewesen. Denn während wir bessere SSDs, NVMs, diese grenzenlose Leistung auf der Speicherseite, wenn sie möglich sind, entwickeln, gibt es andere Schichten dazwischen, das Internet dazwischen.

Wir haben uns also daran gewöhnt, aus der Ferne zu arbeiten. Viele Menschen würden gerne aus der Ferne weiterarbeiten. Man muss also die Inhalte über ein oder zwei Edge-Geräte irgendwo übertragen, aber man kann keine Petabytes über die Cloud übertragen. Das kann man schon, aber es wird langsam und teuer sein. Das macht keinen Sinn. Sie brauchen einen anderen Weg, um auf die Maschine zuzugreifen.

Und dabei gibt es heutzutage drei, wahrscheinlich sogar vier verschiedene Arbeitsabläufe. Einer findet vor Ort statt, einer vollständig in der Cloud, wo Sie eine virtuelle Desktop-Infrastruktur (VDI) einrichten. Und dann kommt der hybride Workflow. Denn wir neigen dazu, vor allem im Bereich M&E, die Grenzen des Machbaren auszuloten.