OpenDrives Q&A : Quel est l'avenir de la technologie de stockage pour les flux de travail médiatiques ?

MASV et OpenDrives ont récemment annoncé une intégration visant à rationaliser les flux de transfert de fichiers en intégrant les capacités de transfert fiables et ultra-rapides de MASV directement dans la plate-forme de stockage OpenDrives Atlas.

Cette intégration puissante permet aux professionnels des médias qui traitent des fichiers volumineux de combiner sans effort la vitesse et la facilité d'utilisation de MASV avec les solutions de stockage haute performance d'OpenDrives.

Pour savoir comment l'intégration a été développée et pour explorer l'évolution de la technologie de stockage pour les flux de travail multimédias, nous nous sommes entretenus avec les personnes suivantes James DiVitole vice-président chargé des produits et des solutions, et Roger BeckArchitecte de solutions chez OpenDrives. Plongeons dans le vif du sujet.

Cet entretien a été légèrement édité pour des raisons de longueur et de clarté.

• Comment OpenDrives a-t-il démarré et quels défis avez-vous tenté de relever ?
• Qu'est-ce qui différencie OpenDrives des autres solutions de stockage pour M&E ?
• Quelles difficultés avez-vous rencontrées pour intégrer MASV Agent à votre plateforme Atlas ?
• Pourquoi est-il important d'intégrer des capacités de transfert de fichiers directement dans le système de stockage ?
• Comment les performances d'OpenDrives améliorent-elles la fiabilité et l'efficacité du transfert de fichiers ?
• Comment le système de fichiers d'OpenDrives préserve-t-il l'intégrité des données et assure-t-il des performances constantes ?
• Comment OpenDrives s'est-il adapté aux exigences croissantes du cinéma et de la post-production ?
• Quelles sont les tendances qui, selon vous, façonnent l'avenir du stockage des médias et de la circulation des données ?
• Compte tenu de l'augmentation des équipes distribuées et de la collaboration à distance, à quel point les performances de stockage seront-elles cruciales ?
• C'est terminé...

Comment OpenDrives a-t-il démarré et quels défis avez-vous tenté de relever ?

James DiVito: Nos fondateurs, dont un certain Jeff Brew, qui était à l'époque l'ingénieur en chef de David Fincher, cherchaient des solutions médiatiques pour répondre à leurs besoins en matière de post-production. C'était aux alentours de 2011 et quelques années plus tard, le 4K était à l'ordre du jour et ils ont regardé autour d'eux. La plupart des solutions de stockage existantes n'étaient tout simplement pas assez performantes, trop chères ou trop complexes.

Jeff et les autres cofondateurs ont donc construit leur propre système et la nouvelle a commencé à se répandre dans la rue. Les gens ont commencé à demander : "Pouvez-vous me fabriquer un de ces systèmes que vous avez construits ? Puis ils ont eu une idée : "Vous savez quoi, je pense que c'est un produit". C'est à ce moment-là que nous avons commencé à développer le produit et que nous avons créé OpenDrives tel que nous le connaissons aujourd'hui.

Qu'est-ce qui différencie OpenDrives des autres solutions de stockage pour M&E ?

JD: Je dirais que c'est le fait que nous nous concentrons sur les médias. Nous venons de là, nous avons ça dans le sang, et nous voulons résoudre ces problèmes. C'est nous qui nous sommes levés tard dans la nuit pour réaliser les livrables, le rendu, le découpage, tout en sachant que nous avions des délais à respecter. Aujourd'hui encore, notre équipe est motivée par le fait de pouvoir parler non seulement d'opérations d'entrée/sortie par seconde (IOPS), mais aussi d'EXR, de DPX et de différents types de codecs, et de comprendre ces flux de travail.

Quelles difficultés avez-vous rencontrées pour intégrer MASV Agent à votre plateforme Atlas ?

Roger Beck: Lorsque nous sommes arrivés à l'agent de MASV, la partie la plus intéressante était en fait que MASV maintient la conteneurisation Docker. Nous adorons la conteneurisation Docker : Elle s'aligne sur l'avenir d'OpenDrives. Et elle permet de dissocier les mises à jour des applications de nos mises à jour logicielles.

L'agent MASV est très bien documenté. Nous avons rencontré quelques problèmes, mais ils ont été rapidement résolus en faisant appel à votre service d'assistance. Nous ne nous contentons pas de prendre le conteneur Docker et de le donner à nos clients. Nous construisons une recette autour de lui, ce qui le rend plus facile à digérer pour le client sans avoir réellement de connaissances sur Docker ou Kubernetes. Le client n'entre que la sécurité, l'identifiant et le chemin pour déployer l'agent MASV en quelques secondes pour avoir une installation complète en cours, un agent en marche, et ce sans toucher à la ligne de commande.

JD: La facilité d'utilisation que vous avez mentionnée est un facteur important pour OpenDrives. Venant du monde des médias, nous voulons que les créatifs restent créatifs. Les intégrations comportant de nombreuses étapes les rendent intenables, et les personnes ayant plusieurs casquettes au sein d'une organisation peuvent hésiter à aller de l'avant avec ces intégrations. Il suffit de cliquer, de remplir quelques cases, d'appuyer sur le bouton et c'est parti.

Pourquoi est-il important d'intégrer des capacités de transfert de fichiers directement dans le système de stockage ?

RB: En rapprochant l'application du stockage, on élimine toute couche supplémentaire : Il n'est pas nécessaire de dédier le client, ni d'utiliser un protocole de réseau. Vous augmentez les performances parce que vous avez un accès natif au stockage. C'est un avantage considérable pour les événements de radiodiffusion en extérieur (OB), où l'espace est compté. En intégrant directement le client, vous obtenez de meilleures performances et économisez un espace précieux en éliminant le besoin d'un équipement dédié.

Pouvez-vous expliquer comment les performances d'OpenDrives améliorent la fiabilité et l'efficacité du transfert de fichiers ?

JD: La conception d'OpenDrives est très flash first, ce qui signifie que nous utilisons les niveaux de performance les plus élevés du système et que nous nous appuyons ensuite sur les niveaux plus lents tels que le stockage sur disque dur pour une plus grande partie de la capacité. Cela se marie très bien avec l'agent MASV. Lorsque j'ai testé l'agent et le travail effectué par Roger, nous réalisons une grande partie de notre développement à l'aide de machines virtuelles. L'infrastructure et la production réelle ne sont donc pas là. J'ai constaté de bonnes performances et une grande facilité d'utilisation pour le déploiement.

Mais le plus fort, c'est lorsque nous avons fait un test ensemble sur un système de production réel que nous avons dans le laboratoire, et qu'il a fonctionné. La combinaison de MASV et du système OpenDrives repousse le goulot d'étranglement vers la connexion WAN. Je pense que ce sera toujours la limite. Nous sommes conçus pour ces transferts séquentiels à grande vitesse et à haut débit, et la combinaison de MASV et d'OpenDrives permet cette absorption ou ce transfert dans le système ou à partir du système de manière très propre.

Comment le système de fichiers d'OpenDrives préserve-t-il l'intégrité des données et assure-t-il des performances constantes ?

JD: Le système de fichiers d'OpenDrives utilise un système de fichiers basé sur la somme de contrôle. Cela signifie que nous disposons d'une somme de contrôle pour chaque élément. Ainsi, si un client demande un bloc et qu'il y a quelque chose de corrompu en raison d'une erreur de signal ou d'une altération des bits, cela sera corrigé, écrit au niveau du système de fichiers et remis au client. La corruption silencieuse des données ne se produit donc pas.

En outre, nous disposons d'instantanés, un peu comme Time Machine sur Mac, mais en un clin d'œil, vous obtenez un instantané de tout, sans impact sur les performances. Nous sommes le système de fichiers, nous sommes au cœur de tout. Nous ne pouvons pas en perdre une miette.

RB: Notre objectif principal est de réduire la latence, et nous y parvenons en gérant le cache. Nous avons trouvé un moyen de travailler vraiment du côté du cache, en prenant le contenu des clients d'ingestion, du transfert MASV et en le synchronisant avec le stockage lorsqu'il n'y a pas de pic d'activité. Parallèlement, un autre algorithme lit les données du client demandeur, et nous procédons à une prélecture agressive.

Cela signifie que nous lisons le bloc suivant avant et après dans l'espoir que vous en ayez besoin. Ainsi, lorsque l'éditeur appuie sur "play", l'élément ou les blocs proviennent déjà de la mémoire et non plus du disque. Nous essayons toujours d'avoir une longueur d'avance. Et si le premier bloc est réussi, nous lisons de plus en plus de blocs pour être vraiment agressifs et prédictifs.

Comment OpenDrives s'est-il adapté aux exigences croissantes du cinéma et de la post-production ?

JD: L'IA est omniprésente. Et beaucoup de gens essaient de comprendre ce que cela signifie, ce que cela signifie par industrie, et ce que cela signifie pour eux.

Pour moi, l'avenir des services de données réside dans la richesse des métadonnées. Pas seulement : Voici le fichier, voici quelques informations, ou voici quelques en-têtes XMP. Nous voyons de plus en plus de choses : Je veux pouvoir faire des recherches sur ce que quelqu'un a dit ou qui est dans le contenu, ou comment puis-je accéder aux cinq dernières années de ce type de données avec cette sensation ou cette apparence. Je pense que c'est la prochaine phase de ce que les créatifs rechercheront.

Quelles sont les tendances qui, selon vous, façonnent l'avenir du stockage des médias et de la circulation des données ?

JD: Les tendances que nous avons observées sont qu'il y a eu un virage immédiat vers le travail à distance en raison de la pandémie. Je pense que beaucoup de gens ont transféré des choses dans le nuage. Lorsque les gens ont commencé à revenir au bureau, ils ont mis en marche certains équipements qu'ils ne pouvaient pas utiliser auparavant. Nous commençons donc à voir apparaître de nombreux silos de stockage désagrégés. Non seulement le stockage, mais aussi les systèmes et les données sont désagrégés un peu partout.

Ce que nous verrons, c'est cette tendance à avoir les bonnes données au bon endroit et au bon moment, et à tirer le meilleur des deux mondes, qu'il s'agisse d'un nuage hybride ou d'une solution sur site. C'est vraiment une question d'accessibilité. La tendance est un peu au rapatriement, surtout cette année : Il s'agit maintenant de prendre du recul et de trouver l'utilisation du temps et de l'infrastructure la plus rentable et la plus efficace en termes de flux de travail.

Nous allons donc assister à ce mélange, et nous allons voir beaucoup de ces technologies comme l'IA et l'automatisation garantir que les données sont là où elles doivent être, et que les utilisateurs n'ont pas besoin d'être super techniques pour accéder au contenu qu'ils essaient d'obtenir.

Compte tenu de l'augmentation des équipes distribuées et de la collaboration à distance, à quel point les performances de stockage seront-elles cruciales ?

RB: Si vous m'aviez posé cette question il y a 15 ans, la réponse serait la même. Parce que pendant que nous créons de meilleurs SSD, NVM, cette performance illimitée du côté du stockage, si elle est possible, il y a d'autres couches entre les deux, il y a l'internet entre les deux.

Nous nous sommes donc habitués à travailler à distance. Beaucoup de gens aimeraient continuer à travailler à distance. Il faut donc faire passer le contenu par un ou deux appareils périphériques quelque part, mais on ne peut pas faire passer des pétaoctets par le nuage. Vous pouvez le faire, mais ce sera lent et coûteux. Cela n'a aucun sens. Il faut trouver un moyen d'accéder à la machine d'une autre manière.

Et en faisant cela, vous avez, je pense, de nos jours, trois, probablement quatre flux de travail différents. L'un sera sur site, l'autre sera entièrement dans le nuage, où vous mettrez en place une infrastructure de bureau virtuel (VDI). Vient ensuite le flux de travail hybride. Parce que nous avons tendance, en particulier dans le domaine de l'audiovisuel, à repousser les limites, à repousser ce qui peut être fait.