Le présent et l'avenir du stockage en nuage : Une conversation avec Qumulo

MASV et Qumulo a récemment annoncé une intégration visant à fournir une ingestion de données en nuage de haute performance et de niveau professionnel à la plateforme de stockage en nuage Cloud Native Qumulo (CNQ).

La nouvelle intégration permet aux professionnels ayant besoin de données massives de combiner MASVavec les services de gestion de fichiers entièrement gérés de Qumulo sur AWS.

On ne peut pas faire mieux, n'est-ce pas ? Eh bien, attendez : Peut-être que si.

En effet, Qumulo est également composé de personnes extrêmement intelligentes, au fait des dernières tendances en matière de stockage et de performance des données et du cloud. Nous avons récemment rencontré Daniel Beres, stratège technique chez Qumulo, pour connaître son point de vue sur la situation actuelle et les perspectives en matière de stockage dans le nuage et de flux de données volumineux.

Entrons dans le vif du sujet.

Note : Cet entretien a été légèrement édité pour des raisons de longueur et de clarté.

• Comment Qumulo aide-t-il à gérer les fichiers massifs dans le stockage, en particulier pour les flux de travail de M&E et d'IA ?
• Quels sont les principaux goulets d'étranglement en matière de stockage qui ralentissent les équipes de production aujourd'hui ?
• Pourquoi la vision MovieLabs 2030 est-elle importante pour l'avenir de la production ?
• Qu'est-ce que la Qumulo Cloud Data Fabric, et comment contribue-t-elle à la sécurité et à la performance ?
• Quelles sont les tendances observées en matière de déploiements sur site, en nuage et hybrides ?
• Pourquoi les flux de travail hybrides sont-ils toujours aussi répandus ?
• Quelles sont les idées fausses les plus répandues sur le stockage en nuage ?
• Comment le système de fichiers de Qumulo contribue-t-il à améliorer les performances de S3 ?
• Comment l'IA affecte-t-elle le stockage et les flux de travail associés ?
• Comment Qumulo aborde-t-il la question de l'évolutivité cumulative, en particulier en ce qui concerne la formation à l'IA ?
• Au cours des cinq prochaines années, quelles seront, selon vous, les tendances en matière de stockage ?
• Qu'est-ce qui, selon vous, différencie MASV des autres solutions de transfert de fichiers ?
• C'est un Wrap...

Comment Qumulo aide-t-il à gérer les fichiers massifs dans le stockage, en particulier pour les flux de travail de M&E et d'IA ?

Daniel Beres: Qumulo a examiné le secteur dans son ensemble et s'est concentré sur différents domaines, tels que le M&E, l'IA et d'autres offres de masse de données non structurées. Et c'est là la clé : Les données non structurées. Si l'on considère l'évolution du stockage au fil des ans, on constate qu'il est passé d'une base de données et d'informations structurées à quelque chose de plus axé sur les fichiers ou non structuré.

Et l'un de ces domaines clés est le M&E. Si l'on considère ce qui a été filmé avec des magnétoscopes il y a 20 ans, la quantité de données stockées n'était pas très importante. Mais avec les résolutions 4K, 8K et d'autres encore, nous nous trouvons face à des quantités massives de données. C'est une chose d'utiliser les systèmes de fichiers du passé, mais en faisant cela, vous vous limitez, non seulement en termes de performances, mais aussi d'évolutivité, et c'est là que Qumulo est unique dans l'industrie.

Témoignage client Blended Sense

Comment MASV a "débloqué" le plein potentiel de l'atelier de production vidéo de Blended Sense - et l'a aidé à conserver ses pigistes les plus précieux grâce à des transferts faciles, rapides et sans drame.

Lire la suite >

Quels sont les principaux goulets d'étranglement en matière de stockage qui ralentissent les équipes de production aujourd'hui ?

DB: Je pense qu'il s'agit de la rapidité avec laquelle les nouveaux actifs arrivent entre les mains du monteur, ou des départements d'effets visuels qui peuvent commencer à travailler sur ces éléments dès que possible. Ce que nous constatons dans l'industrie, ce n'est pas tant la quantité de stockage que vous avez, mais la rapidité avec laquelle vous pouvez apporter ces informations dans le stockage.

Pourquoi la MovieLabs 2030 Vision important pour l'avenir de la production ?

DB: Nous pouvons revenir en arrière et voir comment la sécurité a affecté les sorties de films dans le passé, lorsque certains éléments ont été divulgués à la presse, ce qui a fait une bonne ou une mauvaise impression sur les clients qui allaient voir ces différentes productions.

Du point de vue de la sécurité, il s'agit donc de s'assurer que seules les personnes qui ont besoin d'accéder à ces actifs vidéo, à ces éléments, puissent le faire. Ou que lorsqu'un studio partage des informations avec un autre, il ne partage que ce dont il a besoin entre les deux, de sorte qu'aucune personne ne puisse faire quelque chose qui pourrait compromettre la sécurité.

Qu'est-ce que la Qumulo Cloud Data Fabric, et comment contribue-t-elle à la sécurité et à la performance ?

DB: Cloud Data Fabric est notre implémentation d'un espace de noms global. Dans le passé, les espaces de noms globaux étaient une couche au-dessus des systèmes de fichiers, qu'ils accèdent aux systèmes de fichiers en tant que blocs d'informations ou en tant que fichiers d'informations. Cela ne permettait pas vraiment de partager rapidement des données à travers le monde.

Nous avons donc intégré notre version d'un espace de noms global dans la structure de notre stockage en nuage, notre Cloud Data Fabric. Cela vous permet d'accéder à ces blocs d'informations - et pas seulement à des fichiers - partout dans le monde, qu'il s'agisse d'un site périphérique, d'un site centralisé ou de différents studios. Chacun d'entre eux peut avoir un accès direct aux blocs dont il a besoin pour construire ces actifs pour les créatifs, qui que ce soit qui en ait besoin.

Quelles sont les tendances observées en matière de déploiements sur site, en nuage et hybrides ?

DB: Nous voyons beaucoup d'installations hybrides. Il ne s'agit pas seulement d'être dans le nuage. Ce n'est pas qu'elles doivent être sur place. Elles doivent être dans les deux. Et en ayant cette capacité d'être aux deux endroits en même temps, sans avoir à répliquer les données, à les copier, à les déplacer, et en étant littéralement capable de les stocker là où elles sont le plus nécessaires, cela signifie que tout le monde y a accès. La Cloud Data Fabric que nous avons mise en place a ainsi une portée mondiale beaucoup plus large.

Pourquoi les flux de travail hybrides sont-ils toujours aussi répandus ?

DB: Voici ce que nous voyons : La nature hybride de nos clients, qui utilisent à la fois le cloud et le on prem, n'est pas tant une question d'accès aux données où qu'elles se trouvent. Ils veulent avoir accès aux données là où ils se trouvent. Et cette capacité à tout moment est vraiment ce qui fait d'une installation hybride de tissus de données dans le nuage la solution à retenir.

Quelles sont les idées fausses les plus répandues sur le stockage en nuage ?

DB : L'une d'entre elles est que le passage à l'informatique dématérialisée coûte très cher. Et oui, si vous prenez ce que vous exécutez sur place aujourd'hui et que vous le mettez littéralement dans le nuage, cela coûtera très cher.ift-and-shift directement dans l'informatique dématérialisée (cloud)vous paierez beaucoup plus cher. Vous devez examiner comment l'informatique dématérialisée peut vous permettre de réaliser des économies par rapport à ce qu'ils ont mis en place dans leurs environnements. L'une de ces économies est la possibilité d'évoluer à la demande et à tout moment en fonction de votre flux de travail. L'un d'entre eux pourrait être un rendu en rafale : Vous n'avez pas besoin de 300 ou 1 000 machines qui attendent que vous y transfériez des données et les utilisiez, puis qui restent inactives lorsque vous avez terminé. Vous pouvez utiliser la capacité du nuage pour assigner et construire dynamiquement ces différents types de scénarios pour le rendu en rafale. Vous pouvez passer de 300 nœuds à 1 000 nœuds à tout moment. Cela vous permet de ne pas dépenser d'argent lorsque vous n'utilisez pas ces systèmes.

Cloud Native Qumulo fait exactement la même chose : si vous n'utilisez qu'un certain niveau de performance chaque jour, ne l'augmentez pas. N'ajoutez pas de nœuds supplémentaires à notre infrastructure. Il suffit de l'utiliser telle quelle jusqu'à ce que vous ayez besoin d'effectuer des tâches plus lourdes et, à ce moment-là, d'augmenter les performances. En effet, le stockage en nuage du back-end sera toujours S3, qui, par nature, ne s'étend que lorsque vous l'utilisez et se contracte automatiquement lorsque vous ne l'utilisez pas.

Comment le système de fichiers de Qumulo contribue-t-il à améliorer les performances du stockage en nuage S3 ?

DB: Cloud Native Qumulo permet d'éliminer certains des goulets d'étranglement que vous pourriez avoir avec S3. Certains d'entre eux pourraient être le ratio fichier/objet. Beaucoup de clients écrivent en fait un fichier dans un objet lorsqu'ils l'écrivent dans S3 - et c'est bien si vous stockez des données d'archive, mais lorsque vous l'examinez d'un point de vue transactionnel, disons que vous faites le rendu d'un élément particulier, ou peut-être que vous faites de l'édition en ligne de différents aspects à l'intérieur d'une ligne temporelle. Vous avez besoin de ce processus itératif qui vous permet de passer au crible, de déplacer des blocs, de modifier le contenu d'un fichier à tout moment, ce qu'un système basé sur les objets ne vous permet pas de faire.

Nous l'avons donc décomposé. Nous écrivons en fait des blocs d'informations dans S3. C'est différent. Nous le faisons à dessein, car tous les blocs ne sont pas les blocs les plus chauds auxquels vous devez avoir accès à tout moment. Ces blocs chauds restent dans notre mécanisme de mise en cache intégré à CNQ. Le fait que ces blocs chauds soient accessibles à tout moment évite les allers-retours incessants vers S3 pour récupérer ces blocs d'information. Et nous avons la capacité de comprendre comment vous utilisez le système de fichiers - il ne s'agit donc pas tant des blocs que vous utilisez en ce moment, mais des prochains blocs, ou des autres blocs d'information, pas seulement les fichiers, mais les blocs à l'intérieur de ces fichiers auxquels vous pourriez avoir besoin d'accéder en même temps que vous accédez à ceux que vous utilisez en ce moment.

Pourquoi est-ce important ? Eh bien, vous n'êtes pas constamment en train d'apporter des dossiers et de les vider, puis d'apporter des dossiers et de les vider à nouveau. Vous n'utilisez littéralement que les blocs dont vous avez besoin. La plupart d'entre eux restent dans le cache, et lorsqu'ils sont dans le cache, d'autres personnes ont la possibilité de les utiliser également. Ainsi, vos rendus passent de plusieurs heures à quelques minutes.

Comment l'IA a-t-elle affecté le stockage et les flux de travail connexes ?

DB: Ce que nous observons, c'est une évolution dans le domaine des big data, qui s'éloigne de l'ancienne méthode d'analyse par lots pour se tourner vers une approche plus moderne : "apprenons à l'IA à analyser les données pour nous". Ce qui est formidable avec l'IA, c'est que nous voyons maintenant des façons uniques d'examiner nos données à partir de séquences vidéo. Nous découvrons de meilleures façons d'analyser les formations nuageuses ou les vagues dans l'océan. Tout cela est généré à partir de quantités massives de données que nous avons acquises au fil des ans. Une partie de ces données concerne l'activité sismique. D'autres sont des analyses de formes d'ondes. D'autres sont des aspects différents que nous avons vus dans d'autres films et qui sont mieux rendus dans les productions plus récentes.

Mais la mise en œuvre de l'IA que nous voyons nécessite des quantités massives de données, et ces données sont stockées dans des silos un peu partout. La plupart d'entre elles doivent être centralisées pour que nous puissions y accéder et en faire quelque chose. C'est pourquoi je constate que certains des défis consistent non seulement à télécharger ces données, mais aussi à pouvoir y accéder une fois qu'elles ont été téléchargées.

Comment Qumulo aborde-t-il la question de l'évolutivité cumulative, en particulier en ce qui concerne la formation à l'IA ?

DB : Si nous revenons une dizaine d'années en arrière, lorsque vous deviez augmenter les performances avec le stockage en nuage en même temps pour pouvoir sortir ces informations, un nœud signifiait plus de stockage à l'intérieur de ce que vous faisiez, ou plus de stockage, ce qui signifiait que vous deviez avoir plus de puissance de calcul derrière. La désagrégation de ces deux éléments et leur séparation en fonction de vos besoins d'utilisation nous permettent de construire le cluster le plus performant, afin que vous puissiez accéder à vos données, ou même le stockage dans le nuage pour cela. Ces modèles sont davantage axés sur le cloud, ce qui signifie que si vous avez besoin d'une plus grande capacité de performance, vous devez sortir et analyser les données parce que vous avez des milliers de nœuds qui essaient de comprendre le nouveau modèle, c'est très bien. Mettez cela à l'échelle dans le nuage avec toutes les ressources dont vous avez besoin pour le faire. Mais lorsque vous avez terminé, réduisez-les. Mais comme le stockage est complètement séparé, il ne représente que la quantité dont vous avez besoin à ce moment-là pour faire ce que vous faites.

En d'autres termes, s'il ne s'agit que de 100 téraoctets de données, n'ajoutez pas de nœuds supplémentaires pour 100 téraoctets de données, car vous n'en avez pas besoin. S'il ne s'agit que de 10 téraoctets de données, ou de 10 pétaoctets, 100 pétaoctets, il n'est pas nécessaire d'avoir tous ces nœuds performants sur le devant pour pouvoir accéder à ces données. Tout dépend de la manière dont vous voulez y accéder et de la rapidité avec laquelle vous voulez y accéder.

Au cours des cinq prochaines années, quelles seront, selon vous, les tendances en matière de stockage ?

DB: C'est difficile à dire. Mais ce que j'ai vu se produire jusqu'à présent, et ce que je vois se poursuivre dans cette direction, c'est que les données non structurées vont prendre encore plus d'ampleur.

Lorsque nous regardons nos clients, qu'ils soient dans l'industrie de l'IA, du pétrole et du gaz ou de la santé, tous stockent de plus en plus d'informations à des résolutions plus élevées afin de pouvoir mieux analyser ou faire quelque chose avec ces données. Cela signifie simplement plus de stockage. Cela signifie une croissance du stockage, mais aussi la rapidité d'accès à ces données et la rapidité de téléchargement de ces informations à partir de l'endroit où elles sont créées. Tout cela va jouer dans l'avenir. Ce sera énorme.

Qu'est-ce qui, selon vous, différencie MASV des autres solutions de transfert de fichiers ?

DB: Pour moi, la MASV est un peu différente dans sa façon de procéder et dans son mode de fonctionnement. l'information qu'ils peuvent attribuer aux données au fur et à mesure qu'elles sont téléchargées. D'autre part, il est possible de distribuer un fichier unique à plusieurs endroits en même temps, si nécessaire, afin que les parties prenantes puissent travailler sur ce qu'elles viennent de télécharger.

Et d'après ce que j'ai vu dans l'industrie, avoir cette capacité de - si vous êtes connecté par un appareil cellulaire sur le terrainVous ne vous contentez pas d'attendre, vous vous assurez que le fichier est bien dans le nuage ou à l'endroit où vous devez le livrer. MASV a vraiment fait le plus grand pas dans cette direction, en s'assurant que ces fichiers sont livrés correctement et aux bonnes personnes quand il le faut.