Preguntas y respuestas sobre OpenDrives: ¿Cuál es el futuro de la tecnología de almacenamiento para los flujos de trabajo multimedia?

MASV y OpenDrives ha anunciado recientemente una integración diseñada para agilizar los flujos de trabajo de transferencia de archivos mediante la incorporación de las capacidades de transferencia fiable y ultrarrápida de MASV directamente en la plataforma de almacenamiento OpenDrives Atlas.

Esta potente integración permite a los profesionales de los medios que trabajan con archivos masivos combinar sin esfuerzo la velocidad y facilidad de uso de MASV con las soluciones de almacenamiento de alto rendimiento de OpenDrives.

Para conocer cómo se desarrolló la integración y explorar hacia dónde se dirige la tecnología de almacenamiento para flujos de trabajo multimedia, nos sentamos con James DiVitoVP de Producto y Soluciones, y Roger BeckArquitecto de soluciones de OpenDrives. Vamos a sumergirnos.

Esta entrevista ha sido ligeramente editada para mayor extensión y claridad.

• ¿Cómo empezó OpenDrives y qué retos intentabais resolver?
• ¿Qué diferencia a OpenDrives de otros sistemas de almacenamiento para M&E?
• ¿A qué retos os enfrentasteis al integrar el Agente MASV en vuestra plataforma Atlas?
• ¿Por qué es importante integrar las funciones de transferencia de archivos directamente en el almacenamiento?
• ¿Cómo mejora el rendimiento de OpenDrives la fiabilidad y eficacia de la transferencia de archivos?
• ¿Cómo mantiene el sistema de archivos de OpenDrives la integridad de los datos y garantiza un rendimiento constante?
• ¿Cómo se ha adaptado OpenDrives a las crecientes exigencias del cine y la postproducción?
• ¿Qué tendencias crees que configuran el futuro del almacenamiento de medios y del movimiento de datos?
• Dado el aumento de los equipos distribuidos y la colaboración a distancia, ¿hasta qué punto será crucial el rendimiento del almacenamiento?
• Eso es todo...

¿Cómo empezó OpenDrives y qué retos intentabais resolver?

James DiVito: Nuestros fundadores, entre los que se encontraba una persona llamada Jeff Brew, que en aquel momento era el ingeniero jefe senior de David Fincher, buscaban soluciones multimedia para resolver sus necesidades de postproducción. Esto fue alrededor de 2011 y un par de años después, 4K estaba en boca de todos y miraron a su alrededor. Muchas de las soluciones de almacenamiento existentes no eran lo suficientemente eficaces o eran demasiado caras o complejas.

Así que Jeff y los otros cofundadores construyeron el suyo propio y empezó a correr la voz por la calle. La gente empezó a preguntar: 'Oye, ¿puedes fabricarme uno de esos sistemas que estabas construyendo?'. Y entonces tuvieron una idea: 'Sabes qué, creo que esto es un producto'. Así que, en ese momento, empezamos a convertirlo en un producto y creamos OpenDrives tal y como lo vemos hoy.

¿Qué diferencia a OpenDrives de otros sistemas de almacenamiento para M&E?

JD: Yo diría que es el hecho de que nos centramos en los medios de comunicación. Es de donde venimos, lo llevamos en la sangre, y queremos resolver esos problemas. Nosotros éramos los que estábamos despiertos hasta altas horas de la noche, haciendo entregas, renderizando, cortando, sabiendo que teníamos plazos de entrega. Y así, hasta el día de hoy, ser capaces de hablar no sólo de operaciones de entrada/salida por segundo (IOPS), sino de EXR, DPX y diferentes tipos de códecs, y comprender estos flujos de trabajo, es lo que sigue impulsando a nuestro equipo.

¿A qué retos os enfrentasteis al integrar el Agente MASV en vuestra plataforma Atlas?

Roger Beck: Cuando llegamos al Agente de MASV, lo bueno fue que MASV mantiene la contenedorización Docker. Nos encanta la contenedorización Docker: Se alinea con el futuro de OpenDrives. Y desacopla las actualizaciones de la aplicación de nuestras actualizaciones de software.

El Agente MASV está muy bien documentado. Tuvimos algunos problemas, pero se solucionaron rápidamente contactando con vuestro servicio de asistencia. No nos limitamos a tomar el contenedor Docker y dárselo a nuestros clientes. Construimos una receta en torno a él, lo que facilita su digestión por parte del cliente sin necesidad de tener conocimientos de Docker o Kubernetes. El cliente sólo introduce la seguridad, el ID y la ruta para desplegar el Agente MASV en un par de segundos para tener una configuración completa, el Agente en marcha y sin tocar la línea de comandos.

JD: Ese componente de facilidad de uso que mencionas es un motor importante para OpenDrives. Viniendo de ese entorno de medios de comunicación, queremos que los creativos sigan siendo creativos. Las integraciones con muchos pasos lo hacen insostenible, y la gente con múltiples sombreros dentro de las organizaciones puede dudar en seguir adelante con esas integraciones. Esto es un clic, rellenar un par de espacios, pulsar el botón, y ya está.

¿Por qué es importante integrar las funciones de transferencia de archivos directamente en el almacenamiento?

RB: Acercar la aplicación al almacenamiento elimina capas adicionales: No necesitas dedicar el cliente, y no necesitas un protocolo de red. Aumentas el rendimiento porque tienes acceso nativo al almacenamiento. Esto es muy beneficioso para los eventos de retransmisión en exteriores (OB), donde el espacio es escaso. Al incrustar el cliente directamente, consigues un mejor rendimiento y ahorras un valioso espacio al eliminar la necesidad de equipos dedicados.

¿Podrías explicar cómo el rendimiento de OpenDrives mejora la fiabilidad y eficacia de la transferencia de archivos?

JD: El diseño de OpenDrives es muy flash first, lo que significa que utilizamos los niveles de mayor rendimiento del sistema y luego confiamos en los niveles más lentos, como el almacenamiento en disco duro, para la mayor parte de la capacidad. Esto combina muy bien con el Agente MASV. Cuando estaba haciendo algunas pruebas con el Agente y el trabajo que Roger había realizado, realizamos gran parte de nuestro desarrollo a través de VM (máquinas virtuales). Así que la infraestructura y el material de producción real no están ahí. Vi un buen rendimiento y una gran facilidad de uso para el despliegue.

Pero lo mejor fue cuando hicimos una prueba juntos en un sistema de producción real que tenemos en el laboratorio, y voló. La combinación de MASV y el sistema OpenDrives empuja ese cuello de botella a la conexión WAN. Creo que ésa será siempre la limitación. Estamos diseñados para estas transferencias de alta velocidad, secuenciales y de alto rendimiento, y la combinación de MASV y OpenDrives permite esa absorción, o transferencia, hacia el sistema o desde el sistema de forma muy limpia.

¿Cómo mantiene el sistema de archivos de OpenDrives la integridad de los datos y garantiza un rendimiento constante?

JD: El sistema de archivos de OpenDrives utiliza un sistema de archivos basado en sumas de comprobación. Y lo que eso significa es que tenemos una suma de comprobación de todo. Así que si ahora un cliente solicita un bloque y hay algo corrupto debido a un error de señal, o a una putrefacción de bits, se corregirá, se escribirá a nivel del sistema de archivos y se entregará al cliente. Así no se produce la corrupción silenciosa de datos.

Además, tenemos instantáneas, un poco como Time Machine en Mac, pero en un abrir y cerrar de ojos obtienes una instantánea de todo sin impacto en el rendimiento. Somos el sistema de archivos, somos el núcleo de todo. No podemos perder ni un ápice.

RB: Nuestro objetivo principal es reducir la latencia, y lo hacemos gestionando la caché. Hemos encontrado una forma de trabajar realmente en el lado de la caché, tomando el contenido de los clientes que lo ingieren, de la transferencia MASV y sincronizándolo con el almacenamiento cuando no hay picos. Al mismo tiempo, un algoritmo diferente sale y lee los datos del cliente que los solicita, y hacemos mucha precarga agresiva.

Esto significa que salimos y leemos el siguiente bloque antes y después con la esperanza de que lo necesites. Así, si el editor pulsa reproducir, el activo o los bloques ya proceden de la memoria y ya no están en el disco. Siempre intentamos ir un paso por delante. Y si el primer bloque tuvo éxito, leemos más y más bloques para ser realmente agresivos y ser predictivos.

¿Cómo se ha adaptado OpenDrives a las crecientes exigencias del cine y la postproducción?

JD: Se habla de IA por todas partes. Y mucha gente está intentando averiguar qué significa eso, qué significa por industria y qué significa para ellos.

Para mí, el futuro de los servicios de datos son los metadatos enriquecidos. No sólo: Aquí está el archivo, aquí hay algo de información, o aquí hay algunas cabeceras XMP. Estamos viendo mucho más de: Quiero poder buscar lo que alguien ha dicho o quién aparece en el contenido, o cómo puedo acceder a los últimos cinco años de este tipo de datos con esta sensación o este aspecto. Y creo que ésa es la próxima fase de lo que buscarán los creativos.

¿Qué tendencias crees que configuran el futuro del almacenamiento de medios y del movimiento de datos?

JD: Las tendencias que hemos observado son que hubo un giro inmediato hacia lo remoto debido a la pandemia. Creo que mucha gente trasladó cosas a la nube. Cuando la gente empezó a volver a la oficina, encendieron algunos de esos equipos con los que antes no podían jugar. Así que estamos empezando a ver muchos silos de almacenamiento desagregados. No sólo almacenamiento, sino también sistemas y datos desagregados por todas partes.

Lo que veremos es esta tendencia a tener los datos adecuados en el lugar adecuado y en el momento adecuado, y a sacar lo mejor de ambos mundos, ya sea una nube híbrida u on-prem. Se trata realmente de accesibilidad. Hay una cierta tendencia, sobre todo este año, a la repatriación: Ahora se da un paso atrás y se busca el uso más rentable y eficaz del flujo de trabajo, del tiempo y de la infraestructura.

Así que vamos a ver esa mezcla, y vamos a ver que muchas de estas tecnologías, como la IA y la automatización, garantizan que los datos estén donde tienen que estar, y que los usuarios no tengan que ser supertécnicos para acceder al contenido al que intentan acceder.

Dado el aumento de los equipos distribuidos y la colaboración a distancia, ¿hasta qué punto será crucial el rendimiento del almacenamiento?

RB: Si me hubieras preguntado esto hace 15 años, sería la misma respuesta. Porque mientras creamos mejores SSD, NVM, ese rendimiento ilimitado en el lado del almacenamiento, si es que son posibles, tienes otras capas intermedias, tienes Internet por medio.

Así que nos acostumbramos a trabajar a distancia. A mucha gente le encantaría seguir trabajando a distancia. Así que tienes que empujar el contenido a través de uno o dos dispositivos de borde en algún lugar, pero no puedes empujar petabytes a través de la nube. Puedes, pero será lento y caro. No tiene sentido. Necesitas una forma de acceder a la máquina de otra manera.

Y al hacerlo, tienes, creo, hoy en día tres, probablemente cuatro flujos de trabajo diferentes. Uno será en las instalaciones, otro completamente en la nube, donde creas una infraestructura de escritorio virtual (VDI). Y luego viene el flujo de trabajo híbrido. Porque tendemos, especialmente en M&E, a sobrepasar los límites de lo que se puede hacer.