El metaverso es uno de esos conceptos grandes y carnosos que suele suscitar todo tipo de debates. A veces práctico, a menudo teórico. O directamente vago. Y aunque algunos observadores se muestran reticentes y otros entusiasmados con las implicaciones del metaverso, muchos coinciden en que el concepto es algo realmente importante.
Metastage es una empresa a la vanguardia de todo ello. Metastage proporciona una captura de vídeo volumétrica en 3D de última generación y seres humanos virtuales fotorrealistas, y cuando se combina con la producción virtual, es perfecta para inyectar en el metaverso como representaciones de personas reales.
MASV habló con el director general de Metastage Christina Heller y Jefe de Producción Skylar Sweetman para conocer su opinión sobre cómo los productores de vídeo pueden aprovechar el metaverso, qué herramientas pueden utilizar para ello y qué significa todo esto para los profesionales y los consumidores de M&E.
Vamos a profundizar.
Saltar a la sección:
- ¿Qué es el metaverso?
- ¿Cómo accederá la gente a los medios de comunicación en el metaverso y cómo los consumirá?
- ¿Cómo afectará el metaverso a los medios de comunicación y al entretenimiento?
- ¿Cómo afecta este concepto a los creadores de contenidos?
- ¿Qué papel desempeña Metastage en el metaverso?
- ¿Qué es el vídeo volumétrico y cómo contribuye al metaverso?
- ¿Qué relación hay entre la producción volumétrica y la virtual?
- ¿Cómo ve la evolución de la producción virtual y la captura volumétrica?
Nota: La siguiente transcripción ha sido editada por razones de longitud y claridad.
¿Qué es el metaverso?
Christina Heller: Para mí, el metaverso es nuestra realidad virtual y digital. Y eso, obviamente, siempre está evolucionando con el tiempo. Pero estamos empezando a ver los cimientos de una capa digital sobre nuestra realidad espacial física existente. Un tipo de mundo sintético que no tiene fin, que puedes explorar y crear, colaborar y aprender dentro de él. Es una entidad en sí misma, y también este tipo de capa digital en la que podemos fusionar aspectos de nuestra vida informática con nuestra vida física. Y estamos empezando a ver los componentes de eso con la realidad virtual, la realidad aumentada y la realidad mixta.
Si se dedican a los juegos, por ejemplo, o son muy activos en la realidad virtual, o si trabajan en la producción de conceptos de IA de vanguardia, definitivamente están empezando a ver el comienzo. Pero todavía parece bastante rudimentario comparado con Ready Player One, fantasía de ciencia ficción hacia la que creo que nos dirigimos claramente. Sólo espero que la visión final sea menos distópica que lo que hemos visto en muchas de las proyecciones de los medios de comunicación, y espero que podamos ser más conscientes de las formas en que la tecnología realmente mejora y aumenta nuestra vida.
¿Cómo se accederá al metaverso y se consumirán los medios de comunicación en él?
CH: Para experimentarlo en términos de realidad física espacial, al menos en un futuro previsible, vas a necesitar algún tipo de dispositivo montado en la cabeza. He oído hablar de lentes de contacto en AWE este año. Va a haber alguna interfaz que se ponga en la cara que permita que los componentes digitales interactúen con los físicos.
Así que creo que van a ser gafas, y creo que van a funcionar de forma similar a como funciona tu reloj con tu teléfono actualmente. Y empezaremos a ver hologramas, y visualizaciones de datos, e información, y entretenimiento, y publicidad -desgraciadamente- repartidos por nuestro mundo. Y cuando nos adentramos en el componente de la realidad virtual, se trata realmente de una realidad digital que lo abarca todo y en la que las limitaciones de nuestra forma física y nuestra experiencia física ya no existen. Y las implicaciones de lo que es posible en la realidad virtual, especialmente a medida que se desarrolla la tecnología, son fascinantes, locas y emocionantes.
Transferencia ilimitada de archivos para una creatividad sin límites
Regístrate en MASV y envía hasta 15 TB con un solo archivo.
¿Cómo cree que afectará a los medios de comunicación y al entretenimiento?
CH: Lo que hemos visto en los últimos 20 años es que el entretenimiento puede adoptar muchas formas diferentes. Por lo que se lucha hoy en día es por la atención del público. Una vez que la realidad extendida madure, creo que se convertirá en una forma más de que el público pase sus horas participando en contenidos. Y entonces será como cualquier otra cosa. Es una batalla por el tiempo. ¿Prefieres estar en un chat de RV viendo a uno de tus músicos favoritos hacer una actuación musical en directo? ¿O quieres estar viendo Netflix?
Tal vez haya un programa de Netflix que en algún momento salga de mi televisor y ahora sea, de alguna manera, una experiencia realmente inmersiva. ¿Imagina lo genial que sería? Estoy viendo una secuencia de un viaje de drogas en un programa de televisión y, de repente, toda mi habitación se convierte en ese viaje de drogas durante 30 segundos. Hay muchas maneras de ser creativo con esto. Y ciertamente, creo que la esperanza es que más gente se entusiasme con las experiencias de realidad mixta.
¿Cómo afecta el concepto de producción virtual a los creadores de contenidos?
Estudio de producción virtual - Motor Unreal
CH: Lo divertido de la producción de contenidos virtuales es que tiene mucha versatilidad. Puedes crear un mundo que puedes rodar como un programa de televisión tradicional, pero luego puedes coger esos mismos mundos y convertirlos en un componente de realidad virtual en el que la gente puede entrar, situarse y pasear. Cuanto más creamos activos digitales para hacer contenido tradicional o enmarcado, más puedes hacer que esos activos trabajen para ti como creador y hacer activaciones extrañas, divertidas y experimentales con ellos. O puedes venderlo como un NFT. Hay un millón de cosas que puedes hacer, porque es un activo digital.
Una de las cosas que me gustan de cualquier película hecha antes del año 2000, más o menos, es que cuando ves que algo explota, te quedas con la sensación de "Oh, Dios mío, realmente lo han hecho explotar". En ese sentido, la producción virtual nunca sustituirá del todo esa sensación de saber que algo se hizo físicamente. Pero la ventaja es que no vamos a perturbar la vida cotidiana de la gente cerrando calles, o creando un montón de basura de los rodajes porque tuvimos que hacer una gran explosión loca.
Skylar Sweetman: Sólo para complementar lo que dijo Christina sobre la versatilidad de estos activos y espacios virtuales que estás creando para los conductos de producción virtuales: Esa explosión de la que hablamos es algo que puede ocurrir una y otra vez. Puede producirse en una galería o en una especie de recorrido experimental en el que el público pueda sentir ese calor y verlo como algo visual, y que sea exactamente lo que ocurrió en la película o el programa de televisión que estaban viendo. Hay muchas maneras de ampliar un activo digital y es emocionante para los creadores y los tecnólogos, porque es una frontera nueva y abierta. Hay muchas áreas de colaboración. Y esa ha sido siempre la historia de Hollywood y del entretenimiento: Los creadores necesitan a los tecnólogos, y los tecnólogos necesitan que los creadores sepan dónde empujarlos.
¿Qué papel desempeña Metastage, o espera desempeñar en el futuro, en el metaverso?
CH: Llevamos algo más de tres años en el mercado, y nuestro principal objetivo ha sido llevar actuaciones humanas auténticas y reales al metaverso. Así que, en lugar de crear un avatar sintético con marionetas, llevamos actuaciones de personas reales a la realidad virtual y aumentada utilizando herramientas y métodos de producción tradicionales y virtuales.
Así que hacemos vídeo volumétrico o captura volumétrica. Hemos capturado a atletas, músicos y personajes públicos. Hemos capturado a los Panteras Negras de los años 60 y a supervivientes del Holocausto. Nos enorgullecemos de la alta calidad y la alta resolución de las capturas, lo más parecido a la realidad de estar al lado o sentado frente a esa persona o de observarla. De cara al futuro, también hay aspectos del vídeo volumétrico en directo en el horizonte, donde también transmitimos en directo a músicos o actuaciones en el metaverso.
También trabajamos con muchos expertos en Escaneo Lidar para llevar entornos del mundo real a espacios de realidad virtual y aumentada. No quiero que el metaverso sea sólo gente y personajes sintéticos: También debería permitirnos apreciar nuestro mundo real y la realidad física. Es un nicho muy interesante, y creo que importante.
¿Qué es el vídeo volumétrico?
SS: El concepto de vídeo volumétrico consiste en utilizar un conjunto de cámaras alrededor de una persona o un animal, y grabar a esa persona desde todos los ángulos por encima, alrededor y debajo de ella. Se captura cada parte de su cuerpo. Y luego puedes tomar todos esos datos de vídeo, procesarlos y crear un activo 3D que sea una réplica digital exacta y fotográfica de lo que ocurrió en el escenario. No hay que utilizar puntos de seguimiento. No hay marionetas ni aparejos virtuales, no hay efectos visuales. Es una verdadera representación en 3D de lo que ocurrió en el escenario. En ese sentido, es una tecnología única y maravillosa para la tecnología educativa o cualquier cosa que requiera una presencia humana real y auténtica en un entorno digital virtual.
CH: Muchos de los ámbitos en los que ya hemos visto el éxito son los deportes, por ejemplo, trayendo a atletas famosos y haciéndoles hacer movimientos característicos, o simplemente pudiendo ver su presencia física. Lo siento, pero un avatar sintético de Ray Allen no es ni de lejos tan genial como el tipo real que hizo los legendarios tiros de tres puntos.
También hemos hecho mucho con los músicos. Los músicos siempre quieren estar a la última. Recientemente hemos empezado a realizar capturas de rendimiento 3D de vídeos musicales y anuncios publicitarios realizados con un motor de juego, en los que el vídeo volumétrico se captura en Metastage y es el activo principal dentro del conducto de efectos visuales de la producción virtual.
Hemos realizado muchas activaciones de marketing utilizando 8ª Pared y los códigos QR. Si escaneas el código QR sin tener que descargarte una aplicación, aparece un pequeño holograma delante de ti y puedes traer a esa persona a tu salón. Hace poco hicimos uno con el campeón mundial de snowboard Chloe Kim: Si obtienes tu pase de esquí, puedes escanear un código QR y Chloe Kim aparece en tu salón y te habla de la próxima temporada de esquí.
¿Cuál es la diferencia entre el vídeo 360/immersivo y el vídeo volumétrico?
CH: El vídeo de 360 grados es un proceso totalmente diferente y puede ser complementario a la captura volumétrica, como los vídeos de 360 grados en los que se graba con una serie de cámaras para capturar el mundo que nos rodea. Y luego tenemos el escaneo LIDAR y la fotogrametría, donde se hace un escaneo espacial de alta resolución de un entorno.
El vídeo volumétrico, en cambio, consiste en grabar hacia dentro para capturar una actuación desde todos los ángulos. Pero se puede tomar Vídeo 360 y hacer una captura volumétrica dentro de ese vídeo de 360, para crear una experiencia de vídeo inmersiva y realista.
¿Qué tipo de equipo se necesita normalmente para los rodajes de vídeos volumétricos?
CH: Realmente depende de sus objetivos y del sistema volumétrico con el que trabaje. Metastage es un proveedor de captura volumétrica de primera calidad. Eso significa que utilizamos equipos de primera línea: Utilizamos 106 cámaras para capturar estas actuaciones y, además, utilizamos la pila tecnológica de Microsoft para procesar los datos. Entramos en la categoría de un estudio de producción profesional que hace las cosas con la mayor calidad posible. Aunque debo señalar que no somos tan caros como la gente cree. Usamos 106 cámaras y procesamos los datos en una granja de renderizado de 50 palas, además de usar Azure procesamiento en la nube para el desbordamiento.
Por otro lado, se buscan otras soluciones como El kit de profundidad de Scatterque es más bien un producto volumétrico de consumo. Es un sistema muy diferente. Tiene muchas menos cámaras, pero es un sistema que se puede poner en el campo, o donde sea, y hacer captura volumétrica con sólo una o dos personas para la producción. Así que hay una gama de opciones cuando se trata de la producción de vídeo volumétrico. Sin embargo, en general, más cámaras equivale a mejor en lo que respecta a la captura, y verás una diferencia cualitativa.
Depthkit - Dispersión
SS: Es interesante, porque una persona con varios iPhones podría montar técnicamente algo así como un equipo de captura volumétrica. Lo cual es genial. Quiero decir, es emocionante pensar en ello a ese nivel.
¿Qué hay de las resoluciones y las frecuencias de cuadro? ¿Qué suele utilizar y difiere según el proyecto?
Normalmente grabamos a 30 fotogramas por segundo. Podemos disparar a 60, pero entonces estaríamos obteniendo el doble de datos. Para que te hagas una idea de la cantidad de datos que capturamos cuando disparamos a 12 megapíxeles, que es a lo que solemos disparar para obtener la máxima calidad de captura, estamos capturando 30 gigabytes de datos en bruto por segundo. Si disparamos a cuatro megapíxeles, estamos haciendo 10 gigabytes de datos en bruto por segundo. Así que grabamos a 30 fotogramas por segundo, porque si grabamos a 60 fotogramas por segundo estamos duplicando la cantidad de datos y se necesita mucho más tiempo, dinero y energía para procesarlos. Creo que hemos hecho tal vez un rodaje a 60, donde estábamos haciendo un atleta con un movimiento particularmente rápido. Y fue una captura muy corta.
Además, dependiendo de dónde vayamos a ejecutar la experiencia final, ajustaremos nuestro recuento de polígonos, es decir, la cantidad de polígonos en la malla de la captura holográfica, dependiendo de dónde vaya a ir. Si va a ser una experiencia de RA en la web, vamos a querer que sea lo más pequeña posible en términos de número de polígonos y resolución, porque va a transmitirse a través de la web. En ese caso, creo que lo mínimo que podemos hacer es 10.000 polígonos con una resolución de 1,5K.
Acabamos de hacer un rodaje con Snapchat, y tuvimos que trabajar muy duro para conseguir el recuento de polímeros y la resolución a un tamaño que pudiera estar en Snapchat. Por el contrario, cuando hicimos un rodaje para Unity para su nueva prueba de concepto Metacast UFCLa gente de la empresa, que iba a someterlo a sus propios sistemas de compresión, lo hizo a su máxima resolución: 60.000 polígonos a casi 4K de resolución.
Siempre evaluamos el tamaño del archivo y la calidad que necesita. Pero la compresión de nuestra pila tecnológica es increíble: si tenemos que reducir esos 30 gigabytes de datos brutos por segundo a, ya sabes, 70 megabytes por minuto, lo hacemos regularmente. Hacer que el contenido sea lo más fluido y pequeño posible es algo que hemos hecho desde el principio.
Enviar terabytes de datos en bruto a través de la nube
¿Necesita o utiliza algún tipo de cámara u objetivo especial?
Cámara de reproducción VOLUCAM 89B64CV
CH: Utilizamos Cámaras IOI. Son cámaras de visión artificial. Cincuenta y tres de ellas son cámaras RGB que captan los datos visuales y textuales de los sujetos, y las otras 53 son cámaras de infrarrojos que disparan una nube de puntos de la que se obtiene una malla. Y así es como obtenemos la malla. Hay un mapa UV, y luego todos esos datos visuales y textuales se aplican al mapa UV de la malla, y así es como obtenemos el holograma.
SS: Hay una gran variedad de lentes que puedes usar también. Y no hay un número fijo en eso. Nosotros utilizamos objetivos de 16 mm, pero hemos visto más anchos y más estrechos. Depende de la pila tecnológica y de la aplicación.
Has mencionado el gran tamaño de los archivos; ¿cuál es el tamaño medio de los archivos de un vídeo volumétrico?
SS: Como dijo Christina, si capturamos a 12 megapíxeles, son 30 gigabytes de datos por segundo a 30 fotogramas por segundo. Y entonces puede que un intérprete tarde unas cuantas tomas en conseguir el disparo. Así que la gestión de datos es definitivamente una parte de nuestro mundo; pensamos mucho en ello. Solemos utilizar Azure, tanto para el desbordamiento del procesamiento como para el almacenamiento.
Pero cuando se habla del activo final, el proceso de tomar los datos de vídeo de las 106 cámaras y hacer un pequeño archivo que se pueda transmitir... se empieza con esta gigantesca nube de puntos, con millones de puntos. Y eso se convierte en una malla hermética cerrada con texturas gigantes. Y se itera y se itera y se itera sobre eso hasta que se reduce a menos de 100 megabytes para un minuto completo de rendimiento volumétrico, totalmente 3D.
¿Puede dar un ejemplo de los mayores proyectos que ha almacenado en Azure?
CH: Diría que entre 60 y 70 terabytes. Y eso incluye una gran cantidad de los datos de origen y cosas por el estilo - que estamos guardando en caso de que el cliente quiere volver a procesar o algo por el estilo. Y por lo que es sin procesar. No lo hemos puesto a través de la tubería. Eso es sólo los datos en bruto. Es una hazaña de la tecnología moderna, porque antes del almacenamiento en la nube ni siquiera sé cómo se podía hacer este tipo de flujo de trabajo.
¿Y el audio? ¿Cómo se graba o se crea el sonido 3D?
CH: Trabajamos con un equipo de audio increíble: Eco VR es su nombre. Nos tomamos el audio tan en serio como el vídeo. En muchos de nuestros rodajes utilizamos micrófonos de solapa para obtener una buena y limpia captura de audio, como se haría en cualquier producción profesional. También tenemos micrófonos de cañón Sennheiser que utilizamos como fuente de audio fiable y limpia: Si el vestuario no permite integrar un micrófono de solapa, digamos que estamos haciendo un traje de baño o algo así, entonces podemos usar los micrófonos de cañón. Y luego lo sometemos todo a un proceso típico de limpieza y masterización de sonido con Pro Tools, y se adjunta a la entrega final.
Más información: Entender los formatos de los archivos de audio
¿Es el vídeo volumétrico un elemento imprescindible en el futuro metaverso?
CH: Puedes tener una experiencia metaversa que no tenga captura volumétrica. Yo lo hago en RV todo el tiempo, entrar en AltspaceVR y el chat de RV. Todos somos avatares. Estamos explorando mundos sintéticos. Es superdivertido, y no es necesario el vídeo volumétrico. Pero para que el metaverso esté realmente a la altura de su verdadero potencial, tenemos que ser capaces de introducir en él a seres humanos reales. Y ahí es donde estamos especialmente cualificados para hacerlo.
¿Cuál es la relación entre la producción volumétrica y la virtual? ¿Se cruzan?
CH: Lo hacen. Por ejemplo, en un comercial we hizo con R/GA en Nueva York, construyeron todos los mundos usando software de VFX: Utilizaron Maya, Houdini, y Nuke. Creo que utilizan Maya para la mayor parte de la creación del mundo, y utilizan Houdini y Nuke para algunos VFX adicionales en la propia captura. Así que el vídeo volumétrico es el activo de rendimiento del héroe, y el mundo se creó con software de efectos visuales, y es donde hicieron los movimientos de cámara virtuales para encuadrar todas las tomas del anuncio final.
Si capturas al actor o al intérprete utilizando vídeo volumétrico de alta calidad, ahora tienes la misma flexibilidad con ese activo que con cualquier activo 3D. Y si lo creas todo dentro del motor del juego, permite que personas reales formen parte de ese escenario de producción virtual, a diferencia de un escenario de producción virtual en el que una persona está de pie frente a una pared de LED y lo filmas de esa manera. Te permite hacer todo dentro del motor.
SS: Y si piensas en lo que el equipo de R/GA fue capaz de hacer, podían hacer estos salvajes y enormes movimientos de cámara que habrían sido realmente caros de hacer en la práctica, y habrían requerido un enorme presupuesto y mucho más personal y más tiempo. Y habrían tenido que hacer las tomas varias veces. Pero como tenían esta baza de héroe, todo lo demás es simplemente flexible.
¿Cómo cree que evolucionarán la producción virtual y la captura volumétrica en el futuro?
CH: Veo que permite una mayor flexibilidad a la hora de crear contenidos. Lo ideal sería que eso sirviera no sólo a los directores y visionarios, sino también a los intérpretes. Quizá no tengan que hacer tantas tomas, porque el director puede encuadrar sus planos en la postproducción.
Queremos dar las gracias a Christina Heller y Skylar Sweetman, de Metastage, por informarnos de los matices técnicos de la creación de una experiencia metaversa y de cómo influirá en los medios de comunicación y el entretenimiento. Para saber más sobre cómo Metastage utiliza el vídeo volumétrico y la producción virtual para capturar auténticas actuaciones humanas para un medio digital, puedes metastage.com.
El metaverso promete desdibujar las líneas entre nuestras realidades digitales y físicas. Aunque este concepto es ambicioso, gracias a los avances en la tecnología de los juegos y los medios de comunicación, no es inalcanzable. El vídeo volumétrico y la producción virtual son dos formas en que los profesionales creativos están integrando a los seres humanos en los mundos digitales. Al capturar actuaciones fotorrealistas desde todos los ángulos y combinarlas con la creación de mundos VFX y la renderización de última generación, los creativos pueden producir contenidos que nos hablen a un nivel más íntimo.
Para dar vida al metaverso, o a cualquier producción digital, los cineastas y desarrolladores deben gestionar todos los enormes Los tamaños de archivo que provienen de las capturas de vídeo de alta resolución y los archivos de producción con gran cantidad de datos. Tanto si se trata de trasladar el material de la etapa de captura volumétrica al equipo de efectos visuales como de enviar proxies a los clientes para su revisión, los archivos masivos requieren MASV.
MASV es un servicio de intercambio de archivos que permite a los profesionales de los medios de comunicación transferir rápidamente terabytes de datos a cualquier persona del mundo a través de la nube. Entregamos los archivos en un tiempo récord gracias a nuestra red de 150 centros de datos globales y a la ausencia de restricciones en las velocidades de transferencia. Todos los archivos compartidos a través de MASV están encriptados y respaldados por un Red de socios de confianza la norma de la industria para la protección de contenidos. Regístrate hoy mismo para MASV y consigue 20 GB gratis para tu próxima transferencia.
Envíe y reciba archivos de gran tamaño desde cualquier lugar
Consigue 20 GB para usar con el servicio de transferencia de archivos grandes más rápido que existe hoy en día, MASV.