Extender video con MiniMax R2V usando una foto de referencia

¿Outpainting con video y foto?

Inicialmente, la pregunta principal giraba en torno a si era posible realizar un outpainting utilizando el modelo MiniMax H3 R2V. La idea original consistía en combinar un video de cámara fija con una fotografía del mismo lugar para conservar los acontecimientos mientras se añadían nuevos elementos.

Se llegó a la conclusión de que, aunque R2V tiene sentido para este escenario, no lo trataríamos como un outpainting puro. En su lugar, se define mejor como una generación de video guiada por referencias múltiples. El modelo no garantiza que los píxeles originales permanezcan idénticos mientras genera nuevos bordes, por lo que la estrategia debe adaptarse.

El flujo de trabajo híbrido

Para abordar esto sin depender de un outpainting determinista perfecto, se propone una estrategia en dos pasos. Primero, se concentra toda la capacidad del modelo para generar el área central de acción con la máxima fidelidad temporal y espacial.

Una vez que el centro está generado, se utiliza la fotografía del entorno para reconstruir los laterales hasta alcanzar una resolución de 1280×720.

Eficiencia y optimización

Un aspecto clave de este experimento es la gestión de los recursos computacionales. Se ha descubierto que no es necesario generar los laterales en una sola pasada durante todo el video. En su lugar, se puede dividir el trabajo temporalmente.

Por ejemplo, si el video tiene 10 segundos, se pueden procesar segmentos cortos de dos segundos cada uno. Esto permite experimentar con parámetros y encontrar la configuración ideal sin consumir toda la GPU de una vez.

Otro punto importante es que la cámara fija simplifica enormemente el problema. Al tener una geometría temporal prácticamente estática en los laterales, mientras que el centro aporta la información dinámica, R2V tiene mucho menos trabajo que si tuviera que inventar un entorno en movimiento.