La complejidad absurda de reemplazar personajes en video con IA

Me molesta un poco que para reemplazar un personaje con otro en un video haya que describirlo con tanto detalle. ¿No debería bastar con poner la imagen y decir «reemplaza A por B»? Desde el punto de vista de cómo debería funcionar una herramienta de edición, tu intuición tiene mucho sentido.

El problema es que muchos modelos de video actuales no trabajan realmente así. La imagen de referencia suele funcionar más como una condición visual que como una identidad rígidamente preservada. El modelo tiene que reconstruir al personaje en cada frame, y si no le das información adicional, puede interpretar cosas como el color del pelo o la ropa.

Aquí aparece la absurda situación de que terminas escribiendo un prompt casi de identificación policial para forzarlo a entender quién es quién. Hay además una segunda dificultad: qué significa realmente «reemplazar».

Un buen editor debería inferir automáticamente la pose, el movimiento y las oclusiones, pero muchos modelos necesitan que se lo especifiques porque están haciendo algo más parecido a generación condicionada que a edición semántica precisa.

Y hay una distinción importante: si la imagen de referencia es suficientemente buena, describir físicamente al personaje puede ser contraproducente. Estás introduciendo dos fuentes de información que pueden competir entre sí y generar instrucciones contradictorias para el modelo. Para un sistema ideal, yo esperaría una sintaxis conceptual mucho más simple.

De hecho, cuando una herramienta exige un prompt larguísimo para algo tan mecánico, suele ser una señal de que la herramienta todavía no tiene una operación de reemplazo verdaderamente explícita. Está intentando convencer al generador de que haga algo que un editor especializado debería poder representar como una operación estructurada.

Sospecho que esto es justamente lo que te está molestando de los workflows de video que has estado probando: no quieres generar una persona parecida, quieres hacer un reemplazo quirúrgico.

Y punto.