¿Por qué Ref2VA no respeta los frames iniciales y finales como FL2VA?

El debate inicial giraba en torno a un problema técnico específico: Minimax H3 Ref2VA no parecía ser capaz de reemplazar completamente a FL2VA. El objetivo era lograr una adhesión perfecta al frame inicial y al frame final, pero los experimentos con videos de referencia de 20 frames fallaron constantemente.

La naturaleza de la limitación en los modelos de video

Al investigar si el problema residía en el prompt o en el modelo mismo, se descubrió una distinción conceptual clave. FL2VA está diseñado específicamente como un modo de first-and-last-frame, actuando como restricciones temporales duras en los extremos del video. Por otro lado, Ref2VA trata las imágenes y videos como referencias multimodales para la identidad, el movimiento o la cámara.

Además, el experimento de 20 frames falló porque era demasiado corto; a 24 fps, solo cubría 0,83 segundos, lo cual está fuera del rango documentado de 2 a 15 segundos que requiere Ref2VA. Incluso al aumentar la duración, el modelo no garantiza una copia bit-a-bit exacta de los extremos.

Experimentos futuros con modelos híbridos

Dada esta limitación inherente del 70–80%, se propuso probar modelos «hibridos» que combinan ambas arquitecturas. La prueba no es solo ver si la generación mejora, sino medir tres propiedades críticas: la fidelidad al primer frame, la convergencia exacta en el último frame, y la libertad para inventar una transición natural entre ambos.

El siguiente paso lógico es utilizar los 168 frames de contexto que se están usando actualmente. El objetivo es mantener las referencias iniciales y finales intactas mientras el modelo genera libremente durante los 148 frames intermedios, logrando así una pieza sólida que pueda reemplazar a FL2VA.