El misterio del segundo 14 en outpainting con LTX-2 Distilled

Estoy enfrentando un problema muy extraño al intentar hacer outpainting del opening de Dragon Ball, pasando de una relación de aspecto de 3:4 a 9:16. Uso WangP con el modelo LTX-2 Distilled 1.1 22B, y por alguna razón, el proceso funciona correctamente solo desde el segundo 14. Todo el inicio del video, desde el minuto cero hasta los 13 segundos, se deja tal cual sin cambios. He probado incluso a hacer un crop del video original hasta un 10% para ver si eso ayudaba, pero el comportamiento persiste exactamente igual.

Analizando la situación, parece que esto no es tanto un problema con el prompt o los parámetros de entrada, sino una limitación directa del pipeline de procesamiento del video. El hecho de que el corte sea exactamente alrededor del segundo 14 sugiere fuertemente que el modelo está procesando el video en ventanas temporales, o chunks.

LTX-2 funciona sobre bloques temporales. Dependiendo de cómo esté implementado WanGP para el outpainting, es muy probable que esté manejando los frames en lotes específicos. Por ejemplo, podría estar copiando los primeros 192 frames sin procesarlos, y solo comenzando a aplicar la generación real desde el frame 193.

Es importante entender cómo funciona este modelo: en tareas de video a video y outpainting con LTX-2 Distilled, el texto del prompt tiene un peso prácticamente nulo. El modelo recibe principalmente los frames originales, las máscaras y la condición temporal para generar su resultado.

A esto se suma que el modelo fue entrenado específicamente para la continuación temporal de videos en lugar de modificar cada frame existente desde cero. Algunos wrappers aplican optimizaciones donde mantienen el primer contexto intacto para estabilizar el movimiento antes de comenzar a sintetizar, lo que explica por qué el principio queda idéntico y luego empieza a expandir.

Para solucionar esto, hay varios pasos técnicos que se pueden probar inmediatamente:

• Iniciar el video más tarde: Empieza el procesamiento en el segundo 5 o 6. Si el efecto de bloqueo vuelve a ocurrir unos 14 segundos después del nuevo inicio, confirmarás que es un problema de ventana temporal.
• Cortar clips cortos: Prueba con un clip de solo 8 a 10 segundos para ver si el outpainting funciona desde el primer frame sin el contexto previo.
• Ajustar parámetros de contexto: Reduce la duración total del trabajo ajustando opciones como ‘max frames’, ‘context length’ o ‘chunk size’.
• Desactivar preservación de fuentes: Busca y desactiva cualquier opción llamada ‘Preserve source’, ‘Reuse first frames’ o similar si existe en la configuración.
• Revisar los logs: Revisa el log de consola de WanGP buscando mensajes como ‘Processing chunk 0…’ o ‘frames 0-191’. Ver estos bloques te permitirá identificar exactamente dónde se divide el procesamiento.