Cómo evitar que los modelos de video inventen interacciones

Trabajar con modelos de generación de video puede ser frustrante cuando el sistema empieza a alucinar interacciones que no pediste. He estado ajustando un prompt para una escena específica, y rápidamente me di cuenta de por qué los resultados eran tan inestables.

El problema de las interacciones no deseadas

La causa principal es cómo razonan estos modelos: tienden a asumir que si alguien intenta llamar la atención de otro, debe ocurrir una respuesta social inmediata. Al pedirle al modelo que un personaje intente captar la atención varias veces, se refuerza la idea de que algo debería pasar.

Para contrarestar esto, la primera solución fue hacer el prompt mucho más conductual y explícito sobre el hecho de que él no la ve. Reescribimos los timestamps para dejar claro en cada paso que él sigue escribiendo sin mirar a nadie:

00:01 She quietly waves at him from behind, trying to get his attention.
He does not notice her and continues typing, without looking at her or reacting in any way.

La solución definitiva con restricciones físicas

Sin embargo, incluso eso no fue suficiente. La versión final que funcionó mejor añadió un contexto físico brutal para el modelo: especificar exactamente dónde está la persona y prohibirle cualquier movimiento de cabeza o torso.

En lugar de simplemente decir que ella intenta captar su atención, añadimos frases como «from directly behind him» y «he cannot see her». Esto es crucial porque establece una secuencia física imposible de reinterpretar como un saludo mutuo:

00:01 She waves at him from directly behind him.
He cannot see her. He does not turn around, does not look at her, and does not react.

La lección es clara: para evitar que los modelos razonen sobre interacciones sociales, debes definir sus posiciones físicas y prohibir cualquier movimiento de cabeza o torso.