Cómo eliminar texto sobreimpreso en videos con Wan2GP

Eliminando texto en videos con IA

Si estás utilizando modelos como Wan2GP para la generación o edición de video, es totalmente posible eliminar texto sobreimpreso. La clave está en entender cómo funciona el pipeline de inpainting y elegir la estrategia adecuada según lo que quieras limpiar.

El enfoque básico: Inpainting cuadro a cuadro

Comencemos con el método más simple. Si el texto está fijo, como en un logo o créditos estáticos, puedes crear una máscara para cubrirlo y ejecutar inpainting sobre cada frame individualmente.

Aunque es fácil de implementar, este enfoque tiene sus limitaciones. Dado que el fondo cambia ligeramente entre fotogramas, es común ver un efecto de parpadeo o flicker cuando ensamblas el video final.

Inpainting temporal: la mejor opción

Para evitar esos problemas, lo ideal es utilizar un enfoque de inpainting temporal. En este flujo, el modelo no analiza los cuadros en aislamiento; ve los frames vecinos y entiende que el fondo debe permanecer coherente a través del tiempo.

Esta técnica es muy superior para eliminar subtítulos persistentes, logos de canales o marcas de agua, ya que permite reconstruir una consistencia temporal sólida.

Guía por prompt y automatización

Puedes refinar aún más el resultado utilizando inpainting guiado por prompts. Instrucciones como Remove subtitles. Restore the original background naturally. ayudan al modelo a reconstruir elementos detrás del texto, como agua, cielo o arena, con gran precisión.

Además, no es necesario crear máscaras manualmente. Puedes automatizar el proceso utilizando herramientas de detección como GroundingDINO, SAM2 y OCR (como EasyOCR) para generar las zonas de interés antes de pasarlas al modelo.

Casos específicos: créditos vs subtítulos

Es importante distinguir entre los tipos de texto, ya que la dificultad varía mucho. Eliminar créditos finales suele ser uno de los casos más fáciles, ya que el fondo detrás del texto es generalmente negro o una imagen fija.

Por otro lado, eliminar subtítulos hardcoded depende totalmente del entorno visual. Si están sobre un fondo desenfocado o estático, el modelo puede reconstruir perfectamente la escena. Sin embargo, intentar borrar texto de una cara, o de elementos en movimiento como explosiones, lluvia o fuego, se convierte en una tarea extremadamente difícil y propensa a errores.

El pipeline completo

Para un flujo de trabajo robusto, podrías implementar algo así: convertir el video a frames con ffmpeg, extraer el texto con OCR, generar las máscaras con SAM2, aplicar Wan2 Video Inpainting y finalizar con herramientas de upscaling como RealESRGAN si es necesario.

Si tu versión de Wan2GP no incluye un pipeline nativo, puedes exportar las imágenes, procesarlas en lotes y volver a ensamblar el video final.