Por qué expandir dibujos con Qwen y LoRA parece magia

Escrito el por griquelme
Facebook Twitter WhatsApp LinkedIn

Estuve probando los pasos del LoRA para expandir dibujos y me preguntaba por qué parece magia que funcione tan bien. ¿Cómo es posible usar modelos cuantizados «cutre» como Qwen2.5-VL-7B-Q2_K o versiones fp4 con tan solo 14 GB de VRAM y unos pocos pasos?

Diagrama técnico mostrando la eficiencia del modelo Qwen para expandir dibujos simples con recursos limitados, comparado con el comportamiento más creativo de FLUX.
Diagrama del flujo de trabajo de expansión con Qwen usando pocos pasos y baja VRAM.

La razón detrás de la eficiencia

No es magia, sino física aplicada. Lo que ocurre tiene sentido porque estamos hablando de dibujos y no de fotografías reales.

Primero, los Lightning o 4-steps LoRA están diseñados para colapsar el proceso de difusión; esperan pocos pasos porque la información extra se vuelve ruido.

Segundo, los dibujos simples tienen una entropía muy baja. Al expandir lineart o color plano, el modelo solo necesita detectar bordes y rellenar coherencia. No hay que reconstruir piel, poros ni microtexturas complejas, lo que permite usar pocos pasos sin perder calidad.

Tercero, en un proceso de edición de imágenes, la parte pesada del trabajo la realiza la UNet, mientras que el modelo visual solo ancla la semántica general. Por eso, incluso con una versión tan cuantizada como Qwen2.5-VL-7B-Instruct-Q2_K no hay penalización significativa.

Finalmente, el consumo de VRAM y el tiempo de procesamiento cuadran perfectamente gracias a la cuantización agresiva y la reducción de pasos intermedios.

Comparación con modelos creativos

Hice una prueba similar para convertir dibujos verticales en wallpapers usando FLUX, pero noté que añadía personajes y texturas muy elaboradas. Esto tendía a robarle protagonismo al centro del dibujo original.

Aquí está la clave: modelos como FLUX tienen un enfoque más «artista libre», interpretando el lienzo y añadiendo detalles por su cuenta, lo cual puede ser útil para conceptos nuevos pero problemático si solo quieres expandir una ilustración existente sin inventar nada.

En contraste, Qwen es mucho más obediente. Extiende lo que ya existe, sigue las líneas y respeta el estilo original sin meter inventos extraños. Por eso, para este tipo de outpainting limpio, estar en ese punto dulce es simplemente una cuestión de eficiencia y de entender la personalidad del modelo.