Checkpoints, LoRAs y la arquitectura oculta de los modelos generativos

Al adentrarse en el mundo de la IA generativa, es fácil perderse en una nube de términos técnicos. Al principio, uno se pregunta qué son exactamente los checkpoints, los text encoders y por qué existen cosas como los LoRA o los model patches. Es común pensar que un checkpoint es simplemente el archivo del modelo de difusión, pero la realidad es más matizada: el checkpoint contiene los pesos entrenados de esa arquitectura, actuando como el cerebro completo del sistema.

LoRAs y Model Patches: ¿Qué modifican?

Para entender la complejidad, hay que distinguir entre los diferentes tipos de modificaciones. Un LoRA (Low-Rank Adaptation) es básicamente un parche de pesos muy pequeño entrenado para desviar el comportamiento del modelo base hacia algo específico, como un estilo o un personaje concreto; actúa como un implante neuronal especializado. Por otro lado, los model patches son completamente distintos: no cambian qué sabe dibujar el modelo, sino cómo funciona su lógica interna.

Los parches de ComfyUI, por ejemplo, alteran comportamientos fundamentales como la atención o la gestión de memoria. Esto incluye cosas como FlashAttention o SageAttention, que son implementaciones alternativas para calcular la atención de manera más eficiente y optimizar el uso del VRAM.

El núcleo común: PyTorch

Llegando a una conclusión clave tras analizar todo esto: casi todos estos modelos distintos—SDXL, Wan, Flux—no reinventan la rueda. Todo este ecosistema complejo corre sobre el mismo núcleo matemático y de tensores: PyTorch. Esto explica por qué instalar extensiones como FlashAttention o SageAttention en Windows puede ser un dolor de cabeza; son capas profundas que reemplazan al motor por defecto de PyTorch, afectando a todos los modelos cargados.

Finalmente, es curioso notar cómo este ecosistema parece haber aparecido de golpe. Hace solo dos o tres años, la IA generativa era mucho más simple y estática. Hoy en día, la generación de imagen y video se siente como un sistema programable modular, mucho más accesible que el entrenamiento local de modelos de lenguaje (LLMs), los cuales siguen siendo sistemas más monolíticos y dependientes del hardware.