Decodificando los nombres de archivo GGUF y la realidad de la VRAM

Los nombres de archivo de los modelos de IA pueden parecer una serie compleja de jeroglíficos al principio. Al observar archivos como qwen-image-edit-2511-Q4_K_M.gguf, es fácil sentirse abrumado por la cantidad de siglas y números. Sin embargo, tras desarmar el sistema de nomenclatura, se revela que es bastante sistemático. Todo lo que sigue al nombre del modelo indica cómo están almacenados los pesos: principalmente qué precisión usan y qué compromisos hacen entre calidad, memoria y velocidad.

Los formatos base: BF16 y F16

Antes de entrar en la cuantización, hay que entender las bases. Los archivos -BF16.gguf utilizan bfloat16, conservando mucha fidelidad numérica y requiriendo mucha VRAM para un rendimiento casi crudo. Por otro lado, los -F16.gguf usan el clásico float16, ofreciendo una compatibilidad más amplia con las GPUs.

El reino de la cuantización (Q)

Aquí es donde entra el concepto de Quantized. El número que sigue a la Q indica cuántos bits efectivos se usan por peso. Por ejemplo, Q4 utiliza aproximadamente 4 bits por peso, mientras que Q8 se acerca mucho más al lujo innecesario.

Además de la cantidad de bits, existen los sufijos _0 y _1, que son esquemas antiguos de cuantización todavía válidos por compatibilidad. Hoy en día, sin embargo, lo más jugoso es entender los _K_*. Estos representan esquemas modernos como k-quants, donde se mezclan bloques con distintas precisiones según su importancia.

La realidad de la VRAM y el SLI

Mientras analizamos los formatos, surge una duda común sobre el hardware. Se dice que 24 GB de VRAM es ahora un estándar, mientras que antes se consideraba lujo. Esto se debe a que los modelos base crecieron en tamaño y los contextos pasaron de 2k a 16k o más.

Una pregunta frecuente es si dos tarjetas gráficas, como dos RTX 3090, pueden sumar su memoria usando SLI. La respuesta corta y directa es no: cada GPU necesita tener una copia completa del modelo que va a usar, por lo que la VRAM no se acumula.

Si bien existen formas de usar model parallelism para repartir el trabajo entre GPUs, eso requiere un software especializado como DeepSpeed y no es algo nativo en sistemas de inferencia estándar. Para la mayoría de los usuarios corriendo modelos localmente, una sola GPU sigue siendo la opción más práctica y directa.