Modelos pequeños escalan mejor en GPUs con mucha VRAM

Es un hallazgo contraintuitivo en el mundo de la inferencia local: los modelos más pequeños son los que mejor aprovechan una GPU con mucha VRAM. Cuando utilizas tarjetas como una RTX 3090 de 24 GB, puedes cargar modelos de 7B o 8B completamente en memoria. Al ser relativamente pequeños, el cuello de botella deja de ser la VRAM y pasa a ser la potencia de cálculo de la GPU, lo que te permite obtener muchas más palabras por segundo.

Modelos pequeños versus grandes en tarjetas de alta VRAM

Pero, ¿qué sucede cuando subes el tamaño del modelo? Si pasas a modelos más pesados como 30B, 70B o superiores, la dinámica cambia drásticamente. Aunque el modelo pueda seguir cabiendo en memoria gracias a la cuantización o distribuyéndolo entre varias tarjetas, aparecen nuevos problemas:

• La VRAM se llena rápidamente.
• Hay mucho más trabajo matemático por token que procesar.
• El rendimiento cae significativamente.

Para ponerlo en números concretos con una RTX 3090, la velocidad de inferencia varía enormemente según el tamaño: un modelo de 7B es muy rápido, mientras que uno de 14B es aproximadamente la mitad de veloz. Un modelo de 32B se vuelve bastante más lento, y llegar a un 70B resulta extremadamente lento incluso con técnicas avanzadas.

Rendimiento y velocidad por token

Entonces, si la pregunta es si los modelos pequeños escalan mejor en tarjetas con mucha VRAM, la respuesta es claramente sí. Llegado cierto punto de complejidad, añadir más parámetros aumenta la calidad del modelo, pero cada parámetro extra aporta una mejora marginal mientras el coste computacional sigue creciendo linealmente.

Por este motivo, muchas comunidades técnicas consideran que los modelos en el rango de 14B a 32B ofrecen actualmente uno de los mejores equilibrios entre calidad y velocidad para una GPU de 24 GB. Es la zona donde la VRAM es suficiente sin convertirse en un cuello de botella.

Más allá de la velocidad: capacidades habilitadas por alta VRAM

Además del rendimiento puro, una tarjeta con mucha memoria permite hacer cosas que simplemente no son posibles en hardware limitado. Con 24 GB o más de VRAM disponible, puedes habilitar funcionalidades avanzadas como:

• Usar contextos enormes de hasta 32k, 64k o incluso 128k tokens.
• Procesar múltiples usuarios o conversaciones simultáneas sin que el sistema se congele.
• Ejecutar varios modelos a la vez para tareas multimodales (visión y vídeo).

En resumen, tener mucha VRAM no solo significa cargar más parámetros; significa que puedes mantener una arquitectura de inferencia mucho más robusta y rápida.