¿Dos RTX 3090 con NVLink dan 48 GB de VRAM para IA?

Muchos usuarios se preguntan si comprar una segunda tarjeta gráfica, como una RTX 3090, y conectarla a la que ya poseen mediante tecnología NVLink les permitirá tener acceso inmediato a 48 GB de VRAM total. La respuesta corta es no para la mayoría de los modelos de IA actuales.

Aunque físicamente tengas 48 GB de memoria, normalmente cada GPU sigue viendo sus propios 24 GB. La mayoría de frameworks de IA, como PyTorch o ComfyUI, no fusionan automáticamente la VRAM en una sola memoria gigante.

Cómo funciona realmente NVLink

NVLink proporciona un enlace muy rápido entre ambas tarjetas, mucho más rápido que PCIe, pero no convierte dos memorias en una sola de forma transparente. Para aprovechar esos 48 GB totales, necesitas estrategias específicas como el model parallelism para repartir un modelo entre ambas GPUs, o el tensor parallelism donde cada GPU almacena una parte de los pesos.

Software que soporta múltiples GPUs

No todas las herramientas aprovechan esto. Herramientas como llama.cpp pueden distribuir capas entre varias GPUs, y vLLM puede hacer tensor parallelism. Text Generation WebUI también puede usar varios backends para aprovechar varias tarjetas.