Ajustar carga de modelos en LM Studio: ¿Una o dos GPUs?

En la gestión de entornos de inferencia local, surge una duda frecuente sobre cómo configurar LM Studio. La pregunta central es si es mejor ajustar la carga de modelos a una sola tarjeta gráfica o permitir que el sistema distribuya la carga entre dos tarjetas, siempre que sea posible en una sola.

Tarjeta gráfica RTX 3090 procesando carga de modelo de lenguaje.
Configuración óptima para inferencia local en LM Studio.

Una sola GPU

Si el modelo cabe cómodamente en una sola GPU, suele ser preferible cargarlo íntegramente en esa tarjeta. Las ventajas incluyen evitar la comunicación entre GPUs, reducir la latencia durante la generación de tokens y simplificar la distribución de capas.

  • Menos complejidad en la distribución de capas.
  • Evitas depender de la sincronización entre tarjetas.
  • Puedes dejar la segunda GPU disponible para otras tareas.

Dos GPUs

Tener sentido distribuir el modelo se da cuando:

  • El modelo no cabe en una sola tarjeta.
  • Necesitas un contexto mucho más grande.
  • Quieres ejecutar modelos de mayor tamaño o cuantización superior.

La desventaja es que dividir el modelo entre tarjetas introduce cierta sobrecarga de comunicación, especialmente cuando ambas trabajan mediante PCIe.

Tu caso particular

Considerando una RTX 3090 de 24 GB y una RTX 3060 de 12 GB, existen orientaciones específicas:

  • Modelo de 7-9B Q4: RTX 3060.
  • Modelo de 14B Q4: RTX 3090.
  • Modelo de 27B Q4: Ambas GPU.
  • Modelo de 70B Q4: Ambas GPU, más RAM si corresponde.

Hay que considerar también el KV cache, el contexto y la memoria de trabajo.

El detalle importante: PCIe

Si las dos tarjetas están conectadas mediante PCIe, no tienes necesariamente una comunicación tan rápida como la memoria interna de una GPU. Por eso, distribuir capas entre dos tarjetas puede reducir el rendimiento frente a una sola tarjeta, aunque dispongas de más VRAM total.

Configuración en LM Studio

La configuración de uso de tarjetas es global. No parece haber forma de asignar una tarjeta al cargar el modelo directamente desde el diálogo. En ese caso tienes tres alternativas:

  1. Desactivar la RTX 3060 en la configuración global: LM Studio utilizará solamente la RTX 3090. Es lo más sencillo si la mayoría de tus modelos caben en sus 24 GB.
  2. Permitir ambas GPU: LM Studio podrá distribuir las capas entre las dos cuando corresponda. Si el modelo cabe en la 3090, puedes ajustar manualmente el número de capas GPU para evitar utilizar la 3060.
  3. Cambiar la configuración antes de cargar cada modelo: Menos cómodo, pero permite alternar entre rendimiento y capacidad.

La preferencia sería la primera opción como configuración habitual. Una precisión importante: no confundas el número de GPU habilitadas con el número de GPU efectivamente utilizadas. Que ambas estén habilitadas no significa necesariamente que LM Studio vaya a repartir el modelo entre ellas.

Mi recomendación: configura LM Studio para utilizar preferentemente la RTX 3090 cuando el modelo quepa en ella. Reserva la RTX 3060 para modelos pequeños independientes o para ampliar capacidad cuando realmente lo necesites.