Tokens por segundo: El verdadero debate entre hardware local y remoto

A propósito de las discusiones sobre Linus Tech Tips, surge una pregunta clave: ¿cuántos tokens por segundo genera la IA local frente a la remota? La respuesta no es simplemente comparar números, sino entender dónde reside el procesamiento y qué factores influyen en la velocidad real.

Gráfico técnico comparativo entre tarjetas gráficas NVIDIA RTX 3090 y RTX 5090 con datos de rendimiento.
Evolución del hardware para IA local: la RTX 5090 ofrece mayor ancho de banda GDDR7 frente a la 3090.

La diferencia entre local y remoto

Existe una distinción fundamental. En la IA local, la velocidad depende de tu hardware, el modelo específico, su cuantización, el contexto y la configuración de inferencia. Por otro lado, en la IA remota, los factores son la carga de los servidores del proveedor, la infraestructura de inferencia y tu conexión a internet. Aunque una GPU remota puede ser superior, el trabajo suele distribuirse entre varias unidades.

Como referencia orientativa, las velocidades varían considerablemente según el modelo:

  • CPU doméstica: 2–15 tok/s
  • GPU RTX 3060 12 GB: 15–50 tok/s
  • GPU RTX 3090 24 GB: 30–100 tok/s
  • Servidor remoto optimizado: 50–200 tok/s
  • Servidor remoto de alta velocidad: 200–500+ tok/s

Es crucial recordar que estos rangos cambian según el tamaño del modelo. Una RTX 3090 puede producir resultados muy diferentes con un modelo de 8B, 14B o 32B.

El impacto del tamaño del modelo

Para una comparación realista en tu RTX 3090 de 24 GB, las estimaciones para inferencia optimizada son:

  • 7B–8B Q4: 70–120 tok/s
  • 14B Q4: 35–65 tok/s
  • 27B Q4: 15–30 tok/s
  • 32B Q4: 12–25 tok/s
  • 70B Q4: Requiere bastante RAM adicional

Aquí es donde la IA remota muestra una ventaja brutal: puedes acceder a modelos enormes sin comprar hardware ni preocuparte de VRAM.

La nueva generación: RTX 5090

La RTX 5090 juega en otra liga para IA local. Lo más interesante no es solo su velocidad, sino sus especificaciones físicas:

  • VRAM: 32 GB GDDR7 (frente a los 24 GB de la RTX 3090)
  • Ancho de banda: 1.792 GB/s
  • Arquitectura: Blackwell

Un benchmark publicado para Qwen 27B Q4 con llama.cpp arroja resultados claros:

  • RTX 3090: 42,7 tok/s
  • RTX 4090: 47,1 tok/s
  • RTX 5090: 70,9 tok/s

Esto representa aproximadamente un 66% más de velocidad que la 3090 en esa comparación específica. Con otros modelos puede superar los 100 tok/s.

El caso Linus y dos tarjetas

Retomando el análisis sobre Linus Tech Tips con dos RTX 5090, la conclusión cambia significativamente. Dos tarjetas son 64 GB de VRAM combinada, pero no equivalen automáticamente a una GPU que genera al doble de velocidad.

Representación abstracta de un sistema de inferencia distribuida con múltiples GPUs y latencia de red.
El caso Linus demuestra que dos tarjetas no siempre duplican la velocidad debido a la distribución del modelo.

Tres factores pueden hacer que una máquina con dos tarjetas monstruosas parezca sorprendentemente lenta:

  1. Modelo demasiado grande: Si se ejecuta un modelo de cientos de miles de millones de parámetros, las dos GPU pueden quedarse cortas.
  2. Distribución del modelo: Dividir los pesos entre GPU no significa que ambas trabajen simultáneamente en cada operación. Depende de la estrategia de paralelización.
  3. Procesamiento del contexto: Leer un prompt enorme puede tardar muchísimo, aunque después la generación de texto sea relativamente rápida.

Una prueba técnica ilustra perfectamente el problema. Tom’s Hardware probó Qwen 3.8 27B con una y dos RTX 5090:

  • Una 5090 con llama.cpp y contexto largo: Problemas gravísimos, hasta 30 minutos para el primer token.
  • Una 5090 con vLLM: Aproximadamente 20 tok/s.
  • Dos 5090 con vLLM: Llegan a 70–80 tok/s.
  • Activando MTP (Multi-Token Prediction): Alcanzan 100–110 tok/s.

Es decir, el software y la configuración cambiaban radicalmente el resultado. Si Linus estaba intentando ejecutar un modelo de 400B o más, la historia es completamente distinta. Dos 5090 pueden tener 64 GB de VRAM, pero eso no significa que puedan ejecutar eficientemente cualquier modelo que quepa en esa memoria.

Conclusión

La IA local ofrece privacidad, control de datos y disponibilidad independiente, además de la posibilidad de experimentar con modelos sin depender de un proveedor. La remota permite acceder a modelos masivos sin coste de hardware inicial.

En cuanto al hardware, si tu objetivo es IA local, la 5090 es una mejora importante frente a la 3090, pero no necesariamente justifica su precio en todos los casos. La pregunta más interesante sigue siendo: ¿comprar una 5090 para tener 32 GB o conservar la 3090 y agregar otra GPU? Para experimentación con modelos grandes, esa segunda posibilidad tiene bastante atractivo, aunque exige resolver la distribución de modelos y la alimentación eléctrica.