Velocidad de Tokens en IA: ¿Por Qué los Proveedores Comerciales No Garantizan 200 tokens/s?

Velocidad de Tokens en IA: ¿Por Qué los Proveedores Comerciales No Garantizan 200 tokens/s?

Se habla frecuentemente de rangos entre 50 y 100 tokens por segundo en inferencia local con LLM. Pero en servicios como ChatGPT, la velocidad no es un atributo fijo asignado por usuario ni tipo de cuenta.

Comparativa de velocidad de generación de tokens entre IA local y servicios cloud
La velocidad de tokens depende de hardware, carga y estrategia del proveedor

Diferencia entre local y cloud

Hay tres conceptos que conviene separar:

  • Velocidad de generación (tokens/s): cuántos tokens produce el modelo por segundo mientras responde.
  • Límite de solicitudes: cuántas consultas puedes realizar en determinado período.
  • Cuota de tokens: cuánto puedes consumir antes de alcanzar un límite.

En servicios como ChatGPT, normalmente no compras velocidad específica. Compras acceso a modelos y capacidades sujetos a límites de utilización y disponibilidad.

¿Qué velocidad te entrega un proveedor?

Los proveedores comerciales no suelen publicar garantía de tokens/s por usuario. Aquí tenemos referencias orientativas:

Servicio / modeloVelocidad individual orientativa
Modelos pequeños y rápidos80–200+ tokens/s
Modelos generales medianos40–100 tokens/s
Modelos grandes y sofisticados20–70 tokens/s
Modelos con razonamiento intensivoMuy variable

Los modelos de razonamiento pueden pasar bastante tiempo procesando antes de entregar el primer token visible. Además, algunos generan tokens internos que no aparecen como texto en pantalla.

NVIDIA distingue entre tiempo hasta el primer token (TTFT), latencia entre tokens y rendimiento total de generación.

¿Qué ocurre con ChatGPT y los planes de suscripción?

Un plan de suscripción no equivale a reservar una GPU para ti. Cuando utilizas servicios cloud:

  • Tus solicitudes entran en infraestructura compartida.
  • El proveedor distribuye las solicitudes entre recursos disponibles.
  • Puede agrupar solicitudes mediante continuous batching.
  • La velocidad percibida depende del modelo, carga y configuración de inferencia.

No tienes una RTX 3090 virtual funcionando exclusivamente para ti. Los planes se diferencian por modelos disponibles, cantidad de mensajes, límites de utilización y acceso a capacidades especiales.

¿Cuáles son los límites en las API?

OpenAI utiliza límites como RPM (solicitudes por minuto), TPM (tokens por minuto) y TPD (tokens por día). Estos límites se aplican a organizaciones, no necesariamente usuarios individuales.

Anthropic publica estructura ilustrativa para su API Claude con cuotas de hasta 400.000 tokens de salida por minuto —aproximadamente 6.667 tokens por segundo— como presupuesto agregado distribuido entre solicitudes.

¿Cuál es el máximo teórico?

En LLM autoregresivo convencional, cada nuevo token necesita nueva etapa de inferencia. La velocidad depende de:

  • Tamaño del modelo y precisión numérica
  • Ancho de banda de memoria de las GPU
  • Cantidad de GPU utilizadas
  • Optimización del motor de inferencia
  • Longitud del contexto y consumo de memoria KV
  • Técnicas como speculative decoding

Distinción fundamental: velocidad por usuario frente a velocidad total del servidor. Un servidor puede atender cientos de usuarios produciendo decenas de miles de tokens por segundo en total, aunque cada usuario reciba 50 tokens/s.

Comparación con RTX 3090

Tu GPU tiene velocidad de generación respetable para modelos pequeños y medianos cuantizados. Pero los modelos grandes pueden necesitar varias GPU o técnicas de descarga a RAM.

Conclusión: 50–100 tokens/s locales no son necesariamente velocidad inferior a servicios comerciales. Puedes encontrar modelos locales que se sienten más rápidos que algunos modelos grandes alojados en la nube.

¿Es ventaja competitiva ofrecer más velocidad?

Sí, los proveedores tienen incentivos para que experiencia en cloud sea perceptiblemente superior a ejecución local:

  • En local estás limitado por hardware que puedes comprar y mantener.
  • En la nube pueden utilizar aceleradores mucho más potentes.
  • Pueden ofrecer modelos que sencillamente no caben en tu GPU.

NVIDIA publicó pruebas de inferencia con Llama 3.3 70B en H200:

ConfiguraciónTokens/s
Sin speculative decoding51
Con modelo auxiliar 8B134
Con modelo auxiliar 1B162

Un modelo de 70.000 millones de parámetros puede superar los 150 tokens/s en condiciones de hardware y optimización.

¿Por qué no ofrecen siempre esa velocidad?

Existe tensión económica:

  • Mayor velocidad individual implica dedicar más recursos a cada solicitud.
  • Agrupar usuarios permite aprovechar mejor las GPU.
  • Mayor concurrencia puede reducir velocidad individual.

Tres niveles de competencia

NivelObjetivo
VelocidadQue respuesta aparezca rápidamente
InteligenciaModelo remoto haga cosas que local no consigue
CapacidadOfrecer modelos y contextos imposibles en PC doméstico

Los dos últimos son mucho más difíciles de replicar en casa.

Consumo intensivo de tokens en desarrollo

Un usuario normal puede hacer 30 consultas al día. Un desarrollador utilizando agentes de programación puede tener agente trabajando durante horas, leyendo archivos, inspeccionando código, ejecutando pruebas y corrigiendo errores.

Estudio de 2026 sobre agentes de programación encontró consumos extraordinariamente elevados: algunas tareas agentic llegaron a consumir hasta tres órdenes de magnitud más tokens que tareas convencionales. Más tokens no implicaban necesariamente mejores resultados.

Planes para consumo intensivo

Anthropic monetiza segmento de usuarios que necesita tener agente trabajando prácticamente todo día:

  • Pro: US$20 por mes
  • Max 5x: US$100 por mes (cinco veces capacidad Pro)
  • Max 20x: US$200 por mes (veinte veces capacidad Pro)

El verdadero negocio está en tokens de entrada

En programación agentic, el coste no necesariamente está en tokens que modelo genera, sino en los que tiene que volver a leer. Sesión prolongada puede acumular código fuente, historial de modificaciones, resultados de pruebas e instrucciones anteriores.

Prompt caching permite reducir sustancialmente coste de volver a procesar contenido idéntico. Anthropic publica descuentos importantes para lecturas desde caché frente a tokens de entrada normales.

La paradoja económica

Anthropic tiene incentivos para vender más capacidad de inferencia, pero también incentivos para conseguir que Claude resuelva tareas con menos tokens:

  • Menor coste operativo
  • Más usuarios simultáneos
  • Menos saturación
  • Mejor experiencia

Conclusión: el verdadero peligro no es que Claude tenga intención de inflar código. Es que sistema optimizado para producir soluciones aparentemente satisfactorias puede terminar premiando complejidad, verbosidad y actividad innecesaria.

Estrategias para modernizar software

Hay tres enfoques principales:

1. Refactoring — Menor riesgo inicial

Consiste en trabajar sobre código actual, identificando problemas y mejorando progresivamente.

  • Ventajas: conservas funcionalidades probadas, evitas reimplementar comportamientos desconocidos, trabajas por módulos, mantienes compatibilidad con datos y usuarios.
  • Desventajas: puedes heredar decisiones arquitectónicas difíciles de corregir, algunas dependencias pueden limitarte, código puede tener acoplamientos que dificulten cambios.

2. Rewrite — Mayor riesgo de ejecución

Se define arquitectura objetivo e implementa nueva plataforma usando antigua como referencia funcional.

  • Ventajas: eliminas deuda técnica acumulada, diseñas arquitectura coherente, incorporas tecnologías modernas, evitas perpetuar limitaciones históricas.
  • Desventajas: puedes pasar meses reproduciendo funcionalidades que ya existían, hay comportamientos del sistema antiguo que nadie documentó, migración de datos puede convertirse en problema enorme.

3. Strangler Fig Pattern — Mi opción preferida

Idea es definir primero cómo debería ser sistema terminado, pero no necesariamente construirlo de una sola vez. Plataforma nueva va sustituyendo a antigua sin exigir reconstrucción simultánea de todo sistema.

Flujo de trabajo de agente de IA generando múltiples solicitudes y acumulando contexto
Los agentes de programación consumen órdenes de magnitud más tokens que conversaciones normales

Ejemplo:

  1. Analizar plataforma actual
  2. Documentar funcionalidades, dependencias y datos
  3. Definir arquitectura objetivo
  4. Identificar módulos que merecen conservarse
  5. Crear nuevos componentes
  6. Migrar funcionalidades progresivamente
  7. Retirar componentes antiguos cuando reemplazos estén validados

Cómo utilizar IA para este trabajo

No pediría inicialmente que programe nada. Lo dividiría en cuatro fases:

FaseTrabajo de IAResultado
AuditoríaInspeccionar código y dependenciasDiagnóstico
ArquitecturaDiseñar estado objetivoDocumento técnico
EvaluaciónComparar refactoring vs rewriteDecisión justificada
EjecuciónImplementar por módulosPlataforma mejorada

Criterio para decidir estrategia

SituaciónEstrategia
Sistema estable con deuda técnica moderadaRefactoring
Sistema funcional con módulos muy acopladosMigración incremental
Arquitectura fundamentalmente inadecuadaReconstrucción parcial
Tecnología obsoleta sin soporte ni actualización razonableRewrite
Sistema pequeño, bien comprendido y con pocas dependenciasRewrite puede ser conveniente
Sistema crítico con muchos usuarios y datos históricosMigración incremental

La meta final no es tecnología determinada

No confundiría meta final con implementación tecnológica determinada. Por ejemplo:

«Quiero migrar esta plataforma a microservicios, PostgreSQL, React y API REST» presupone decisiones arquitectónicas.

Mientras que:

«Quiero una plataforma modular, mantenible, con separación de responsabilidades, persistencia confiable, interfaces desacopladas y capacidad de evolucionar» define propiedades que sistema debe cumplir.

A veces mejor arquitectura para plataforma es monolito modular. Y eso puede ser muchísimo mejor que construir quince microservicios que nadie necesita.

Conclusión

Migración incremental desde monolito legacy hacia microservicios modernos
El patrón Strangler Fig permite modernizar sistemas sin reconstrucción total

La métrica reveladora no es tokens/s ni benchmarks aislados, sino coste por tarea correctamente completada.

Un modelo que consume 2 millones de tokens para resolver problema que otro resuelve con 200.000, sin aportar mejora proporcional de calidad, tiene problema económico bastante serio.

Esa será una de las grandes batallas de próximos años: no necesariamente qué modelo produce más tokens por segundo, sino qué modelo consigue completar tarea de programación con menor coste computacional posible.

Y hay que recordar que más código producido no equivale a más software construido.