IA local versus nube: el mito de los tokens por segundo

Empecé a navegar por una seguidilla de videos en YouTube, fascinado y confundido por las comparativas entre la IA local y la nube. Los enfoques se centraban mucho en la generación de tokens, especialmente para la creación de código. Las cifras iniciales no eran buenas para el lado local: parecía que la velocidad bruta de inferencia era lo único que importaba.

Poco a poco, la conversación desmontó mi idea inicial. Se hizo evidente que decir que “la IA local es más barata” no significa que sea competitiva en velocidad bruta de inferencia, especialmente cuando pasamos de generar una imagen a revisar cantidades enormes de código. La razón es que son cargas muy diferentes: la generación de vídeo tiene un cómputo acotado y altamente paralelizable, mientras que la programación con un agente implica leer repositorios, razonar, ejecutar, recibir errores y modificar archivos repetidamente.

Aquí aparece algo que los vídeos a veces esconden: el número de tokens no representa por sí solo la cantidad de trabajo. Un modelo local puede producir 30 tokens por segundo frente a uno en la nube que hace 200, pero el sistema cloud termina una tarea compleja muchísimo antes gracias a su infraestructura distribuida y solicitudes concurrentes.

La escala alimenticia de las tareas

Se llegó a definir una jerarquía clara sobre la exigencia computacional: Texto, Audio, Imagen, Video y Código. Aunque el código no necesariamente está al final en términos absolutos, es donde ocurre algo curioso: no necesitas generar más tokens por segundo, sino un modelo mejor con más contexto.

Esto tiene una consecuencia importante para el proyecto personal. La infraestructura local cubre muy bien los niveles intermedios como imagen, audio y video. Es probable que sea precisamente en el quinto nivel, los agentes de código, donde una GPU doméstica deje de sentirse como una máquina monstruosa.

Finalmente, se detectó un sesgo de selección fuerte: los programadores son uno de los grupos que más fácilmente pueden experimentar con IA local porque tienen acceso a las herramientas para medirlo. Esto crea un círculo donde la cultura alrededor de los benchmarks de tokens por segundo distorsiona la percepción de lo que realmente necesita el resto de la informática.

En conclusión, no es necesario replicar una infraestructura de escala cloud para tener una experiencia valiosa con la IA local. Si bien la programación de código enorme puede ser donde la brecha entre infraestructuras se vuelve visible, la generación de vídeo probablemente sea mucho más fácil de escalar localmente.