Chips IA especializados: ¿La era heroica del hardware y el futuro de la inferencia local?

No hay ningún fabricante que haya anunciado tipos de chips al estilo de las de Google, especializadas únicamente en la generación de inteligencia artificial. De hecho, ya estamos entrando en una etapa donde varias empresas están intentando hacer exactamente eso: aceleradores diseñados no para gráficos, sino para cargas concretas de IA y modelos grandes.

El ecosistema de los chips especializados

Las principales líneas hoy incluyen:

• Google TPU: Probablemente el ejemplo «puro» de acelerador IA. Google incluso separó recientemente chips dedicados para entrenamiento y otros para inferencia, porque las necesidades son distintas.
• AWS Trainium e Inferentia: Amazon tomó un camino similar. Trainium apunta al entrenamiento; Inferentia a servir modelos ya entrenados. Esto es importante porque la inferencia —responder prompts— terminará moviendo muchísimo más volumen que el entrenamiento.
• Groq: En vez de competir como «otro GPU», hicieron un ASIC brutalmente optimizado para inferencia secuencial de LLMs. Su obsesión es la latencia mínima y tokens por segundo absurdos. En benchmarks reales están logrando velocidades muy superiores a las GPUs tradicionales en ciertos modelos.
• Cerebras Systems: Estos son directamente unos dementes hermosos. Hacen chips del tamaño de una oblea completa, usando toda la oblea como un único procesador gigante para reducir muchísimo los cuellos de botella internos.

Vienen también startups todavía más radicales como Etched, que hace un chip «hardcodeado» específicamente para transformers, y Fractile, con una arquitectura SRAM-heavy para reducir el cuello de botella memoria/computación. Huawei y empresas chinas están haciendo alternativas por necesidad geopolítica.

La gran ironía es que NVIDIA domina gracias a las GPUs, pero estas no fueron diseñadas originalmente para IA. Eran un martillo gráfico que terminó siendo suficientemente paralelo para redes neuronales. Ahora la industria está entrando en la fase «post-hack»: hardware hecho específicamente para transformers e inferencia.

¿Para quién? La democratización de la inferencia local

Sí, y probablemente más pronto de lo que parece. Pero creo que la forma final será distinta a la fantasía de una «TPU gamer».

Algunas señales bastante claras:

• Groq ya tiene una tarjeta PCIe estándar llamada «GroqCard», literalmente una tarjeta de inferencia dedicada.
• NVIDIA misma está separando entrenamiento e inferencia como categorías distintas de hardware.

La IA empieza a integrarse directamente en CPUs, GPUs y NPUs. Apple Silicon, Snapdragon X Elite y Ryzen AI demuestran que una arquitectura de memoria unificada enorme puede ser increíblemente atractiva para la inferencia local, incluso con menos TFLOPS brutos.

Estamos en una época heroica. Se parece mucho a los primeros años de la computación personal o a la era previa de las GPUs modernas: estándares todavía fluidos, hardware rarísimo, hacks improvisados y software cambiando cada seis meses.

Hoy ves cosas muy «época heroica»: personas corriendo LLMs en Macs con memoria unificada porque descubrieron propiedades inesperadas, clusters caseros hechos con GPUs recicladas de minería, y gente convirtiendo servidores chinos retirados en «cerebros locales».

Y probablemente dentro de 10 años miraremos esta época con la misma mezcla de nostalgia y horror con que hoy vemos configurar IRQs o refrigerar un Pentium. Ahora mismo todavía hay espacio para «tipos raros en un garaje» haciendo avances reales, antes de que la industria se estabilice.