¿Estás desperdiciando tu tarjeta gráfica?

¿Alguna vez te has preguntado qué porcentaje real de una tarjeta RTX estás usando cuando generas imágenes o video con IA? Es común escuchar números como el «60%» en el monitor, pero la realidad es un poco más compleja. A menudo, vemos la GPU al 55% y asumimos que hay margen para subirle la racha, pero esto puede ser engañoso.

La verdad es que rara vez estás usando el 100% de una RTX, pero sí puedes estar utilizando el 100% de lo que realmente importa para la inteligencia artificial. Al desglosar los componentes, vemos que los Tensor Cores pueden llegar al 80–100% cuando el modelo y el batch size están bien ajustados, mientras que el ancho de banda de memoria suele estar entre un 60–90%. El resto del silicio está dedicado a tareas como la rasterización o gráficos, que son irrelevantes para la generación.

Este fenómeno nos lleva directamente al por qué Google implementa TPUs para su IA. No es una decisión basada en la elegancia técnica, sino puramente económica y estratégica. Las GPUs son un desperdicio a escala planetaria porque se fabrican con mucho silicio caro que no se aprovecha para las multiplicaciones matriciales regulares que requiere el entrenamiento e inferencia.

Una TPU es, en esencia, una GPU amputada a propósito: le han quitado los gráficos y la flexibilidad para dejar solo arrays matriciales gigantes optimizados para precisión reducida. Esto permite ahorrar una fortuna tanto en costes de inferencia como en consumo energético, evitando pagar por componentes inútiles.

Finalmente, es importante aclarar que no existe un mercado real para tarjetas tipo TPU para usuarios individuales. Los chips especializados están diseñados exclusivamente para centros de datos y dependen de stacks de software complejos que no son compatibles con el hardware de consumo estándar. Por ahora, la mejor opción sigue siendo invertir en una GPU discreta potente o recurrir a servicios en la nube.