¿Celulares con 2 TB de RAM? Revisando la escalabilidad de los modelos de IA

Al discutir sobre la arquitectura del modelo Kimi K3, uno se encuentra con cifras que parecen sacadas de una ciencia ficción. Con un total de 2,8 billones de parámetros, el impacto inicial es abrumador. La conversación revela rápidamente que ejecutar este modelo no es algo que puedas hacer en tu casa con un solo ordenador; requiere hardware de servidor a gran escala. Inicialmente, se menciona la necesidad de una configuración masiva, como ocho GPUs MI355X para distribuir la carga del modelo.

El análisis comienza con esta realidad técnica, dejando claro que las tarjetas gráficas de consumo estándar como una RTX 3090 son completamente insuficientes para cargar el modelo completo. Sin embargo, la conversación se profundiza al discutir la cuantización y la arquitectura Mixture of Experts (MoE), lo que permite que los expertos del modelo se mantengan fuera de la memoria principal.

La realidad del hardware y la corrección de expectativas

A medida que avanzamos en el análisis, surge una duda fundamental sobre la viabilidad de usar hardware accesible. Se menciona explícitamente a tu RTX 3090 de 24 GB como un ejemplo de lo que no funcionaría para esta tarea específica. El diálogo luego se vuelve más preciso al aclarar qué significan realmente esas cifras de memoria. Se descubre que la cifra de ~1,5 TB o 2 TB de RAM necesaria no es una métrica por usuario individual, sino un requisito de sistema total para múltiples usuarios concurrentes y contextos masivos.

Esta corrección es crucial. Al principio, parece que el hardware de consumo simplemente no puede competir con la infraestructura empresarial, pero al final se entiende que los modelos locales pequeños continuarán mejorando independientemente del tamaño de los monstruos de varios billones de parámetros.

Escalabilidad vs. Expectativas de Consumo

El análisis toma una vuelta interesante cuando se comparan las tendencias históricas del hardware con la realidad actual de los modelos de IA. Se introduce una analogía poderosa sobre cómo hemos visto a la tecnología reducirse desde mainframes hasta teléfonos, y por qué esa regla ya no parece aplicarse a la escalabilidad de los modelos.

Se cuestiona si es plausible que un teléfono tenga 2 TB de RAM en el futuro. La conclusión es que, aunque físicamente no hay una ley que impida que los teléfonos sean más grandes, la tendencia real apunta hacia modelos especializados y comprimidos en lugar de simplemente replicar la memoria del centro de datos.

El artículo concluye con una distinción vital entre lo que es posible y lo que es necesario. A pesar de la posibilidad teórica de dispositivos con más memoria, la necesidad específica de replicar requisitos de servidores enteros en teléfonos personales se considera improbable.