MiniMax-M2.7: Escalabilidad, Tokens y la Verdad sobre el VRAM

MiniMax-M2.7: Escalabilidad, Tokens y la Verdad sobre el VRAM

Hemos estado analizando los requisitos de memoria del modelo MiniMax-M2.7 para su funcionamiento local. Los números que se mencionan en las configuraciones publicadas son bastante impresionantes: tenemos una configuración con 96 GB de VRAM por GPU que soporta hasta 400 mil tokens, y otra con 144 GB capaz de manejar hasta 3 millones de tokens.

Es claro que estos modelos no están pensados para correr en un escritorio o con una tarjeta gráfica estándar como una RTX 5090. Es una infraestructura de gran escala.

¿Qué significan realmente los tokens?

Aunque la memoria es enorme, el parámetro que más cuesta percibir son los tokens. Para ponerlo en perspectiva, si calculamos esta propia conversación que estamos teniendo sobre MiniMax y modelos, llevamos del orden de 2.000 a 5.000 tokens en total.

Si miramos la tabla de equivalencias, vemos que una ventana de contexto de 400k tokens no es para una charla normal; eso equivale aproximadamente a 300.000 palabras, o unas 600 páginas de texto impreso. Es como cargar varios libros completos en la memoria del modelo y permitirle recordarlos todos simultáneamente.

Texto versus Imagen: ¿Es lo mismo?

Un detalle crucial es que el término ‘token’ cambia de significado según si estamos hablando de texto o de generación visual. En un LLM, los tokens son fragmentos de palabras. Pero en modelos multimodales como GPT-4o o Gemini, las imágenes se convierten internamente a una representación llamada espacio latente.

Por eso comparar ‘400k tokens de texto’ con ‘400k tokens de video’ no tiene mucho sentido. Son unidades distintas.

Mientras los LLMs ‘recuerdan texto’, los modelos de difusión como Wan o Flux mantienen representaciones espaciales y temporales. La limitación real en esos modelos no es una ventana de contexto, sino la resolución del video, el número de cuadros y la precisión numérica que usamos.