Strata vs LM Studio: Ejecutando Modelos Gigantes en Hardware Doméstico

Introducción: ¿Por qué comparar Strata con LM Studio?

Si estás interesado en ejecutar modelos gigantes de lenguaje en tu equipo doméstico, probablemente ya conozcas LM Studio. Pero surge una pregunta clave: ¿qué es Strata LLM y cómo se compara con la herramienta que ya usas?

Diagrama comparativo entre Strata y LM Studio para inferencia local
Estrategia de distribución de memoria en Strata vs enfoque tradicional de LM Studio

No son competidores directos. LM Studio es un gestor de modelos locales con interfaz gráfica y motor basado en llama.cpp. Strata, por su parte, es un motor especializado que distribuye la ejecución entre VRAM, RAM y almacenamiento SSD.

¿Qué es Strata?

Strata es un motor de inferencia local diseñado específicamente para ejecutar modelos enormes, especialmente aquellos con arquitectura Mixture of Experts (MoE), en equipos que no tienen suficiente memoria gráfica para alojarlos completamente.

Su caso de uso estrella es Qwen3.8-Flash-Next, un modelo de 125 mil millones de parámetros. La clave: no necesitas una GPU de 80 GB ni múltiples tarjetas profesionales. Puedes distribuir el trabajo entre GPU, memoria RAM y almacenamiento.

El truco: aprovechando la arquitectura MoE

Aquí está la verdadera innovación. Un modelo tradicional denso de 125B necesita trabajar con todos sus parámetros durante cada token generado. Los modelos MoE funcionan diferente:

  • Tienen numerosos expertos especializados
  • Cada token activa solo una pequeña selección de ellos
  • Los demás expertos permanecen inactivos durante el cálculo

Por ejemplo, Qwen3.8-Flash-Next tiene 125B parámetros totales, pero activa aproximadamente 14B por token. Esto significa que no necesitas mantener todos los expertos permanentemente en la VRAM.

Distribución de memoria en tres niveles

Strata utiliza tres capas de almacenamiento:

  1. VRAM (RTX 3090): Expertos frecuentes y componentes críticos con acceso rápido
  2. RAM del sistema: Almacena el conjunto de expertos y alimenta a la GPU
  3. SSD NVMe: Guarda tablas auxiliares y datos necesarios para el funcionamiento

Hay además un mecanismo interesante llamado speculative decoding. Un modelo auxiliar anticipa posibles tokens y el modelo principal verifica varios simultáneamente, acelerando la generación sin cambiar el resultado.

¿Qué rendimiento podemos esperar?

El desarrollador publica cifras para una RTX 5070 de 12 GB con 64 GB de RAM:

CuantizaciónVelocidad publicada
Q2_094 tokens/s
IQ2_XS79 tokens/s
IQ3_XXS62 tokens/s
IQ3_S53 tokens/s

Son cifras de conversaciones cortas, no garantías para cualquier contexto. Para una RTX 3090 de 24 GB, el proyecto estima aproximadamente 100-140 tokens/s.

Requisitos de instalación

RecursoRecomendación
GPURTX 3090 24 GB
RAM64 GB como punto de partida recomendable
SSD80 GB libres
SistemaWindows 10/11 o Linux

Hay diferentes cuantizaciones disponibles:

Arquitectura MoE con expertos especializados distribuidos
Cómo funciona la arquitectura Mixture of Experts en modelos grandes
  • Q2_0: más rápida, menor fidelidad
  • IQ2_XS: equilibrio recomendado
  • IQ3_XXS: mejor calidad, mayor consumo
  • IQ3_S: mejor calidad entre opciones habituales, mayor exigencia de memoria

¿Y qué pasa con LM Studio?

Aquí conviene distinguir sus funciones:

CaracterísticaLM StudioStrata
Interfaz gráficaSíSí
Catálogo de modelosSíMás limitado
GGUF tradicionalSíModelos preparados para Strata
Modelos MoE gigantesLimitaciones según modeloEspecialidad
API OpenAI compatibleSíSí

Strata proporciona su propia interfaz web y API compatible con OpenAI en la dirección habitual: http://127.0.0.1:8080/v1. Eso permite conectarlo a clientes externos y herramientas de programación.

Recomendación para RTX 3090 con 64 GB RAM

Para tu configuración específica, mi recomendación concreta es Qwen3.8-Flash-Next original con cuantización IQ2_XS de ISTA-DASLab. Haría una segunda prueba con Swift 1.5 IQ2_XS si prefieres respuestas más rápidas en términos de tiempo de razonamiento.

Tus 64 GB de RAM son suficientes para ejecutar las variantes más grandes de Strata, pero el SSD SATA introduce una limitación que conviene tener presente: la primera carga será más lenta que con NVMe.

Especificaciones de hardware para ejecutar Strata
Requisitos de hardware recomendados para Strata LLM

¿Por qué no elegir IQ3_S?

Estás bastante cerca del límite práctico de memoria. Con 24 GB de VRAM, IQ3_S deja una situación más ajustada para Windows y otras aplicaciones:

CuantizaciónRAM + VRAM estimadaOpinión
Q2_037,6 GBMuy rápida
IQ2_XS39,2 GBMejor equilibrio
IQ3_XXS47 GBBuena alternativa
IQ3_S54,8 GBCalidad superior, poco margen

Mi plan de prueba

  1. Descargar Qwen3.8-Flash-Next original IQ2_XS
  2. Configurar un contexto inicial de 16K o 32K
  3. Medir velocidad y consumo de RAM
  4. Probar Swift 1.5 IQ2_XS
  5. Si todo funciona holgadamente, experimentar con IQ3_XXS

Para empezar, utiliza el comando:

strata launch --plan --family qwen --model iq2_xs

Y después, si el plan confirma que todo cabe:

strata launch --family qwen --model iq2_xs

Conclusión

Strata representa una dirección interesante: dejar de considerar la VRAM como el único recurso que determina qué modelos podemos ejecutar. Pero tampoco es magia. La velocidad depende de la arquitectura, la cuantización, la RAM disponible, el ancho de banda de memoria y la transferencia entre componentes.

Tu RTX 3090 tiene suficiente músculo para que esta experiencia sea bastante interesante. Me guardaría una pequeña ambición: conseguir ejecutar IQ3_XXS con estabilidad. Ahí ya estaríamos aprovechando muy bien ese equipo.