De LM Studio a Ollama: La verdad sobre ejecutar LLMs en local

¿Open WebUI necesita LM Studio para funcionar? Esta fue la pregunta que comenzó este viaje técnico, y la respuesta es un matiz interesante: Open WebUI es solo una interfaz bonita que necesita un motor. Descubrimos rápidamente que Ollama es ese motor ideal, mucho más estable y nativo para esta arquitectura que LM Studio.

A medida que profundizamos en el setup, encontramos un detalle técnico curioso: el script de `open-webui serve` estaba alojado en el perfil del usuario porque se usó la instalación con `pip –user`. Es una lección valiosa sobre cómo Python maneja los permisos y directorios. Tras resolver esto, pasamos a las recomendaciones de modelos para una RTX 3060 y luego una RTX 3090, donde Llama 4 Scout se posiciona como el todoterreno definitivo.

El debate: Ollama vs LM Studio

La comparación entre usar Ollama versus LM Studio como backend reveló que no es solo una cuestión de rendimiento bruto. Ollama gana en estabilidad, consistencia de la API y uso prolongado, mientras que LM Studio se siente más cómodo al principio pero menos robusto para un servidor constante.

Gestión de VRAM y ComfyUI

Al considerar el uso simultáneo de herramientas como ComfyUI, surgió una limitación crítica en la RTX 3090: la necesidad de liberar memoria. La solución no fue cerrar procesos constantemente, sino implementar un flujo elegante con dos tarjetas gráficas, dedicando una para los LLMs y otra para la generación de imágenes.

¿Por qué ejecutar modelos en local?

El análisis final trascendió el hardware. La ventaja de los LLMs locales no es solo la privacidad o evitar límites artificiales, sino transformar un simple chat en una herramienta autónoma para tareas como el análisis de logs, la auditoría de scripts y sistemas RAG con datos propios.

En conclusión, ejecutar modelos en local complementa perfectamente a los servicios en la nube. Al separar roles—pensando con modelos cloud y ejecutando con locales—se crea un entorno de trabajo verdaderamente potente y útil para cualquier usuario avanzado.