Arquitectura LLM Local: De la GPU a la Red

Configurando el Stack Local

Hoy exploramos cómo montar un sistema LLM local para nuestra red. Empezamos preguntando qué plataformas podíamos instalar para tener servicios tipo ChatGPT con análisis de documentos ilimitados.

El hardware disponible es clave. Mi equipo cuenta con un procesador i7-4790K, 32 GB de RAM y una RTX 3060 con 12 GB de VRAM. Aunque pensé que el procesamiento de texto sería menos exigente que el video o las imágenes, la realidad técnica demuestra lo contrario: en texto/RAG, la carga es mucho menor.

Para instalar Ollama en Windows sin complicaciones, usé PowerShell para ejecutar el comando de descarga directamente:

ollama pull qwen2.5:7b-instruct-q4_k_m

Al principio, la interfaz me ofreció un modelo de 20B parámetros, pero corrígeme que sería demasiado pesado para mi GPU.

Open WebUI vs Ollama UI

Conecté Open WebUI y validé que el modelo respondía saludando. La ventana nativa de Ollama funcionó bien como tester rápido, pero Open WebUI es donde se utiliza realmente la memoria de conversación, el contexto largo y la subida de documentos.

¿Qwen para texto o imágenes?

Había una duda sobre si el modelo Qwen era el mismo que uso para mis tareas de edición de imágenes. No lo es: el modelo de visión (Qwen-VL) es multimodal, mientras que `qwen2.5:7b-instruct` es puramente texto.

El Futuro: Servidor Centralizado vs Distribuido

Al analizar la escalabilidad, llegué a una conclusión importante sobre la arquitectura. Aunque empezar con un servidor centralizado tiene sentido para validar el stack, confiar en él a largo plazo no escala bien debido al cuello de botella del hardware.

En su lugar, es más razonable implementar el LLM localmente en cada equipo que lo necesite. Esto significa que la inferencia se realiza distribuida, evitando un solo servidor único como punto centralizado de fallo o latencia extrema.