Instalando LLMs locales en Windows: Guía práctica y honesta

Instalar modelos grandes de lenguaje (LLMs) directamente en tu PC es hoy más accesible que nunca, y a menudo mucho más simple de lo que parece si eliges bien las herramientas. En este artículo, desglosamos paso a paso cómo configurar un entorno local para ejecutar inteligencia artificial avanzada sin depender de nubes costosas.

Ollama vs. LM Studio: ¿Cuál elegir?

La forma más limpia de empezar es utilizando Ollama. Es un runtime local que te permite descargar modelos con pocos comandos en la terminal.

1. Descarga y ejecuta el instalador para Windows.
2. Abrir PowerShell o CMD.
3. Ejecutar un comando como ollama run llama3.

Si prefieres una interfaz gráfica bonita, la alternativa es LM Studio. Aquí puedes literalmente descargar un modelo y empezar a chatear sin tocar nada más.

Hardware: ¿Qué necesita tu PC?

No necesitas una máquina monstruosa para empezar. Para un setup como una NVIDIA GeForce RTX 3060 con 12 GB de VRAM y 32 GB de RAM, el punto dulce es claro:

• Modelos 7B–8B: Perfectos, rápidos y estables.
• Modelos 13–14B: Posibles usando cuantización Q4 o Q5 para ahorrar VRAM.

Elegir modelos demasiado grandes como 70B sería un error, ya que requerirían hardware mucho más potente del que tienes.

¿Pueden analizar imágenes y documentos?

Sí, pero con matices. Para analizar imágenes o documentos PDF/DOCX complejos, necesitas modelos multimodales como Llama 3.2 Vision o Qwen2-VL. Estos modelos pueden realizar OCR para leer texto en imágenes y analizar tablas o diagramas visualmente.

Para documentos, puedes usar una técnica llamada RAG (Retrieval-Augmented Generation) con herramientas como LangChain o LlamaIndex. Esto extrae el texto de tus archivos primero y luego se lo pasa al modelo para que responda preguntas específicas sobre ellos.

¿Por qué LM Studio no necesita Ollama?

Aunque ambos hacen cosas similares, son «mundos paralelos». LM Studio es una aplicación todo-en-uno con su propio motor de inferencia basado en llama.cpp, por lo que no depende de nada externo como Ollama.

Ollama funciona más como un servidor local y un runtime para integrarse con otras aplicaciones o scripts de automatización. Instalar ambos no hace falta, pero puedes usarlos según si quieres una interfaz gráfica (LM Studio) o automatización avanzada (Ollama).