¿Por qué tu LLM local suena como un empleado público?

He estado probando varios chats en llm local recientemente, y tengo que admitir algo frustrante. Mis breves experiencias me han llevado a una conclusión: la IA suena como un empleado público malhumorado. Parece que hay una mala configuración o limitaciones del sistema, pero el resultado es exactamente esa sensación de burocracia digital.

Sin embargo, analizar esto más a fondo revela que no necesariamente significa que los modelos locales sean malos por defecto. Hay varias razones técnicas y de arquitectura que pueden producir esta sensación tan específica:

El tamaño del modelo importa

Primero, un modelo demasiado pequeño responde de forma seca, simplifica sus respuestas y pierde matices. Parece estar haciendo lo mínimo indispensable solo para sobrevivir a la solicitud.

Luego está el tema de la cuantización agresiva. Esto puede afectar bastante la capacidad del modelo para seguir instrucciones y mantener una personalidad coherente, especialmente cuando se aplica en modelos pequeños.

¿Es un modelo orientado a razonamiento?

Aquí hay un punto clave: algunos modelos están diseñados específicamente para el instruct/razonamiento. Estos suelen tener una personalidad por defecto extremadamente burocrática, generando esas famosas frases de transición como «No puedo ayudarte con eso… Sin embargo, puedo ofrecerte…».

Además, si tienes un contexto demasiado corto, el modelo pierde rápidamente el tono de la conversación. Cada respuesta parece empezar desde cero, lo que mata cualquier fluidez humana.

Prompt de sistema y temperatura

Otro factor es el prompt de sistema. Muchos modelos locales vienen con uno bastante genérico o ninguno. Si no le das una dirección clara al modelo sobre cómo debe comportarse, asumirá un tono neutral por defecto.

Y no olvides la temperatura. Un sampling demasiado conservador, con temperaturas muy bajas, puede convertir una conversación en una reunión administrativa a las 8:03 de la mañana. El modelo se vuelve predecible y rígido.

Tu hardware es tu ventaja

Es importante destacar que los modelos comerciales grandes no solo tienen más parámetros; llevan muchísimo trabajo de post-entrenamiento para cosas que uno percibe como «personalidad». Saber cuándo extenderse, bromear o reaccionar emocionalmente.

Pero con tu 3090 de 24 GB, estás en una posición bastante interesante. No estás limitado a esos pequeños modelos de 7–8B que suelen dar precisamente esa sensación seca. Puedes experimentar con modelos de ~12–14B bastante cómodamente, o incluso algunos mayores con cuantización.

La conclusión es clara: si lo que buscas es conversar y olvidarte de que estás hablando con un modelo local, no debes elegir el que tenga mejores benchmarks técnicos. Debes buscar específicamente modelos conocidos por su instruction following, conversación y personalidad.

Ajusta el system prompt y la temperatura de sampling para evitar ese tono administrativo. La diferencia entre «¿En qué puedo ayudarte?» y una respuesta que dice «Sí, eso tiene sentido, probaría primero X porque si haces Y probablemente vas a terminar peleándote con Z» no requiere un modelo gigante. Requiere saber configurar lo que ya tienes.

Como puedes ver, la clave está en dejar de tratar al modelo como una ventanilla municipal y empezar a configurarlo para que realmente converse contigo.