Entrenar un modelo con tus documentos: arquitectura para un asistente personal integral

Con 3000 documentos en tu disco, ¿deberías considerar la posibilidad de entrenar un modelo? La respuesta corta es sí, pero con una distinción importante: con ese volumen ya vale la pena explorar la adaptación de un modelo, aunque probablemente no necesitas entrenarlo desde cero. Primero determinaría qué quieres conseguir con esos documentos y cómo pretendes utilizarlos.

Diagrama comparativo de arquitecturas de IA para documentos locales
Tres enfoques para trabajar con documentos: RAG, fine-tuning o sistema híbrido

Hay tres caminos principales, y cada uno resuelve un problema distinto:

1. RAG: darle acceso a tus documentos

Los documentos se indexan y el sistema recupera los fragmentos relevantes cuando haces una consulta. El modelo no necesita memorizar su contenido: lo busca y lo utiliza como contexto. Ideal para preguntas como «¿qué había concluido hace seis meses sobre este proyecto?» o «¿en qué conversaciones mencioné determinado programa?».

2. Fine-tuning: modificar el comportamiento del modelo

Se entrena un modelo preexistente con ejemplos preparados a partir de tus documentos. Esto puede enseñarle a redactar con un estilo determinado, clasificar contenido, aplicar una estructura editorial o seguir un procedimiento específico. No es la mejor manera de enseñarle miles de hechos que necesitas recuperar literalmente. Para eso, RAG suele ser más adecuado.

3. Sistema híbrido: conocimiento recuperable más modelo adaptado

Mantienes una biblioteca documental indexada y, si después detectas una necesidad concreta, ajustas un modelo para mejorar tareas repetitivas. Es la opción más potente a largo plazo, pero también la que requiere más trabajo. No empezaría por ella.

¿Qué arquitectura recomiendo?

Si tu objetivo es crear un asistente personal integral con 3000 documentos, lo plantearía como un proyecto de asistente personal local, con memoria persistente, acceso controlado a tus archivos y capacidad de ejecutar tareas. La regla fundamental sería que la memoria no pertenezca al modelo. Debe estar en una base de datos independiente, para que puedas actualizar los documentos, cambiar de modelo o reconstruir el sistema sin perder el conocimiento acumulado.

Componentes concretos que utilizaría

  • Modelo principal: Qwen Instruct compatible con LM Studio, cuantizado
  • Servidor de inferencia: LM Studio para servir el modelo mediante API local
  • Orquestador: Python + FastAPI para coordinar tareas, búsquedas y herramientas
  • Base vectorial: Qdrant para buscar fragmentos por significado
  • Datos estructurados: SQLite al inicio para guardar documentos, proyectos, tareas y decisiones
  • Búsqueda exacta: SQLite FTS5 para encontrar nombres, comandos y términos literales
  • Interfaz: Bionic o una interfaz web propia
  • Automatizaciones: Scripts Python y tareas programadas

¿Cómo repartiría tus GPU?

Con tu RTX 3090 de 24 GB y la posibilidad de utilizar la RTX 3060 de 12 GB, tienes una base razonable para construirlo en local. Reservaría el entrenamiento en la nube para una segunda fase, cuando tengamos una tarea concreta que justifique el gasto.

RTX 3090 de 24 GB — trabajo principal: Modelo conversacional, razonamiento, síntesis de varias conversaciones y agentes. Es la tarjeta que priorizaría para el asistente.

RTX 3060 de 12 GB — tareas auxiliares: Generación de embeddings, extracción de metadatos, clasificación por lotes o un modelo pequeño independiente, si el software y la memoria lo permiten.

No contaría ambas tarjetas como si fueran una sola GPU de 36 GB. En un sistema convencional, la VRAM no se suma automáticamente. La asignación depende del motor y del modelo, y el procesamiento paralelo puede requerir configuración adicional.

¿Cómo convertiría los 3000 documentos en memoria útil?

Aquí está el trabajo que más influirá en la calidad del resultado. No consiste simplemente en introducir los documentos en una base vectorial. Primero conservaría intactos los originales y crearía una copia normalizada para su procesamiento.

Cada documento tendría, como mínimo, estos metadatos:

Diagrama de arquitectura de asistente personal con componentes separados
Arquitectura recomendada: memoria independiente del modelo
{
  "document_id": "identificador_unico",
  "source": "chatgpt_export",
  "conversation_id": "id_conversacion",
  "title": "Título de la conversación",
  "created_at": "fecha_original",
  "topics": ["WordPress", "administracion"],
  "project": "blog",
  "content": "Contenido normalizado"
}

Después aplicaría este proceso:

  1. Ingesta y limpieza. Extraer texto, eliminar duplicados y normalizar formatos sin destruir los originales.
  2. Segmentación. Dividir las conversaciones en fragmentos coherentes, manteniendo enlaces a la conversación y al mensaje de origen.
  3. Indexación. Generar embeddings y registrar los fragmentos en Qdrant, junto con sus metadatos.
  4. Búsqueda híbrida. Combinar similitud semántica, búsqueda textual exacta y filtros por fecha o proyecto.
  5. Reordenamiento. Evaluar si un modelo de reranking mejora la selección de los fragmentos más pertinentes.
  6. Síntesis con referencias. Entregar al modelo el material recuperado y pedirle que diferencie hechos, hipótesis, decisiones y asuntos pendientes.

También crearía una capa de memoria estructurada, distinta del índice documental. Por ejemplo: proyectos activos y su estado actual, decisiones tomadas y fecha, alternativas descartadas y motivos, próximas acciones pendientes, preferencias de trabajo confirmadas y referencias a las conversaciones originales.

¿Cuándo entrenaría el modelo en la nube?

No lo haría todavía. Primero construiría el sistema de memoria y observaría sus errores reales. Si después quieres mejorar su comportamiento, utilizaría SFT + LoRA o QLoRA con un modelo base compatible. Estas técnicas permiten ajustar una parte pequeña de los parámetros sin tener que volver a entrenar todos los pesos del modelo.

El conjunto de entrenamiento no debería consistir en los 3000 documentos pegados uno detrás de otro. Prepararía ejemplos del tipo: entrada (una consulta ambigua sobre un proyecto antiguo), contexto (los fragmentos recuperados y los metadatos correspondientes), salida deseada (una síntesis precisa, con fechas, decisiones y referencias) y criterio de evaluación (no inventar datos y reconocer cuándo faltan antecedentes).

Plan de implementación en seis semanas

Estos plazos son una estimación de planificación para una primera versión funcional:

Comparativa visual entre RTX 3090 y RTX 3060 para entrenamiento local
Uso estratégico de GPU: 3090 para razonamiento, 3060 para tareas auxiliares
  • Semana 1: Inventario y saneamiento — Identificar formatos, volumen real, duplicados y documentos prioritarios. Crear copias de seguridad y un manifiesto con identificadores estables.
  • Semana 2: Buscador documental — Implementar extracción, embeddings, SQLite FTS5 y Qdrant. Probar consultas reales con resultados y referencias a los originales.
  • Semana 3: Memoria de proyectos — Extraer estados, decisiones y pendientes. Permitir actualizar la memoria sin sobrescribir los documentos fuente.
  • Semana 4: Agente y herramientas — Conectar LM Studio, el orquestador Python y una interfaz de conversación. Añadir lectura de archivos y generación de borradores.
  • Semana 5: Automatización controlada — Incorporar tareas programadas, registro de operaciones y permisos. Probar primero con copias y entornos de ensayo.
  • Semana 6: Evaluación y decisión sobre fine-tuning — Preparar preguntas de referencia, medir recuperación y calidad de respuestas, identificar errores recurrentes y decidir si el ajuste de modelo aporta una mejora medible.

Cómo sabremos si funciona

Antes de confiarle trabajo real, establecería cuatro indicadores:

  • Recuperación: ¿encuentra la conversación correcta entre miles de documentos?
  • Fidelidad: ¿distingue lo que decidiste de lo que solo estabas considerando?
  • Continuidad: ¿puede retomar un proyecto semanas después sin perder su estado?
  • Ejecución: ¿completa una tarea correctamente y deja un registro verificable?

Prepararía unas 50 consultas de prueba que conozcas personalmente y revisaría los resultados. Ese conjunto será mucho más útil para decidir qué modelo y qué configuración funcionan mejor que escogerlos por reputación.

Mi recomendación final

Construye primero una memoria personal independiente del modelo, después añade capacidades de agente y deja el entrenamiento como una optimización posterior. Tus 3000 documentos deberían convertirse en un activo de conocimiento reutilizable, no en un archivo del que dependa un único modelo.

Para concretar el primer paso técnico, necesitaría saber algo: ¿en qué formato tienes esos 3000 documentos? Si son una mezcla de formatos (PDF, DOCX, TXT), la ingesta inicial debe ser flexible para procesarlos todos sin perder información crítica. La plataforma Windows junto a LM Studio es un buen punto de partida, aprovechando tu hardware existente.

El primer objetivo será bastante concreto: crear un inventario de tus 3000 documentos, extraer su texto y guardar un registro verificable de cada archivo, sin modificar los originales. Todavía no instalaríamos Qdrant ni generaríamos embeddings; primero necesitamos saber qué tenemos entre manos y detectar los archivos problemáticos.

Usaríamos Python para la ingesta y SQLite para registrar los resultados. El diseño permitiría añadir después PDF, Word, texto plano, Markdown y HTML, y ampliar los lectores si aparecen otros formatos.