IA desde la línea de comandos: describiendo imágenes y gestionando bases de datos

Acabo de descubrir una aplicación fascinante de la IA local: usar modelos de lenguaje como componentes de procesos informáticos, no solo como interlocutores. Empecé preguntando si existe alguna utilidad de línea de comandos que describa imágenes automáticamente, y el resultado fue construir un sistema completo que conecta consola, bases de datos y modelos multimodales.

Terminal mostrando scripts de automatización con modelos de IA para procesamiento de imágenes
Automatización con IA desde consola: descripciones, reconocimiento y gestión de bases de datos

¿Qué herramientas funcionan desde CLI?

Hay varias opciones para describir imágenes mediante modelos de visión (VLM) sin interfaz gráfica:

  • Ollama: Permite ejecutar modelos multimodales directamente desde consola. Ejemplo: ollama run qwen2.5vl "Describe esta imagen" ./foto.jpg. Tiene API local y permite automatizar lotes.
  • LM Studio (lms): Incluye su propia CLI llamada lms. Puedes usar su servidor API con un script Python pequeño que envía imágenes al modelo cargado.
  • llama.cpp: Excelente para ejecución local, cuantización GGUF y automatización independiente.
  • Hugging Face Transformers: Más flexible, permite crear scripts Python con Qwen-VL o LLaVA, pero requiere gestionar dependencias.

Para procesamiento masivo, el enfoque que elegí fue combinar Python + LM Studio API + MySQL. El programa trabaja registro por registro: busca una descripción pendiente en la base de datos, localiza la imagen, la analiza con el modelo multimodal y actualiza exactamente ese registro. Si ocurre un error, deja el registro pendiente para volver a intentarlo.

Adaptando el script a mi estructura MySQL

El punto crucial fue ajustar el programa a mi tabla real. La estructura tenía estos campos:

corr (bigint, clave primaria auto_increment)
nombre (varchar, nombre del archivo)
ruta (text, directorio de la imagen)
descripcion (text, campo a actualizar)

La consulta para obtener el siguiente registro pendiente es:

SELECT corr, ruta, nombre FROM mi_tabla WHERE descripcion IS NULL ORDER BY corr ASC LIMIT 1;

Y la actualización:

UPDATE mi_tabla SET descripcion = %s WHERE corr = %s AND descripcion IS NULL;

El problema con los archivos WebP

En una primera versión, el script rechazaba archivos .webp porque Windows/Python no reconocía correctamente la extensión mediante mimetypes. La solución fue usar Pillow para identificar el formato real y convertir automáticamente cada WebP a PNG en memoria antes de enviarlo a LM Studio, sin modificar los archivos originales.

Reconociendo personajes de anime: arquitectura híbrida

Para mi colección mixta (capturas oficiales y fanart), con objetivo de identificar personajes y generar descripciones, la recomendación fue una arquitectura de tres etapas:

  1. PixAI Tagger v1.0: Clasificador especializado con 8.308 etiquetas de personajes reconocidos. Reconoce franquicias, vestimenta y características visuales con puntuaciones.
  2. Qwen3-VL 8B: Modelo multimodal para interpretación visual, descripción en español y contexto cuando la identificación es dudosa.
  3. Verificación opcional con embeddings visuales: Para comparar imágenes con referencias conocidas y detectar similitudes.

La ventaja de separar las etapas es que cada modelo resuelve problemas distintos: PixAI clasifica, Qwen interpreta, y los embeddings verifican. Un solo modelo no necesariamente resuelve bien los tres.

De la consola al navegador: administrador PHP de metadatos

Trasladé toda la información a base de datos y quise cambiar el código para permitir edición desde navegador sin mover archivos. Lo que conservé:

  • Galería con miniaturas ordenadas por fecha
  • Navegación por categorías y año
  • Visualización de nombre, fecha y descripción
  • Interfaz compacta con muchas imágenes visibles simultáneamente

Lo que incorporé:

  • Campos editables: clas y descripcion
  • Guardado mediante AJAX sin recargar la página
  • Filtro por descripción pendiente (NULL)
  • Paginación de 60 imágenes
  • Posibilidad de abrir imagen en tamaño completo

El programa no hace operaciones rename(), unlink() ni modifica archivos. Solo actualiza los dos campos indicados en MySQL.

Diagrama de arquitectura para procesamiento de imágenes anime con múltiples modelos
Arquitectura híbrida: reconocimiento especializado + interpretación visual + verificación

Detalles técnicos que importan

Aunque Apache no necesite acceder públicamente a los directorios, el proceso de Apache sí necesita permisos de lectura sobre ellos. Si funciona como servicio de Windows, podría ser necesario revisar los permisos de la cuenta del servicio.

Otro detalle: Windows y PHP pueden identificar archivos BMP como image/x-ms-bmp en lugar de image/bmp. La corrección contempla ambas variantes y normaliza el encabezado que recibe el navegador para evitar rechazos HTTP 415.

¿Por qué automatizar con IA desde CLI?

Históricamente, Linux y Unix tienen una cultura fuerte de automatización mediante consola: find, grep, awk, sed, ffmpeg, cron. Windows tiene CMD, PowerShell y archivos BAT. Lo interesante es que la IA está agregando una nueva capa a todo esto.

La diferencia entre automatización tradicional y con IA:

Tradicional: Archivo → Script → Transformación → Base de datos

Interfaz de galería web para edición de metadatos de imágenes desde navegador
Administrador PHP que gestiona metadatos sin mover archivos físicos

Con IA: Archivo → Script → Modelo de IA → Interpretación → Base de datos

El segundo nivel ofrece buena relación entre capacidad y seguridad. Nuestro sistema pertenece a esa categoría: el modelo interpreta imágenes, pero el programa controla la base de datos y decide qué hacer con los resultados.

Consideraciones finales

Una advertencia importante: hay diferencia entre automatizar una operación y entregarle el control del sistema a un agente. Mi sistema está en nivel 2 (IA como operador), no en nivel 3 (agente autónomo). El modelo no tiene acceso directo a MySQL; el programa lo controla.

Con mi RTX 3090 de 24 GB, puedo ejecutar todo localmente. No es necesario cambiar Windows por Linux para aprovechar estas herramientas.

Una idea que me gustaría dejar dando vueltas: ¿y si en lugar de pensar en LM Studio como una aplicación para conversar, comenzas a pensarlo como un servidor de inteligencia al que cualquier programa de tu red puede consultar? Una especie de servicio interno de IA disponible para tus scripts Python, PHP, PowerShell y WordPress.

Y eso empieza a ponerse realmente interesante.