Los Mejores Modelos LLM Locales para Reconocer Personajes en Imágenes

Escrito el por griquelme
Facebook Twitter WhatsApp LinkedIn

¿Qué modelo local es mejor para reconocer personajes?

Si tu objetivo es identificar personajes ficticios concretos en imágenes, la realidad es que ningún LLM o VLM (Vision Language Model) local es realmente fiable por sí solo. Como no están entrenados como una base de datos exhaustiva de anime o videojuegos, estos modelos dependen de reconocer patrones visuales y asociarlos con lo que aprendieron durante su entrenamiento. Por tanto, acertarán más fácilmente con personajes muy famosos, pero empezarán a alucinar si se trata de alguien de una serie menos conocida.

Dicho eso, hay varias opciones abiertas que hoy son las mejores para este tipo de análisis visual general y razonamiento sobre imágenes:

  • Qwen2.5-VL-72B: Probablemente el mejor modelo abierto para análisis visual, excelente identificando personajes populares.
  • Qwen2.5-VL-7B: Ofrece la mejor relación calidad/VRAM y funciona muy bien en hardware como una RTX 3090.
  • InternVL 3: Muy competitivo con Qwen, algunos usuarios lo prefieren para ilustraciones complejas.
  • Pixtral 12B: Bastante bueno describiendo imágenes, aunque algo menos preciso en reconocimiento fino que Qwen.
Infografía detallada mostrando varios modelos de lenguaje grandes (LLMs) y tarjetas gráficas, con un enfoque en la identificación de personajes.
Panorama de los mejores modelos locales y herramientas para reconocimiento de personajes.

El enfoque de dos pasos para anime

Aunque los modelos directos son útiles, suele funcionar mucho mejor un enfoque de dos pasos. Primero, utilizas herramientas especializadas como WD14 Tagger, JoyTag o Danbooru tagger para obtener cientos de etiquetas visuales detalladas sobre la imagen, como ‘cabello azul’, ‘twintails’ o ‘uniforme escolar’. Luego, pasas esa información al modelo VLM.

Con esas etiquetas y la imagen original, puedes pedirle a Qwen2.5-VL que razone y determine qué personaje de anime coincide mejor con esa combinación específica de rasgos visuales.

Diagrama del flujo de trabajo de dos pasos que conecta un tagger visual con un modelo de IA para identificar personajes.
El enfoque de dos pasos: usar taggers junto con modelos VLM para una identificación precisa.

Identificar personajes raros

Sin embargo, si tu objetivo es identificar personajes de anime muy poco conocidos o incluso doujinshi, los LLM locales no son la mejor herramienta. En ese caso, funcionan mucho mejor motores de búsqueda especializados como Anime Character Database, trace.moe para fotogramas, SauceNAO para ilustraciones o IQDB.

Estos motores buscan por similitud visual en enormes bases de datos, lo que les permite encontrar personajes que un LLM nunca reconocería.

Vista cercana de una tarjeta gráfica NVIDIA GeForce RTX 3090 con su memoria de video resaltada.
La importancia del hardware, especialmente la RTX 3090 para ejecutar modelos cuantizados.

Consideraciones sobre tu hardware

Tu configuración de hardware juega un papel fundamental. Dado que tienes una RTX 3090 de 24 GB de VRAM, estás en una posición muy buena para ejecutar modelos locales:

  • Qwen2.5-VL-7B: Es muy rápido y altamente recomendable como opción diaria.
  • Qwen2.5-VL-32B: Es posible ejecutarlo si aceptas una menor velocidad mediante cuantización.
  • Qwen2.5-VL-72B: Este sería bastante más lento, ya que necesitarías cuantizaciones muy agresivas o usar la RAM del sistema además de la VRAM para hacerlo funcionar.

En resumen, combinar modelos locales potentes con herramientas de etiquetado y el hardware adecuado es la clave para obtener resultados precisos en reconocimiento de personajes.