¿Flint puede ver o solo adivina? Cómo diagnosticar la visión de un LLM antes de pedirle recortes

Esperaba que Flint fuera más listo, pero su desempeño fue pésimo al intentar separar cada panel de una página de cuatro cómics (4-koma) en imágenes individuales. De hecho, sospecho que en realidad no vio las páginas. ¿Debería insistirle hasta que lo haga bien?

Modelo de lenguaje interactuando con imagen visual
No asumas que el LLM puede ver lo que tienes delante sin probarlo primero.

Yo no insistiría todavía. Lo más interesante sería comprobar primero si Flint realmente tiene capacidad de visión sobre las imágenes o si está trabajando prácticamente a ciegas. Tu sospecha no es descabellada: hay una diferencia enorme entre un modelo que recibe una imagen e interpreta su contenido visual, y uno que solo procesa una representación parcial o no tiene correctamente implementado el mecanismo de visión.

Una página de 4-koma es una prueba bastante buena para esto: cuatro paneles con orden de lectura definido, límites claros y geometría relativamente regular. Si falla aquí, probablemente no tenga la base visual necesaria.

Tres pruebas progresivas

En lugar de pedirle recortes directamente, yo haría tres pruebas escalonadas para entender qué pasa realmente:

1. Prueba de percepción

Entrégale una página y pregúntale: «Describe exactamente qué aparece en cada uno de los cuatro paneles, en orden de lectura. No intentes editar ni separar la imagen». Si no puede describir correctamente los cuatro paneles, no tiene sentido pedirle que los recorte.

2. Prueba de comprensión espacial

Pídele que identifique el número de paneles, las coordenadas aproximadas de cada panel, el orden de lectura y los límites de cada panel. Sin generar archivos todavía. Esto evalúa si entiende la estructura geométrica.

3. Prueba de ejecución

Solo si supera las anteriores, pídele un script Python con Pillow que recorte cada panel y guarde cuatro archivos independientes. Aquí hay algo importante: no necesitas que el LLM haga el recorte visualmente. Necesitas que identifique las regiones y que Python ejecute la operación con precisión.

Flujo de pruebas para verificar visión en LLM
Secuencia lógica para validar la capacidad visual antes de generar archivos.

Una sospecha particular

Creo que estás mezclando dos evaluaciones distintas. Es crucial distinguir entre la capacidad de visión (¿puede interpretar la página?), el razonamiento espacial (¿puede identificar los paneles?), la programación (¿puede producir coordenadas o código?) y la ejecución (¿puede manipular correctamente el archivo?).

Si falla la primera, las demás pruebas no tienen demasiado valor. Dale esta instrucción a Flint: «Voy a proporcionarte una página de manga japonés con cuatro paneles. Antes de realizar cualquier operación, confirma que puedes visualizar la imagen. Describe brevemente el contenido de cada panel, identifica sus límites y proporciona las coordenadas de recorte de cada uno en píxeles, tomando como origen la esquina superior izquierda.»

No inventes coordenadas. Si no puedes inspeccionar visualmente la imagen, indícalo explícitamente.

Matriz de capacidades del modelo
No confundas las capacidades: visión no es lo mismo que razonamiento o código.

Conclusión

La opinión es clara: no hay que insistirle hasta que lo haga bien. Hay que averiguar por qué lo está haciendo mal. Si Flint no está viendo las imágenes, puedes pasar toda la noche perfeccionando prompts para solucionar un problema que está en la arquitectura del modelo o en la integración de LM Studio.

El diagnóstico antes de la corrección es el paso más importante.