¿Por qué los agentes de IA parecen cajas negras y cómo hacerlos transparentes

El problema que empezó con un manga

Quería dividir una página de manga en ocho paneles individuales. Le di a Qwen 3.5 9B estas instrucciones: analiza la imagen, divide los paneles y verifica que cada archivo contenga exactamente un panel completo sin cortes.

Diagrama técnico de arquitectura de agentes de IA mostrando componentes internos como Python WASM, filesystem virtual y limitaciones de procesos
Arquitectura real de ejecución de un agente en Bionic: modelo, orquestador, runtime Pyodide y entorno sandbox

El resultado fue decepcionante. Los paneles quedaron cortados al voleo, con fragmentos de otros dibujos mezclados. Mi primera sospecha fue que el prompt era ambiguo o no insistente.

Cuatro tareas en una sola instrucción

ChatGPT me ayudó a entender algo importante: estaba pidiendo al modelo cuatro cosas distintas simultáneamente:

  • Percepción visual: reconocer los ocho paneles y sus límites
  • Razonamiento espacial: distinguir marcos, separaciones y elementos externos
  • Programación: traducir coordenadas detectadas a operaciones de recorte
  • Verificación: comprobar que los archivos resultantes son correctos

El problema no estaba solo en el prompt, sino en la capacidad del modelo para ejecutar toda esta cadena completa.

La revelación técnica: Python WASM

Qwen 3.8 27B resolvió la tarea impecablemente con las mismas instrucciones y entorno. Esto cambió el diagnóstico: el problema no era el prompt, sino el modelo pequeño fallando en alguna combinación de etapas.

Luego descubrí algo más importante: Bionic no estaba ejecutando Python de Windows. Estaba usando Python 3.14.2 compilado para Pyodide/WebAssembly mediante Emscripten. Esto explica:

  • Por qué NumPy no estaba disponible en el entorno
  • Por qué subprocess fallaba con Errno 138 (Emscripten no soporta procesos hijos)
  • Por qué las rutas de Windows no existían dentro del MEMFS

El diagnóstico reveló:

  • Ejecutable: /home/pyodide/I:/Bionic/resources/app/.webpack-bionic/lib/pythonDenoRunner.js
  • Versión: Python 3.14.2 compilada con Clang 23, build emscripten
  • CWD: /outputs (el MEMFS del sandbox)
  • Pillow: ✅ Instalado en /lib/python3.14/site-packages/PIL
  • NumPy: None (no instalado)
  • micropip: None (no disponible)

La filosofía de Pinokio: automatización sin rendición de cuentas

Antes de Bionic, había dejado de usar Pinokio porque me parecía demasiado oscuro en lo que hacía detrás. Su filosofía era: «instalo TODO lo que voy a necesitar y me importa un rábano explicarle al usuario por qué».

El problema no es la automatización en sí. El problema es que la automatización se convierte en excusa para no rendir cuentas:

«Yo sé lo que necesitas. Voy a instalarlo todo. Voy a modificar lo que haga falta. No necesitas conocer los detalles. Si algo falla, mala suerte.»

¿Todos usamos agentes a ciegas?

Mi experiencia con Bionic reveló una verdad incómoda: ¿todos los usuarios que están usando agentes lo están haciendo así, a ciegas? Cuando ComfyUI crea un video, usa PyTorch y CUDA. Un programador en C podría querer saber las rutinas internas, pero como usuario no sabría qué hacer con eso.

Supongo entonces que para un usuario de a pie, que un agente use Python entra en esa categoría: «no es algo que debería saber».

Interfaz de monitor de actividad para agentes mostrando operaciones, dependencias y estado de ejecución
Maqueta de panel de observabilidad que mostraría el historial de operaciones del agente

La contradicción del diseño actual

Para usar Bionic hay que tener LM Studio. Hay un panel de configuración diferente para cada uno. Hasta hace un par de versiones no se podía ejecutar LM Studio mientras corría Bionic. Y hay un montón de opciones avanzadas que no creo que muchos entiendan qué hacen, pero ahí están, accesibles.

Hay otras cosas que deberían ser igual de accesibles y no lo están: un visor de «estoy haciendo esto por detrás», por ejemplo.

Transparencia operativa vs autonomía

La industria está intentando vender agentes como sistemas autónomos capaces de realizar tareas complejas, pero las interfaces todavía los presentan como asistentes conversacionales. Son dos metáforas distintas:

  • Chatbot: necesita mostrarte una respuesta
  • Agente: necesita mostrar además un historial de operaciones, estado de ejecución, recursos, permisos y resultados

No es lo mismo conversar con alguien que trabaja que contratar a alguien para que trabaje en tu ordenador. En el segundo caso, quieres saber qué está haciendo.

Protocolo de transparencia operativa

Propongo un protocolo para que los agentes trabajen autónomos sin ocultar su proceso:

Comparativa de herramientas de IA mostrando diferentes niveles de transparencia y control del usuario
Diferencias entre herramientas de automatización: desde instaladores opacos hasta agentes observables
  1. Planificación: Antes de ejecutar, identificar objetivo, estrategia, herramientas necesarias, dependencias disponibles y faltantes, limitaciones del entorno
  2. Ejecución: Indicar qué herramienta se está utilizando, explicar brevemente para qué la necesita, informar cuando una operación falle
  3. Gestión de dependencias: Comprobar si está instalada antes de usarla, identificar el entorno de ejecución, determinar si puede instalarse
  4. Autonomía: No interrumpir por problemas recuperables. Si existe alternativa razonable, intentar utilizarla
  5. Verificación: No declarar tarea terminada sin verificar que el resultado satisface el objetivo original
  6. Registro: Proporcionar resumen de operaciones realizadas, herramientas utilizadas, dependencias faltantes, errores encontrados y archivos creados o modificados

La línea roja: abstracción vs opacidad

Hay una diferencia entre abstracción y opacidad. La abstracción te ahorra complejidad. La opacidad te quita capacidad de decisión.

ComfyUI, con todas sus imperfecciones, ofrece una representación bastante visible de la cadena de procesamiento. Un workflow es, entre otras cosas, una explicación ejecutable de cómo se produce el resultado.

El futuro: agentes observables

El futuro de los agentes no debería consistir solamente en modelos más inteligentes que necesiten menos supervisión. También debería consistir en agentes más observables, cuyas decisiones y operaciones puedan entenderse, reproducirse y auditarse.

Aumentar la autonomía sin aumentar la observabilidad es una receta peculiar: conseguimos que el software haga cada vez más cosas, pero entendemos cada vez menos cómo las hace. Y eso, tratándose de herramientas que pueden modificar nuestros archivos y ejecutar código, no me parece precisamente un progreso incuestionable.

Lo ideal es que pueda trabajar solo, pero que pueda mirar por encima de su hombro cuando dé la gana. No necesito que el software me pida permiso para respirar. Necesito que no me oculte que está demoliendo la cocina para instalar una ventana.