Resolviendo la integración entre ComfyUI y Open WebUI

Conectando el caos: ComfyUI y Open WebUI

Hace poco, conecté la interfaz basada en nodos de ComfyUI a la plataforma de chat Open WebUI. Al principio, me sentí completamente perdido frente al cuadro de texto, preguntándome qué exactamente le debía decir para que funcionara la generación.

Ilustración de una integración exitosa entre ComfyUI y Open WebUI generando imágenes.
La integración exitosa entre la interfaz de nodos y el chat de IA.

La clave fue entender que no se trata solo de un prompt poético, sino de una integración útil para el modelo subyacente. Al principio, el sistema respondía como si fuera un LLM normal, negándose a generar imágenes porque la conexión con el flujo estructurado estaba rota.

El punto de inflexión: /image

Luego descubrí que no necesitaba activar nada especial en ComfyUI. La API ya estaba viva por defecto. El verdadero problema era cómo Open WebUI interpretaba mis órdenes. Al probar el comando explícito /image un gato, la magia ocurrió.

ComfyUI disparó correctamente y la imagen apareció en pantalla. Sin embargo, el sistema tiene un comportamiento curioso: después de generarla, el modelo de lenguaje responde igual que antes, diciendo que no puede hacerlo como si se negara a aceptar la realidad. Es una fricción interesante entre dos módulos trabajando en paralelo.

El misterio del JSON y los IDs

Otra cosa molesta fue descubrir que cuando arrastro un archivo de texto, ComfyUI lo interpreta perfectamente y reconstruye los nodos. Pero si intento abrirlo desde el menú de la interfaz, aparece en blanco.

Pantalla mostrando un archivo JSON minificado de ComfyUI.
El formato de archivo JSON y la edición de workflows.

Además, al guardar un workflow directamente, ComfyUI me lo deja como una sola línea ilegible y minificada. Es feo, incómodo y parece diseñado para que las máquinas lo consuman rápido en lugar de los humanos.

Necesito editar, no solo generar

Ahora que la generación funciona, el siguiente paso es más complejo. Necesito un workflow específico para editar imágenes, no solo crearlas desde cero. Esto implica usar herramientas como img2img o inpainting, lo cual requiere nodos específicos y una configuración distinta.

El reto ahora mismo es mantener el sistema limpio y dejar que la generación funcione sin ese doble discurso del modelo de lenguaje. Con los IDs correctos y un workflow sólido, esto se vuelve mucho más manejable.