Nodos para describir videos en ComfyUI y generar prompts para H3

Al principio, parecía que no existía ninguna forma estándar dentro de ComfyUI para describir videos. La idea inicial era que la plataforma se centraba casi exclusivamente en la generación y manipulación de imágenes estáticas o secuencias de video, sin ofrecer una comprensión semántica del contenido visual.

Sin embargo, tras investigar los paquetes disponibles para la versión 0.38.x de ComfyUI, la situación es muy diferente. Existen herramientas que permiten una comprensión temporal real, superando el simple análisis frame a frame.

Comprensión temporal vs. descripción de frames

Es fundamental distinguir entre dos enfoques para describir video en estas arquitecturas. Por un lado está la generación de múltiples captions por cada frame individual, lo cual puede resultar útil pero pierde la continuidad del tiempo. El enfoque más potente es el que permite al modelo recibir una secuencia completa y contestar con cambios temporales coherentes.

Gracias a nodos como Modern VLM, podemos utilizar modelos potentes como Qwen3-VL 8B para analizar cronológicamente los sujetos, sus posiciones y las acciones dentro del video. Esto permite inferir la secuencia de eventos sin depender únicamente de descripciones literarias.

VideoAnalyzer y prompts estructurados

El hallazgo más interesante es el paquete ComfyUI-VideoAnalyzer, específicamente su nodo MiniMax H3 Video to Prompt. Este componente está diseñado para recibir un archivo de video directamente y extraer un prompt altamente estructurado para MiniMax H3.

Aunque también se puede probar primero con el Modern VLM, la ventaja de usar VideoAnalyzer radica en su capacidad para producir una ficha estructurada del vídeo. Esto incluye campos como subjects, subject_positions, movement_direction, camera, y actions. Esta salida es extremadamente valiosa para experimentos avanzados de ref2va o fl2va, permitiendo transformar partes específicas del video sin depender de un párrafo genérico.