Reemplazar el modelo de Ref2VA en Sorant sin descargar BF16

Estaba explorando los prompts de Sorant y llegué hasta el caso de Ref2VA. La verdad es que no me apetece descargar los 66 GB del modelo BF16 que pide por defecto. Buscaba una forma de reemplazarlo en la configuración por uno que ya tengo, específicamente el minimax_h3_ref2va_pruned_int8_convrot.safetensors. Tenía dudas sobre si esto estaba demasiado crudo o si existía documentación al respecto.

Diagrama técnico comparando modelos BF16 e INT8 para generación de video
Comparativa de peso: el modelo INT8 permite trabajar con menos recursos de memoria gráfica.

La respuesta fue más positiva de lo esperado: no es necesario descargar el modelo completo en BF16. La variante que ya posees está contemplada en los flujos de trabajo de ComfyUI y, de hecho, es una recomendación para equipos con 24 GB de VRAM. Una GPU como la RTX 3090 se ajusta perfectamente a ese segmento.

Hay un detalle importante que no hay que olvidar: cambiar el nombre del archivo no basta necesariamente. Es crucial comprobar qué espera exactamente el flujo de Sorant antes de tocar nada.

Cómo realizar el reemplazo

Si Sorant está generando un workflow de ComfyUI, buscaría una referencia específica en el JSON:

"unet_name": "minimax_h3_ref2va_bf16.safetensors"

Y la sustitución correcta sería por:

"unet_name": "minimax_h3_ref2va_pruned_int8_convrot.safetensors"

El modelo debe ubicarse en ComfyUI/models/diffusion_models/. Esto es coherente con los workflows publicados que utilizan directamente UNETLoader para cargar las variantes INT8.

Una advertencia importante sobre la documentación

Al investigar en el repositorio oficial de Sorant, encontré documentación bastante reveladora. En el archivo docs/setup.md, apartado de modelos, el desarrollador explica expresamente por qué existen los dos checkpoints.

Tabla de especificaciones para elegir entre modelos BF16 e INT8 en Sorant
Tabla oficial que define los requisitos del modelo según el tipo de referencia.

La documentación establece claramente cuándo usar cada uno:

  • Reference to Video con imágenes: Usa INT8 ConvRot.
  • Reference to Video con pista musical, voz o clip: Requiere BF16.
  • Music video y Remix a 4 pasos: Requieren BF16.

El documento advierte que el INT8 falla cuando se incorpora una referencia de audio, voz o vídeo. En esos casos específicos, también cambia el encoder Qwen3VL de INT8/NVFP4 a BF16.

Contexto del repositorio

Sobre la comunidad detrás del proyecto: el repositorio muestra 15 estrellas y 4 forks. Aunque tiene cero issues abiertos actualmente, cuenta con 219 commits. Esto sugiere que es un proyecto personal de desarrollo activo más que un producto consolidado con una gran masa de usuarios.

Lo que más destaca es la documentación detallada. El autor explica incluso errores de compatibilidad encontrados y cómo los resolvió, lo cual vale mucho más que un README bonito.

Conclusión y recomendación

Antes de tocar nada a ciegas o hackear código, la mejor estrategia es probar Ref2VA con imágenes como referencias visuales y tu modelo INT8. Es exactamente el escenario que el desarrollador contempla en su documentación.

Si quieres profundizar, puedes revisar el código de minimax-h3-ref.ts para entender cómo Sorant hace el cambio automático de modelos según las condiciones. Mi consejo final es: verifica primero si tu caso de uso requiere audio o voz; si solo usas imágenes, la versión INT8 ya está resuelta y no necesitas descargar nada más.