Voces IA con ComfyUI: Guía para diálogos multi-personaje en español chileno

Generar voces y diálogos con IA en ComfyUI

Para construir una fábrica audiovisual automatizada con síntesis de voz local, existen varias opciones que se integran con ComfyUI. La clave es distinguir entre generar una voz, interpretar un diálogo y mantener la consistencia de personajes en distintas escenas.

Diagrama del pipeline de generación de audio con ComfyUI mostrando nodos de TTS, Python y FFmpeg integrados
Flujo recomendado para generación de voces con ComfyUI

Modelos locales para probar primero

Con una RTX 3090 de 24 GB, la recomendación es comenzar con dos motores principales: Qwen3-TTS para construir identidades vocales y MOSS-TTSD para experimentar con conversaciones multi-interlocutor.

1. Qwen3-TTS — primera opción

Genera voces, permite diseñar voces a partir de descripciones y clonar voces de referencia. Existen nodos para ComfyUI y opciones para diálogos con varios personajes. Buena alternativa para un pipeline sin depender de una API externa.

  • Español incluido entre los idiomas admitidos
  • Permite reutilizar voces mediante referencias de audio
  • Buena opción para generar frases por lotes con identidad vocal definida

VRAM: reservaría inicialmente unos 6–10 GB para el modelo de 1.7B, sujeto al consumo real del nodo y a la longitud de las frases.

2. MOSS-TTSD — motor de diálogo

Su propósito es generar conversaciones con varios interlocutores en una misma salida de audio. La integración para ComfyUI admite etiquetas [S1] y [S2] y referencias de voz opcionales para cada personaje.

  • Diálogos de varios personajes en una generación
  • Posibilidad de asociar una referencia vocal a cada hablante
  • Menos trabajo de ensamblaje manual cuando quieres una conversación continua

VRAM publicada por la integración: aproximadamente 18 GB. Cabe en 24 GB, pero el margen se reduce si hay otros modelos cargados en ComfyUI.

3. Alternativa ligera: MOSS-TTS Local Transformer

Es la alternativa de MOSS que probaría para generar muchas líneas individuales de forma iterativa. La integración informa un consumo aproximado de 5 GB para esta variante. No confundir con TTSD: son modelos y objetivos diferentes.

Requisitos de memoria y almacenamiento

Estas cifras son orientativas para planificar las pruebas:

  • Qwen3-TTS 0.6B: 3–5 GB para pruebas rápidas
  • Qwen3-TTS 1.7B: 6–10 GB para voces y clonación
  • MOSS-TTS Local 1.7B: ~5 GB para frases individuales
  • MOSS-TTSD 8B: ~18 GB para diálogo conjunto

Tu RTX 3090 puede abordar todos estos experimentos, pero para TTSD dejaría libre la mayor parte posible de la VRAM. Evitaría generar vídeo simultáneamente: primero audio, después vídeo.

Instalación en ComfyUI Portable para Windows

Como ya trabajas con la versión portable, usaría su Python integrado. No instalaría paquetes de PyTorch a ciegas ni actualizaría las dependencias globales de ComfyUI sin comprobar compatibilidad.

Paso A: instalar Qwen3-TTS

Abre PowerShell en la carpeta raíz de tu ComfyUI Portable y ejecuta:

cd .ComfyUIcustom_nodes
git clone https://github.com/1038lab/ComfyUI-QwenTTS.git
cd ....

Instala las dependencias usando el Python incluido en la distribución portable:

.python_embededpython.exe -m pip install -r .ComfyUIcustom_nodesComfyUI-QwenTTSrequirements.txt

Este último comando supone que el repositorio conserva esa ruta y ese archivo de dependencias. Antes de ejecutarlo, comprueba su existencia; si el README indica otro procedimiento, sigue el de esa versión.

Paso B: preparar voces consistentes

Crea una estructura de trabajo separada de los archivos del programa:

D:AI_Audio
├── characters
│   ├── personaje_01
│   │   ├── reference.wav
│   │   └── profile.json
│   └── personaje_02
│       ├── reference.wav
│       └── profile.json
├── scripts
│   ├── episode_001.json
│   └── episode_002.json
├── output
│   ├── episode_001
│   └── episode_002
└── logs

Para cada personaje, guarda una muestra limpia de voz y una ficha con su timbre, edad vocal aproximada, ritmo y expresividad. Si usas clonación, procura que la muestra contenga una sola voz, sin música y sin reverberación fuerte.

Probar el diálogo con MOSS-TTSD

Una vez que Qwen esté funcionando, probaría MOSS en una copia separada de ComfyUI. La integración documenta generación de diálogo para dos hablantes, con referencias vocales opcionales para cada uno.

En el nodo de diálogo puedes probar este texto:

[S1] Oye, ¿sabís qué pasó con el computador de la oficina?
[S2] ¿Cuál de todos? Si ese lugar está lleno de cachureos.
[S1] El que dejamos prendido anoche.
[S2] Ah, ya. ¿Y ahora qué hiciste?
[S1] ¡Yo nada! Te estoy preguntando a ti.
[S2] Ya, tranquilo. Revisemos primero los registros.

Es una prueba deliberadamente chilena, pero no demasiado cargada de modismos. Evalúa si el modelo pronuncia bien sabís, conserva la identidad de los hablantes y produce pausas naturales.

Pipeline automatizado por lotes

Cada escena puede definirse en JSON, con el identificador de la voz, el texto, la emoción y la pausa posterior:

{
  "episode": "episode_001",
  "scenes": [
    {
      "id": "scene_001",
      "speaker": "personaje_01",
      "text": "Oye, ¿sabís qué pasó con el computador?",
      "emotion": "curious",
      "pause_after_ms": 350
    },
    {
      "id": "scene_001",
      "speaker": "personaje_02",
      "text": "¿Cuál de todos? Hay como diez.",
      "emotion": "dry_humor",
      "pause_after_ms": 500
    }
  ]
}

Este JSON es un manifiesto de producción: todavía hay que convertir sus campos en entradas de los nodos de audio.

Flujo recomendado

  1. Guion JSON: Escenas, personajes, texto y emociones
  2. Python: despachador: Lee el manifiesto y prepara cada intervención
  3. API de ComfyUI: Envía el workflow con sus entradas modificadas
  4. Audio WAV por intervención: Un archivo por línea, con nombres predecibles
  5. FFmpeg: Pausas, mezcla, ambiente, subtítulos y montaje

Cómo implementaría el despachador

ComfyUI permite enviar workflows mediante su API local. La idea es guardar un workflow de voz que ya funcione, cargarlo desde Python y modificar los nodos que contienen el texto, la voz de referencia, la semilla y la ruta de salida.

import json
import urllib.request

COMFY = "http://127.0.0.1:8188"

def queue_workflow(workflow):
    payload = json.dumps({
        "prompt": workflow
    }).encode("utf-8")

    req = urllib.request.Request(
        f"{COMFY}/prompt",
        data=payload,
        headers={"Content-Type": "application/json"}
    )

    with urllib.request.urlopen(req) as response:
        return json.loads(response.read())

Este es el despachador mínimo, no un importador completo de episodios: los identificadores de los nodos y los campos que debes modificar dependen del workflow exportado desde tu versión de ComfyUI.

Controles importantes

  • Reintentos y registro: si falla una línea, repetir esa línea sin volver a generar el episodio completo
  • Caché: conservar los WAV ya generados cuando el texto, la voz y la semilla no cambian
  • Control de calidad: registrar duración, errores y estado de cada intervención antes de pasar al montaje

Conseguir un español chileno convincente

Aquí es donde invertiría el tiempo de evaluación antes de producir cien vídeos. Primero, usaría una batería fija de diez frases que incluya preguntas, afirmaciones, modismos y palabras con pronunciación difícil.

Después compararía tres configuraciones:

  1. Qwen3-TTS con una voz clonada a partir de una muestra chilena autorizada
  2. Qwen3-TTS con una voz diseñada y las mismas frases
  3. MOSS-TTSD con referencias vocales para ambos interlocutores

Mantendría idénticos los textos y escucharía las salidas sin mirar qué modelo las generó. Evaluaría naturalidad, acento, consistencia de voz, pausas y calidad de la conversación.

No empezaría ajustando o entrenando modelos. Primero comprobaría si el condicionamiento por referencia es suficiente. Si no lo es, entonces estudiaría un conjunto de datos de voz chilena con transcripciones y derechos de uso claros.

Decisión final

Qwen3-TTS para arrancar y desarrollar las identidades vocales; MOSS-TTSD como experimento específico para diálogo conjunto. Si el español chileno no queda bien en TTSD, utilizaría el enfoque por líneas individuales y montaje posterior.

Es más controlable, más fácil de depurar y encaja perfectamente con una fábrica audiovisual por lotes.