Clonar voz en MiniMax H3 sin reutilizar el audio original

Al utilizar modelos de generación de IA como MiniMax, es común confundir cómo funciona la clonación de voz con la reproducción del audio original. La duda inicial suele ser: ¿cómo se da una referencia de audio para que el modelo base la voz y no use el audio completo? Lo que buscas se llama **Voice Cloning** o Voice Reference. Es decir, MiniMax debe extraer las características de la voz del audio de muestra y utilizarlas para generar un audio completamente nuevo leyendo otro texto.

Diagrama explicativo sobre clonación de voz vs reproducción de audio
Diferencia entre referencia vocal y reutilización de audio

Es fundamental entender que el audio de referencia sirve para identificar la voz, no como contenido de la generación. Hay dos mecanismos distintos en MiniMax H3:

Mecanismos de funcionamiento

La propia documentación distingue explícitamente ambos comportamientos:

  • Audio reuse: utiliza el audio original.
  • Audio reference: utiliza solamente sus características como referencia.

Para clonar la voz (lo que necesitas), el procedimiento es subir un fragmento de audio de una persona hablando. El modelo analiza su timbre, tono, acento y características vocales para crear una voz personalizada (`voice_id`). Le proporcionas luego un texto diferente y genera el nuevo audio utilizando esa voz.

Configuración en Wan2GP / MiniMax H3

Si estás utilizando ComfyUI o Wan2GP, la configuración es crítica. En la interfaz de MiniMax H3, busca los controles de referencia de audio. Para generar voz nueva, selecciona:

  • Audio Reference 1: Tu archivo WAV o MP3.
  • Voice / Audio References: `A` – Use One Voice / Audio Reference.
  • Modo de audio: Referencia, no Soundtrack Kept.

Ojo con estas otras opciones que debes evitar:

  • AS: conserva la banda sonora suministrada.
  • KS: conserva el sonido de la pista de un vídeo de referencia.

No selecciones AS ni KS. La opción `A` es la que necesitas, ya que utiliza el audio como referencia para generar sonido y voz nuevos.

Interfaz de configuración Wan2GP con modo de audio A seleccionado
Configuración correcta del parámetro de referencia vocal

Estructura del prompt

El prompt también juega un papel clave en la asignación de la identidad vocal. Si estás utilizando el generador de audio de H3, prueba esta estructura:

Speaker 1:
[Spanish, natural female voice, calm,
warm tone, conversational pace]

Buenos días. Hoy vamos a hablar de
un tema bastante interesante.

El audio que cargaste en `Audio Reference 1` proporcionará la identidad vocal de Speaker 1. El texto entre corchetes define la interpretación; no debería pronunciarse. En este modo, Wan2GP asigna automáticamente la primera referencia de voz a Speaker 1. No necesitas pedir que reproduzca el audio original.

Si estás generando vídeo con Ref2VA, hay que utilizar una estructura un poco diferente. El prompt debe establecer explícitamente la función de la referencia:

retention_analysis:
<Audio 1>: reference - preserve voice timbre,
accent and natural speaking characteristics.
Do not copy the original audio signal.

Esta última configuración es especialmente importante: reference significa que se conserva la identidad sonora, no la señal de audio original.

Onda de audio limpia de referencia para entrenamiento de voz
Ejemplo ideal de audio de referencia para clonación

Preparación del audio de referencia

Te recomiendo empezar con una muestra de:

  • 5–10 segundos.
  • Una sola persona hablando.
  • Voz limpia, sin música de fondo.
  • Sin reverberación ni efectos.

Wan2GP admite referencias de audio de al menos 2 segundos y hasta 15 segundos acumulados. Mi recomendación es comenzar con el generador de audio independiente, utilizando `A` y el bloque Speaker 1. Es la prueba más sencilla para verificar que el modelo está extrayendo la voz y no reutilizando el contenido.

Una última distinción importante: si quieres que la voz sea idéntica a una persona concreta, la referencia puede aproximar bastante su timbre, pero no garantiza una clonación perfecta. Una cosa que me gustaría comprobar es si estás usando el apartado de generación de audio independiente de Wan2GP o estás generando un vídeo con H3 que también produce audio. Son dos pipelines diferentes y tienen configuraciones distintas.