Cómo mejorar la transcripción de Whisper: VAD, modelos y parámetros clave

Las herramientas de reconocimiento de voz son increíblemente útiles, pero a menudo se enfrentan a un problema frustrante: las transcripciones fragmentadas. ¿Por qué Whisper corta las frases justo cuando no debería? El problema suele venir de cómo configuramos los parámetros de decodificación y la detección de actividad vocal (VAD).

El impacto del VAD y los parámetros de segmentación

Uno de los factores más determinantes es el VAD. Si este filtro está demasiado agresivo, cortará el audio apenas detecta micro-pausas o pausas respiratorias, fragmentando una oración entera en múltiples segmentos.

Ajustes para el CLI oficial y Python

En la implementación estándar de Whisper, un parámetro clave es --condition_on_previous_text True. Esto ayuda a que el modelo mantenga la continuidad entre los segmentos cortos y no «reinicie» su contexto. Además, añadir una instrucción inicial como --initial_prompt "Transcripción continua en español..." puede influir positivamente en cómo responde el modelo al contexto textual.

Si utilizas faster-whisper para Python, puedes controlar esto directamente en la función transcribe. Aumentar el tiempo de silencio mínimo a min_silence_duration_ms=700 o incluso 1000 evita esos cortes prematuros. También es recomendable bajar el umbral del ruido no hablado con no_speech_threshold=0.3.

Tamaño del modelo y límites artificiales

La diferencia entre usar un modelo tiny, base o small frente a medium o large-v3 es fundamental. No se trata solo de la precisión léxica; los modelos más grandes como large-v3 ofrecen una coherencia sintáctica mucho mayor y toman mejores decisiones sobre dónde cortar el texto.

Otro detalle técnico importante son los límites artificiales de longitud. En implementaciones como whisper.cpp, usar --max-len 0 desactiva estos límites e impide que las frases se partan por ser demasiado largas para el buffer. Asimismo, la bandera --split-on-word ayuda a evitar cortes en medio de palabras o frases completas.

El poder del pre-procesamiento de audio

A veces, los parámetros no son suficientes si el audio base es problemático. Normalizar el volumen, reducir el ruido y aplicar una compresión dinámica suave antes de la transcripción permite que Whisper detecte mejor las pausas reales.

Para usuarios de FFmpeg, un pipeline como -af "loudnorm,highpass=f=100,lowpass=f=8000" puede limpiar el input y mejorar drásticamente la calidad final.

La opción radical: desactivar el VAD

Finalmente, existe una mejora que muchos pasan por alto: desactivar completamente el filtro de actividad vocal. En algunos wrappers, establecer vad_filter=False permite obtener transcripciones mucho más naturales y fluidas.

Sí, es cierto que esto resulta en segmentos más largos y pesados, pero las frases quedan significativamente más humanas y coherentes. La clave está en experimentar con estos ajustes para encontrar el equilibrio perfecto entre precisión y fluidez.