Cómo entrenar tu propio modelo de voz RVC

¿Qué es el entrenamiento RVC?

El entrenamiento RVC (Retrieval-based Voice Conversion) enseña a una red neuronal a reproducir una voz específica. Proporcionas muestras de audio limpias de una voz de destino, y el modelo aprende las características de esa voz (timbre, resonancia, estructura de formantes, respiración) para poder convertir cualquier discurso de entrada en esa voz en tiempo real. El modelo entrenado no memoriza el audio de entrenamiento. Aprende la identidad de la voz y luego aplica esa identidad a un nuevo discurso, conservando las palabras, el ritmo, la emoción y la entonación del hablante original.

Qué necesitas antes de entrenar

El entrenamiento requiere tres cosas: datos de audio limpios, un entorno de entrenamiento y paciencia. La calidad de tu conjunto de datos es el factor más importante en la calidad del modelo: un conjunto de datos corto y limpio siempre superará a uno largo y ruidoso.

• ●De 10 a 30 minutos de audio vocal limpio y aislado: sin música de fondo, sin ruido, sin reverb, sin eco. Más de 40 minutos de audio diverso pueden mejorar aún más la naturalidad, pero mantente por debajo de los 60 minutos para evitar rendimientos decrecientes.
• ●El audio debe ser de un solo hablante con condiciones de grabación razonablemente consistentes.
• ●Se prefiere un formato sin pérdidas: WAV o FLAC, frecuencia de muestreo de 44.1kHz o 48kHz, canal mono. Evita los MP3 de baja tasa de bits; los artefactos de compresión se quedan en el modelo.
• ●Una GPU con al menos 6 GB de VRAM (se recomienda NVIDIA por su compatibilidad con CUDA). 8 GB+ de VRAM es ideal para tamaños de lote cómodos.
• ●Software de entrenamiento: Applio (applio.org — recomendado, desarrollo más activo, mejor interfaz), Mangio-RVC o la RVC WebUI original.
• ●¿No tienes GPU? Usa un servicio en la nube: Google Colab (colab.research.google.com — plan gratuito con GPU T4), Kaggle, Paperspace o RunPod.

Paso 1 — Prepara tu conjunto de datos

La preparación del conjunto de datos es donde la mayoría de la gente falla. Un modelo entrenado con audio ruidoso, reverberante o inconsistente sonará ruidoso, reverberante e inconsistente. El pipeline de limpieza estándar de la comunidad utiliza Ultimate Vocal Remover (UVR5 — github.com/Anjok07/ultimatevocalremovergui), una herramienta gratuita que separa las voces de los instrumentos y elimina la reverb usando IA.

• ●Obtén tu audio: las mejores fuentes son pistas vocales aisladas (usa un eliminador de voces para extraerlas de canciones), grabaciones de podcasts, narraciones de audiolibros, clips de entrevistas o grabaciones directas con micrófono en una habitación silenciosa.
• ●Pipeline de limpieza: elimina los instrumentos (UVR5 con el modelo Kim Vocal 2 o MDX-NET) → elimina la reverb y el eco (UVR5 VR-DeEchoDeReverb) → extrae las voces principales → elimina el ruido residual. No proceses en exceso; cada pasada degrada ligeramente la calidad.
• ●Asegúrate de que solo haya un hablante: elimina cualquier segmento con voces superpuestas, conversaciones de fondo u otros hablantes.
• ●Incluye variedad: diferentes tonos, emociones, velocidades de habla y registros vocales ayudan al modelo a generalizar. Los conjuntos de datos monótonos producen modelos monótonos.
• ●Recorta el silencio y los sonidos no verbales: elimina pausas largas, toses y sonidos no vocales. Mantén la respiración natural; eliminar todas las respiraciones puede hacer que el modelo suene robótico.
• ●NO cortes palabras por la mitad: mantén las frases intactas para preservar los patrones de entonación natural.
• ●Rutas de archivo: asegúrate de que la ruta de la carpeta de tu conjunto de datos no contenga espacios ni caracteres especiales; esta es una causa común de fallos de entrenamiento en todas las herramientas RVC.

Paso 2 — Elige tu herramienta de entrenamiento

Tres herramientas principales de código abierto se encargan del entrenamiento RVC. Cada una toma el mismo conjunto de datos y produce el mismo formato de modelo .pth; la diferencia está en la experiencia de usuario.

• ●Applio: la herramienta de entrenamiento RVC más popular y activamente desarrollada. Interfaz limpia, preprocesamiento automatizado del conjunto de datos, integración con TensorBoard para monitorizar las curvas de pérdida y soporte para todos los principales métodos de extracción de f0. Recomendado para la mayoría de los usuarios.
• ●Mangio-RVC / RVC-WebUI: el fork comunitario del proyecto RVC original. Se ejecuta a través de una interfaz web Gradio en tu navegador. Más configuración manual pero bien documentado. Buena alternativa si Applio no funciona en tu sistema.
• ●Notebooks de Google Colab: entrenamiento basado en navegador utilizando GPUs gratuitas en la nube. No se requiere GPU local. Busca "RVC training Colab" para encontrar notebooks de la comunidad. La mejor opción para usuarios sin una GPU dedicada.

Paso 3 — Configura los parámetros de entrenamiento

Entender estos parámetros te ayuda a obtener mejores resultados. Empieza con los valores predeterminados recomendados y ajústalos según lo que escuches.

• ●Épocas (200-500): una época es una pasada completa por tus datos de entrenamiento. Empieza con 200-300 y evalúa. Más épocas pueden mejorar la calidad, pero el sobreentrenamiento causa artefactos robóticos. No hay un número mágico; tus oídos son el juez.
• ●Tamaño del lote (depende de la VRAM): 6 GB de VRAM → tamaño de lote 4-6. 8 GB de VRAM → tamaño de lote 6-8. 12 GB+ de VRAM → tamaño de lote 8-12. Tamaños de lote más grandes entrenan más rápido pero usan más memoria. Si recibes errores de falta de memoria de CUDA, reduce el tamaño del lote.
• ●Frecuencia de muestreo: 40kHz es el estándar de la comunidad y funciona bien para la mayoría de las voces. 48kHz captura un poco más de detalle de alta frecuencia pero requiere más cómputo. Usa 40kHz a menos que tengas una razón específica para ir más alto.
• ●Frecuencia de guardado: guarda checkpoints cada 10-50 épocas para que puedas probar versiones intermedias. Esto es crucial para encontrar el punto óptimo antes del sobreentrenamiento.
• ●Versión de RVC: usa siempre v2 para nuevos modelos. v2 utiliza vectores de características de 768 dimensiones (frente a 256 en v1), produciendo conversiones más precisas y de sonido más natural.

Explicación de los métodos de extracción de F0

El método de extracción de f0 (frecuencia fundamental) determina cómo se detecta el pitch de tu audio de entrenamiento. Esta elección afecta significativamente la calidad del modelo.

• ●RMVPE (Recomendado): Robust Multiscale Waveform-based Pitch Estimation. El estándar actual de la comunidad. Rápido, maneja bien el audio ruidoso y produce un seguimiento de pitch fiable en todos los tipos de voz. Usa este a menos que tengas una razón específica para no hacerlo.
• ●Crepe: mayor precisión de pitch que RMVPE, especialmente para voces de canto y grabaciones limpias. Más lento de procesar. El mejor para grabaciones de estudio de alta calidad donde la máxima fidelidad importa.
• ●FCPE: algoritmo rápido y moderno con alta precisión de pitch. Buena alternativa a RMVPE cuando la velocidad importa. Ligeramente menos robusto con audio ruidoso.
• ●Híbrido (RMVPE + FCPE): algunas herramientas de entrenamiento ofrecen métodos combinados. Puede mejorar los resultados en casos extremos pero añade tiempo de procesamiento. Prueba primero los métodos individuales.

Paso 4 — Entrena y monitoriza

Inicia el entrenamiento y monitoriza el progreso usando TensorBoard (integrado en Applio) o probando los checkpoints guardados. El entrenamiento suele tardar de 1 a 4 horas en una GPU moderna, dependiendo del tamaño del conjunto de datos y el número de épocas. Observa la curva de pérdida: debería disminuir de manera constante y luego aplanarse. Cuando se aplana, el modelo ha aprendido lo que puede de los datos. Continuar más allá de este punto corre el riesgo de sobreentrenamiento. Guarda checkpoints regularmente y pruébalos ejecutando una inferencia en un archivo de audio de muestra. Escucha la naturalidad, la claridad y si la salida realmente suena como la voz de destino. El mejor checkpoint rara vez es el último; la mayoría de los entrenadores experimentados encuentran el punto óptimo en algún lugar entre la época 200 y 400.

Paso 5 — Genera el archivo de índice

Después de que termine el entrenamiento, genera el archivo de índice FAISS. Este paso a menudo se pasa por alto, pero mejora significativamente la calidad de la salida. El archivo de índice contiene una base de datos de búsqueda de vectores de características de tu audio de entrenamiento. Durante la inferencia, el modelo utiliza este índice para recuperar patrones acústicos reales de la voz de destino, reduciendo la "fuga de timbre" donde la voz del hablante original se filtra. En Applio, la generación del índice es un paso de un solo clic después del entrenamiento. Incluye siempre el archivo .index junto con el modelo .pth al compartir o importar.

Paso 6 — Usa tu modelo

Tu modelo entrenado produce dos archivos clave: el archivo de modelo .pth (50-100 MB) y el archivo .index. Para usarlos en tiempo real, impórtalos en una aplicación de cambiador de voz. Echo Live acepta modelos en formato .onnx; convierte tu archivo .pth usando el conversor gratuito en voicechanger.live/tools/model-converter (basado en navegador, sin subidas). Para probar durante el entrenamiento, la mayoría de las herramientas de entrenamiento incluyen una pestaña de inferencia integrada donde puedes probar el modelo .pth directamente sin conversión.

Solución de problemas comunes

Si tu modelo no suena bien, la causa es casi siempre uno de estos problemas:

• ●El modelo suena robótico o metálico: sobreentrenamiento. Vuelve a un checkpoint anterior (prueba entre las épocas 150-250). Si todos los checkpoints suenan robóticos, es probable que tu conjunto de datos tenga reverb o ruido que necesita limpieza.
• ●El modelo suena como el hablante original, no como el de destino: el conjunto de datos es demasiado corto o demasiado homogéneo. Añade más variedad (diferentes tonos, emociones) y asegúrate de tener al menos 15 minutos de audio limpio.
• ●El modelo suena apagado o de baja calidad: el audio de origen era de baja tasa de bits o estaba sobrecomprimido. Usa siempre WAV o FLAC sin pérdidas. También comprueba que no estés procesando en exceso con demasiadas pasadas de UVR5.
• ●El entrenamiento se bloquea con error de falta de memoria de CUDA: reduce el tamaño del lote. Si ya está al mínimo, reduce la frecuencia de muestreo o cierra otras aplicaciones que consuman mucha GPU.
• ●La pérdida de entrenamiento no disminuye: comprueba que tu conjunto de datos no esté lleno de silencio o audio no verbal. Verifica que el formato de archivo sea correcto (WAV/FLAC, mono, frecuencia de muestreo correcta).
• ●El modelo funciona bien para algunas voces pero no para otras: la calidad de la conversión RVC depende de la similitud del rango de pitch entre la voz de entrada y la de destino. Las conversiones de hombre a hombre y de mujer a mujer generalmente producen los mejores resultados.