Comment entraîner ton propre modèle de voix RVC

Qu'est-ce que l'entraînement RVC ?

L'entraînement RVC (Retrieval-based Voice Conversion) apprend à un réseau neuronal à reproduire une voix spécifique. Tu fournis des échantillons audio propres d'une voix cible, et le modèle apprend les caractéristiques de cette voix — timbre, résonance, structure des formants, souffle — afin de pouvoir convertir n'importe quelle parole d'entrée en cette voix en temps réel. Le modèle entraîné ne mémorise pas l'audio d'entraînement. Il apprend l'identité de la voix, puis applique cette identité à une nouvelle parole tout en préservant les mots, le timing, l'émotion et l'intonation du locuteur original.

Ce dont tu as besoin avant l'entraînement

L'entraînement nécessite trois choses : des données audio propres, un environnement d'entraînement et de la patience. La qualité de ton jeu de données est le facteur le plus important pour la qualité du modèle — un jeu de données court et propre battra toujours un jeu de données long et bruyant.

• ●10 à 30 minutes d'audio vocal propre et isolé — pas de musique de fond, pas de bruit, pas de reverb, pas d'écho. Plus de 40 minutes d'audio varié peuvent améliorer davantage le naturel, mais reste en dessous de 60 minutes pour éviter les rendements décroissants.
• ●L'audio doit provenir d'un seul locuteur avec des conditions d'enregistrement raisonnablement constantes.
• ●Format sans perte préféré : WAV ou FLAC, taux d'échantillonnage de 44.1kHz ou 48kHz, canal mono. Évite les MP3 à bas débit — les artefacts de compression sont intégrés au modèle.
• ●Un GPU avec au moins 6 Go de VRAM (NVIDIA recommandé pour le support CUDA). 8 Go+ de VRAM est idéal pour des tailles de batch confortables.
• ●Logiciel d'entraînement : Applio (applio.org — recommandé, développement le plus actif, meilleure interface utilisateur), Mangio-RVC, ou l'original RVC WebUI.
• ●Pas de GPU ? Utilise un service cloud : Google Colab (colab.research.google.com — niveau gratuit avec GPU T4), Kaggle, Paperspace ou RunPod.

Étape 1 — Prépare ton jeu de données

La préparation du jeu de données est là où la plupart des gens échouent. Un modèle entraîné sur un audio bruyant, réverbérant ou incohérent sonnera bruyant, réverbérant et incohérent. Le pipeline de nettoyage standard de la communauté utilise Ultimate Vocal Remover (UVR5 — github.com/Anjok07/ultimatevocalremovergui), un outil gratuit qui sépare les voix des instruments et supprime la reverb à l'aide de l'IA.

• ●Trouve ton audio : Les meilleures sources sont les pistes vocales isolées (utilise un suppresseur de voix pour extraire les voix des chansons), les enregistrements de podcasts, la narration de livres audio, les extraits d'interviews ou les enregistrements directs au microphone dans une pièce calme.
• ●Pipeline de nettoyage : Supprime les instruments (UVR5 avec le modèle Kim Vocal 2 ou MDX-NET) → Supprime la reverb et l'écho (UVR5 VR-DeEchoDeReverb) → Extrais les voix principales → Supprime le bruit résiduel. Ne sur-traite pas — chaque passe dégrade légèrement la qualité.
• ●Assure-toi qu'il n'y a qu'un seul locuteur : Supprime tous les segments avec des voix qui se chevauchent, des conversations de fond ou d'autres locuteurs.
• ●Inclus de la variété : Différents pitchs, émotions, vitesses de parole et registres vocaux aident le modèle à généraliser. Les jeux de données monotones produisent des modèles monotones.
• ●Coupe le silence et les non-paroles : Supprime les longues pauses, les toux et les sons non vocaux. Garde la respiration naturelle — supprimer toutes les respirations peut rendre le modèle robotique.
• ●NE coupe PAS les mots au milieu : Garde les phrases intactes pour préserver les schémas d'intonation naturels.
• ●Chemins de fichiers : Assure-toi que le chemin de ton dossier de jeu de données ne contient pas d'espaces ou de caractères spéciaux — c'est une cause fréquente d'échecs d'entraînement avec tous les outils RVC.

Étape 2 — Choisis ton outil d'entraînement

Trois principaux outils open-source gèrent l'entraînement RVC. Chacun prend le même jeu de données et produit le même format de modèle .pth — la différence réside dans l'expérience utilisateur.

• ●Applio — L'outil d'entraînement RVC le plus populaire et le plus activement développé. Interface utilisateur propre, prétraitement automatisé du jeu de données, intégration de TensorBoard pour surveiller les courbes de perte et prise en charge de toutes les principales méthodes d'extraction de f0. Recommandé pour la plupart des utilisateurs.
• ●Mangio-RVC / RVC-WebUI — Le fork communautaire du projet RVC original. Fonctionne via une interface web Gradio dans ton navigateur. Plus de configuration manuelle mais bien documenté. Bonne alternative si Applio ne fonctionne pas sur ton système.
• ●Notebooks Google Colab — Entraînement basé sur le navigateur utilisant des GPU cloud gratuits. Aucun GPU local requis. Recherche « RVC training Colab » pour les notebooks de la communauté. Idéal pour les utilisateurs sans GPU dédié.

Étape 3 — Configure les paramètres d'entraînement

Comprendre ces paramètres t'aide à obtenir de meilleurs résultats. Commence avec les valeurs par défaut recommandées et ajuste en fonction de ce que tu entends.

• ●Époques (200-500) : Une époque est une passe complète à travers tes données d'entraînement. Commence avec 200-300 et évalue. Plus d'époques peuvent améliorer la qualité, mais le sur-entraînement provoque des artefacts robotiques. Il n'y a pas de nombre magique — tes oreilles sont le juge.
• ●Taille du batch (dépend de la VRAM) : 6 Go de VRAM → taille de batch 4-6. 8 Go de VRAM → taille de batch 6-8. 12 Go+ de VRAM → taille de batch 8-12. Des tailles de batch plus grandes entraînent plus vite mais utilisent plus de mémoire. Si tu obtiens des erreurs de mémoire insuffisante CUDA, réduis la taille du batch.
• ●Taux d'échantillonnage : 40kHz est la norme de la communauté et fonctionne bien pour la plupart des voix. 48kHz capture un peu plus de détails haute fréquence mais nécessite plus de calcul. Utilise 40kHz sauf si tu as une raison spécifique d'aller plus haut.
• ●Fréquence de sauvegarde : Sauvegarde des points de contrôle toutes les 10-50 époques pour pouvoir tester les versions intermédiaires. C'est essentiel pour trouver le point idéal avant le sur-entraînement.
• ●Version RVC : Utilise toujours la v2 pour les nouveaux modèles. La v2 utilise des vecteurs de caractéristiques à 768 dimensions (contre 256 pour la v1), produisant des conversions plus précises et naturelles.

Explication des méthodes d'extraction de F0

La méthode d'extraction de la fréquence fondamentale (f0) détermine comment le pitch est détecté à partir de ton audio d'entraînement. Ce choix affecte considérablement la qualité du modèle.

• ●RMVPE (Recommandé) — Robust Multiscale Waveform-based Pitch Estimation. La norme communautaire actuelle. Rapide, gère bien l'audio bruyant et produit un suivi de pitch fiable pour tous les types de voix. Utilise-le sauf si tu as une raison spécifique de ne pas le faire.
• ●Crepe — Précision de pitch plus élevée que RMVPE, en particulier pour les voix chantées et les enregistrements propres. Plus lent à traiter. Idéal pour les enregistrements de studio de haute qualité où la fidélité maximale est importante.
• ●FCPE — Algorithme rapide et moderne avec une haute précision de pitch. Bonne alternative à RMVPE lorsque la vitesse est importante. Un peu moins robuste avec l'audio bruyant.
• ●Hybride (RMVPE + FCPE) — Certains outils d'entraînement proposent des méthodes combinées. Peut améliorer les résultats dans des cas limites mais ajoute du temps de traitement. Essaie d'abord les méthodes uniques.

Étape 4 — Entraîne et surveille

Lance l'entraînement et surveille la progression à l'aide de TensorBoard (intégré dans Applio) ou en testant les points de contrôle sauvegardés. L'entraînement prend généralement 1 à 4 heures sur un GPU moderne en fonction de la taille du jeu de données et du nombre d'époques. Surveille la courbe de perte — elle devrait diminuer régulièrement puis s'aplatir. Lorsqu'elle s'aplatit, le modèle a appris ce qu'il pouvait des données. Continuer au-delà de ce point risque le sur-entraînement. Sauvegarde régulièrement des points de contrôle et teste-les en exécutant une inférence sur un fichier audio d'échantillon. Écoute le naturel, la clarté et si la sortie ressemble réellement à la voix cible. Le meilleur point de contrôle est rarement le dernier — la plupart des entraîneurs expérimentés trouvent le point idéal quelque part entre l'époque 200 et 400.

Étape 5 — Génère le fichier d'index

Une fois l'entraînement terminé, génère le fichier d'index FAISS. Cette étape est souvent négligée mais améliore considérablement la qualité de la sortie. Le fichier d'index contient une base de données consultable de vecteurs de caractéristiques de ton audio d'entraînement. Pendant l'inférence, le modèle utilise cet index pour récupérer de vrais motifs acoustiques de la voix cible, réduisant la « fuite de timbre » où la voix du locuteur original transparaît. Dans Applio, la génération de l'index se fait en un clic après l'entraînement. Inclus toujours le fichier .index avec le modèle .pth lors du partage ou de l'importation.

Étape 6 — Utilise ton modèle

Ton modèle entraîné produit deux fichiers clés : le fichier de modèle .pth (50-100 Mo) et le fichier .index. Pour les utiliser en temps réel, importe-les dans une application de changeur de voix. Echo Live accepte les modèles au format .onnx — convertis ton fichier .pth à l'aide du convertisseur gratuit sur voicechanger.live/tools/model-converter (basé sur le navigateur, sans envoi de fichier). Pour les tests pendant l'entraînement, la plupart des outils d'entraînement incluent un onglet d'inférence intégré où tu peux tester le modèle .pth directement sans conversion.

Dépannage des problèmes courants

Si ton modèle ne sonne pas bien, la cause est presque toujours l'un de ces problèmes :

• ●Le modèle sonne robotique ou métallique — Sur-entraînement. Reviens à un point de contrôle antérieur (essaie l'époque 150-250). Si tous les points de contrôle sonnent robotiques, ton jeu de données a probablement de la reverb ou du bruit qui doit être nettoyé.
• ●Le modèle sonne comme le locuteur original, pas la cible — Le jeu de données est trop court ou trop homogène. Ajoute plus de variété (différents pitchs, émotions) et assure-toi d'avoir au moins 15 minutes d'audio propre.
• ●Le modèle sonne étouffé ou de mauvaise qualité — L'audio source était à bas débit ou sur-compressé. Utilise toujours des fichiers WAV ou FLAC sans perte. Vérifie également que tu ne sur-traites pas avec trop de passes UVR5.
• ●L'entraînement plante avec une erreur de mémoire insuffisante CUDA — Réduis la taille du batch. Si déjà au minimum, réduis le taux d'échantillonnage ou ferme d'autres applications gourmandes en GPU.
• ●La perte d'entraînement ne diminue pas — Vérifie que ton jeu de données n'est pas plein de silence ou d'audio non vocal. Vérifie que le format de fichier est correct (WAV/FLAC, mono, taux d'échantillonnage correct).
• ●Le modèle fonctionne bien pour certaines voix mais pas pour d'autres — La qualité de la conversion RVC dépend de la similarité de la plage de pitch entre l'entrée et la voix cible. Les conversions homme-homme et femme-femme produisent généralement les meilleurs résultats.