Come addestrare il tuo modello vocale RVC

Cos'è l'addestramento RVC?

L'addestramento RVC (Retrieval-based Voice Conversion) insegna a una rete neurale a riprodurre una voce specifica. Fornisci campioni audio puliti di una voce di destinazione e il modello impara le caratteristiche di quella voce — timbro, risonanza, struttura dei formanti, respiro — in modo da poter convertire qualsiasi discorso in ingresso in quella voce in tempo reale. Il modello addestrato non memorizza l'audio di addestramento. Impara l'identità della voce, poi applica quell'identità a un nuovo discorso preservando le parole, il ritmo, l'emozione e l'intonazione dell'oratore originale.

Cosa ti serve prima di addestrare

L'addestramento richiede tre cose: dati audio puliti, un ambiente di addestramento e pazienza. La qualità del tuo dataset è il singolo fattore più importante per la qualità del modello — un dataset breve e pulito batterà sempre uno lungo e rumoroso.

• ●10-30 minuti di audio vocale pulito e isolato — niente musica di sottofondo, niente rumore, niente reverb, niente eco. 40+ minuti di audio vario possono migliorare ulteriormente la naturalezza, ma resta sotto i 60 minuti per evitare rendimenti decrescenti.
• ●L'audio deve provenire da un unico oratore con condizioni di registrazione ragionevolmente consistenti.
• ●Formato lossless preferito: WAV o FLAC, frequenza di campionamento 44.1kHz o 48kHz, canale mono. Evita gli MP3 a basso bitrate — gli artefatti di compressione vengono incorporati nel modello.
• ●Una GPU con almeno 6 GB di VRAM (NVIDIA raccomandata per il supporto CUDA). 8 GB+ di VRAM sono ideali per batch size confortevoli.
• ●Software di addestramento: Applio (applio.org — raccomandato, sviluppo più attivo, migliore UI), Mangio-RVC o l'originale RVC WebUI.
• ●Niente GPU? Usa un servizio cloud: Google Colab (colab.research.google.com — livello gratuito con GPU T4), Kaggle, Paperspace o RunPod.

Passo 1 — Prepara il tuo dataset

La preparazione del dataset è dove la maggior parte delle persone fallisce. Un modello addestrato su audio rumoroso, riverberato o inconsistente suonerà rumoroso, riverberato e inconsistente. La pipeline di pulizia standard della community utilizza Ultimate Vocal Remover (UVR5 — github.com/Anjok07/ultimatevocalremovergui), uno strumento gratuito che separa le voci dagli strumenti e rimuove il reverb usando l'AI.

• ●Procurati l'audio: Le migliori fonti sono tracce vocali isolate (usa un vocal remover per estrarre le voci dalle canzoni), registrazioni di podcast, narrazioni di audiolibri, clip di interviste o registrazioni dirette al microfono in una stanza silenziosa.
• ●Pipeline di pulizia: Rimuovi gli strumenti (UVR5 con modello Kim Vocal 2 o MDX-NET) → Rimuovi reverb ed eco (UVR5 VR-DeEchoDeReverb) → Estrai le voci principali → Rimuovi il rumore residuo. Non elaborare troppo — ogni passaggio degrada leggermente la qualità.
• ●Assicurati che ci sia un solo oratore: Rimuovi qualsiasi segmento con voci sovrapposte, chiacchiericcio di sottofondo o altri oratori.
• ●Includi varietà: Diversi pitch, emozioni, velocità di parola e registri vocali aiutano il modello a generalizzare. I dataset monotoni producono modelli monotoni.
• ●Taglia silenzi e suoni non vocali: Rimuovi lunghe pause, colpi di tosse e suoni non vocali. Mantieni la respirazione naturale — rimuovere tutti i respiri può rendere il modello robotico.
• ●NON tagliare le parole a metà: Mantieni le frasi intatte per preservare i pattern di intonazione naturale.
• ●Percorsi dei file: Assicurati che il percorso della cartella del tuo dataset non contenga spazi o caratteri speciali — questa è una causa comune di fallimenti nell'addestramento in tutti gli strumenti RVC.

Passo 2 — Scegli il tuo strumento di addestramento

Tre principali strumenti open-source gestiscono l'addestramento RVC. Ognuno prende lo stesso dataset e produce lo stesso formato di modello .pth — la differenza sta nell'esperienza utente.

• ●Applio — Lo strumento di addestramento RVC più popolare e attivamente sviluppato. UI pulita, pre-elaborazione automatizzata del dataset, integrazione con TensorBoard per monitorare le curve di perdita e supporto per tutti i principali metodi di estrazione f0. Raccomandato per la maggior parte degli utenti.
• ●Mangio-RVC / RVC-WebUI — Il fork della community del progetto RVC originale. Funziona tramite un'interfaccia web Gradio nel tuo browser. Configurazione più manuale ma ben documentata. Buona alternativa se Applio non funziona sul tuo sistema.
• ●Notebook di Google Colab — Addestramento basato su browser usando GPU cloud gratuite. Nessuna GPU locale richiesta. Cerca "RVC training Colab" per i notebook della community. Ideale per utenti senza una GPU dedicata.

Passo 3 — Configura i parametri di addestramento

Capire questi parametri ti aiuta a ottenere risultati migliori. Inizia con i valori predefiniti raccomandati e regola in base a ciò che senti.

• ●Epoche (200-500): Un'epoca è un passaggio completo attraverso i tuoi dati di addestramento. Inizia con 200-300 e valuta. Più epoche possono migliorare la qualità, ma l'over-training causa artefatti robotici. Non c'è un numero magico — le tue orecchie sono il giudice.
• ●Batch Size (dipende dalla VRAM): 6 GB VRAM → batch size 4-6. 8 GB VRAM → batch size 6-8. 12 GB+ VRAM → batch size 8-12. Batch size più alti addestrano più velocemente ma usano più memoria. Se ricevi errori di memoria esaurita CUDA, riduci il batch size.
• ●Sample Rate: 40kHz è lo standard della community e funziona bene per la maggior parte delle voci. 48kHz cattura dettagli leggermente maggiori ad alta frequenza ma richiede più calcolo. Usa 40kHz a meno che tu non abbia un motivo specifico per andare più in alto.
• ●Frequenza di salvataggio: Salva i checkpoint ogni 10-50 epoche per poter testare le versioni intermedie. Questo è fondamentale per trovare il punto giusto prima dell'over-training.
• ●Versione RVC: Usa sempre v2 per i nuovi modelli. v2 usa vettori di caratteristiche a 768 dimensioni (contro i 256 di v1), producendo conversioni più accurate e dal suono naturale.

Spiegazione dei metodi di estrazione F0

Il metodo di estrazione f0 (frequenza fondamentale) determina come viene rilevato il pitch dal tuo audio di addestramento. Questa scelta influisce significativamente sulla qualità del modello.

• ●RMVPE (Raccomandato) — Robust Multiscale Waveform-based Pitch Estimation. L'attuale standard della community. Veloce, gestisce bene l'audio rumoroso e produce un tracciamento del pitch affidabile per tutti i tipi di voce. Usa questo a meno che tu non abbia un motivo specifico per non farlo.
• ●Crepe — Maggiore precisione del pitch rispetto a RMVPE, specialmente per le voci cantate e le registrazioni pulite. Più lento da elaborare. Ideale per registrazioni in studio di alta qualità dove la massima fedeltà è importante.
• ●FCPE — Algoritmo veloce e moderno con alta precisione del pitch. Buona alternativa a RMVPE quando la velocità conta. Leggermente meno robusto con audio rumoroso.
• ●Ibrido (RMVPE + FCPE) — Alcuni strumenti di addestramento offrono metodi combinati. Può migliorare i risultati in casi limite ma aggiunge tempo di elaborazione. Prova prima i metodi singoli.

Passo 4 — Addestra e monitora

Avvia l'addestramento e monitora i progressi usando TensorBoard (integrato in Applio) o testando i checkpoint salvati. L'addestramento richiede tipicamente 1-4 ore su una GPU moderna a seconda della dimensione del dataset e del numero di epoche. Osserva la curva di perdita (loss curve) — dovrebbe diminuire costantemente e poi appiattirsi. Quando si appiattisce, il modello ha imparato ciò che poteva dai dati. Continuare oltre questo punto rischia l'over-training. Salva i checkpoint regolarmente e testali eseguendo l'inferenza su un file audio di esempio. Ascolta la naturalezza, la chiarezza e se l'output suona effettivamente come la voce di destinazione. Il miglior checkpoint è raramente l'ultimo — la maggior parte degli addestratori esperti trova il punto giusto da qualche parte tra l'epoca 200 e 400.

Passo 5 — Genera il file Index

Dopo che l'addestramento è completato, genera il file di indice FAISS. Questo passaggio è spesso trascurato ma migliora significativamente la qualità dell'output. Il file di indice contiene un database ricercabile di vettori di caratteristiche dal tuo audio di addestramento. Durante l'inferenza, il modello usa questo indice per recuperare pattern acustici reali dalla voce di destinazione, riducendo il "timbre leakage" dove la voce dell'oratore originale trapela. In Applio, la generazione dell'indice è un passaggio con un solo clic dopo l'addestramento. Includi sempre il file .index insieme al modello .pth quando condividi o importi.

Passo 6 — Usa il tuo modello

Il tuo modello addestrato produce due file chiave: il file del modello .pth (50-100 MB) e il file .index. Per usarli in tempo reale, importali in un'applicazione voice changer. Echo Live accetta modelli in formato .onnx — converti il tuo file .pth usando il convertitore gratuito su voicechanger.live/tools/model-converter (basato su browser, nessun upload). Per i test durante l'addestramento, la maggior parte degli strumenti di addestramento include una scheda di inferenza integrata dove puoi testare il modello .pth direttamente senza conversione.

Risoluzione dei problemi comuni

Se il tuo modello non suona bene, la causa è quasi sempre uno di questi problemi:

• ●Il modello suona robotico o metallico — Over-training. Torna a un checkpoint precedente (prova l'epoca 150-250). Se tutti i checkpoint suonano robotici, il tuo dataset probabilmente ha reverb o rumore che deve essere pulito.
• ●Il modello suona come l'oratore originale, non come il target — Il dataset è troppo breve o troppo omogeneo. Aggiungi più varietà (diversi pitch, emozioni) e assicurati di avere almeno 15 minuti di audio pulito.
• ●Il modello suona ovattato o di bassa qualità — L'audio sorgente era a basso bitrate o troppo compresso. Usa sempre WAV o FLAC lossless. Controlla anche di non aver elaborato troppo con troppi passaggi di UVR5.
• ●L'addestramento si blocca con errore di memoria esaurita CUDA — Riduci il batch size. Se è già al minimo, riduci il sample rate o chiudi altre applicazioni che usano intensamente la GPU.
• ●La perdita di addestramento non diminuisce — Controlla che il tuo dataset non sia pieno di silenzio o audio non vocale. Verifica che il formato del file sia corretto (WAV/FLAC, mono, sample rate corretto).
• ●Il modello funziona bene per alcune voci ma non per altre — La qualità della conversione RVC dipende dalla somiglianza della gamma di pitch tra la voce di input e quella di destinazione. Le conversioni uomo-uomo e donna-donna generalmente producono i risultati migliori.