Como Treinar Seu Próprio Modelo de Voz RVC

O que é o treinamento RVC?

O treinamento RVC (Retrieval-based Voice Conversion) ensina uma rede neural a reproduzir uma voz específica. Você fornece amostras de áudio limpas de uma voz alvo, e o modelo aprende as características dessa voz — timbre, ressonância, estrutura de formantes, respiração — para que possa converter qualquer fala de entrada naquela voz em tempo real. O modelo treinado não memoriza o áudio de treinamento. Ele aprende a identidade da voz e, em seguida, aplica essa identidade a uma nova fala, preservando as palavras, o ritmo, a emoção e a entonação do locutor original.

O que você precisa antes de treinar

O treinamento requer três coisas: dados de áudio limpos, um ambiente de treinamento e paciência. A qualidade do seu dataset é o fator mais importante na qualidade do modelo — um dataset curto e limpo sempre superará um longo e barulhento.

• ●10-30 minutos de áudio vocal limpo e isolado — sem música de fundo, sem ruído, sem reverb, sem eco. Mais de 40 minutos de áudio diversificado podem melhorar ainda mais a naturalidade, mas fique abaixo de 60 minutos para evitar retornos decrescentes.
• ●O áudio deve ser de um único locutor com condições de gravação razoavelmente consistentes.
• ●Formato sem perdas preferido: WAV ou FLAC, taxa de amostragem de 44.1kHz ou 48kHz, canal mono. Evite MP3s de baixa taxa de bits — os artefatos de compressão são incorporados ao modelo.
• ●Uma GPU com pelo menos 6 GB de VRAM (NVIDIA recomendada para suporte a CUDA). 8 GB+ de VRAM é ideal para tamanhos de lote confortáveis.
• ●Software de treinamento: Applio (applio.org — recomendado, desenvolvimento mais ativo, melhor UI), Mangio-RVC ou o RVC WebUI original.
• ●Sem GPU? Use um serviço de nuvem: Google Colab (colab.research.google.com — camada gratuita com GPU T4), Kaggle, Paperspace ou RunPod.

Passo 1 — Prepare seu dataset

A preparação do dataset é onde a maioria das pessoas falha. Um modelo treinado com áudio barulhento, reverberante ou inconsistente soará barulhento, reverberante e inconsistente. O pipeline de limpeza padrão da comunidade usa o Ultimate Vocal Remover (UVR5 — github.com/Anjok07/ultimatevocalremovergui), uma ferramenta gratuita que separa vocais de instrumentais e remove reverb usando IA.

• ●Obtenha seu áudio: As melhores fontes são faixas vocais isoladas (use um removedor de vocais para extrair vocais de músicas), gravações de podcast, narração de audiolivros, clipes de entrevistas ou gravações diretas de microfone em uma sala silenciosa.
• ●Pipeline de limpeza: Remova instrumentais (UVR5 com modelo Kim Vocal 2 ou MDX-NET) → Remova reverb e eco (UVR5 VR-DeEchoDeReverb) → Extraia os vocais principais → Remova ruído residual. Não processe demais — cada passagem degrada ligeiramente a qualidade.
• ●Garanta que seja apenas um locutor: Remova quaisquer segmentos com vozes sobrepostas, conversas de fundo ou outros locutores.
• ●Inclua variedade: Diferentes pitches, emoções, velocidades de fala e registros vocais ajudam o modelo a generalizar. Datasets monótonos produzem modelos monótonos.
• ●Corte silêncio e sons não vocais: Remova pausas longas, tosses e sons não vocais. Mantenha a respiração natural — remover todas as respirações pode fazer o modelo soar robótico.
• ●NÃO corte palavras no meio: Mantenha as frases intactas para preservar os padrões de entonação natural.
• ●Caminhos de arquivo: Certifique-se de que o caminho da pasta do seu dataset não contenha espaços ou caracteres especiais — esta é uma causa comum de falhas de treinamento em todas as ferramentas RVC.

Passo 2 — Escolha sua ferramenta de treinamento

Três principais ferramentas de código aberto lidam com o treinamento RVC. Cada uma usa o mesmo dataset e produz o mesmo formato de modelo .pth — a diferença está na experiência do usuário.

• ●Applio — A ferramenta de treinamento RVC mais popular e ativamente desenvolvida. UI limpa, pré-processamento automatizado de dataset, integração com TensorBoard para monitorar curvas de perda e suporte para todos os principais métodos de extração de f0. Recomendado para a maioria dos usuários.
• ●Mangio-RVC / RVC-WebUI — O fork da comunidade do projeto RVC original. Roda através de uma interface web Gradio em seu navegador. Mais configuração manual, mas bem documentado. Boa alternativa se o Applio não funcionar em seu sistema.
• ●Notebooks do Google Colab — Treinamento baseado em navegador usando GPUs de nuvem gratuitas. Nenhuma GPU local necessária. Pesquise por "RVC training Colab" para notebooks da comunidade. Melhor para usuários sem uma GPU dedicada.

Passo 3 — Configure os parâmetros de treinamento

Entender esses parâmetros ajuda você a obter melhores resultados. Comece com os padrões recomendados e ajuste com base no que você ouve.

• ●Epochs (200-500): Uma epoch é uma passagem completa por seus dados de treinamento. Comece com 200-300 e avalie. Mais epochs podem melhorar a qualidade, mas o supertreinamento (over-training) causa artefatos robóticos. Não há um número mágico — seus ouvidos são o juiz.
• ●Batch Size (depende da VRAM): 6 GB VRAM → batch size 4-6. 8 GB VRAM → batch size 6-8. 12 GB+ VRAM → batch size 8-12. Tamanhos de lote maiores treinam mais rápido, mas usam mais memória. Se você receber erros de falta de memória CUDA, reduza o tamanho do lote.
• ●Taxa de Amostragem: 40kHz é o padrão da comunidade e funciona bem para a maioria das vozes. 48kHz captura um pouco mais de detalhes de alta frequência, mas requer mais computação. Use 40kHz, a menos que você tenha um motivo específico para ir mais alto.
• ●Frequência de Salvamento: Salve checkpoints a cada 10-50 epochs para que você possa testar versões intermediárias. Isso é crucial para encontrar o ponto ideal antes do supertreinamento.
• ●Versão do RVC: Sempre use v2 para novos modelos. A v2 usa vetores de características de 768 dimensões (vs 256 na v1), produzindo conversões mais precisas e com som natural.

Métodos de extração de F0 explicados

O método de extração de f0 (frequência fundamental) determina como o pitch é detectado em seu áudio de treinamento. Essa escolha afeta significativamente a qualidade do modelo.

• ●RMVPE (Recomendado) — Robust Multiscale Waveform-based Pitch Estimation. O padrão atual da comunidade. Rápido, lida bem com áudio ruidoso e produz um rastreamento de pitch confiável em todos os tipos de voz. Use este, a menos que tenha um motivo específico para não o fazer.
• ●Crepe — Maior precisão de pitch que o RMVPE, especialmente para vozes de canto e gravações limpas. Mais lento para processar. Melhor para gravações de estúdio de alta qualidade, onde a fidelidade máxima é importante.
• ●FCPE — Algoritmo rápido e moderno com alta precisão de pitch. Boa alternativa ao RMVPE quando a velocidade é importante. Um pouco menos robusto com áudio ruidoso.
• ●Híbrido (RMVPE + FCPE) — Algumas ferramentas de treinamento oferecem métodos combinados. Pode melhorar os resultados em casos extremos, mas adiciona tempo de processamento. Tente métodos únicos primeiro.

Passo 4 — Treine e monitore

Inicie o treinamento e monitore o progresso usando o TensorBoard (integrado no Applio) ou testando os checkpoints salvos. O treinamento geralmente leva de 1 a 4 horas em uma GPU moderna, dependendo do tamanho do dataset e do número de epochs. Observe a curva de perda — ela deve diminuir constantemente e depois se achatar. Quando ela se achata, o modelo aprendeu o que podia com os dados. Continuar além deste ponto arrisca o supertreinamento. Salve checkpoints regularmente e teste-os executando a inferência em um arquivo de áudio de amostra. Ouça a naturalidade, a clareza e se a saída realmente soa como a voz alvo. O melhor checkpoint raramente é o último — a maioria dos treinadores experientes encontra o ponto ideal em algum lugar entre a epoch 200 e 400.

Passo 5 — Gere o arquivo de índice

Após a conclusão do treinamento, gere o arquivo de índice FAISS. Este passo é muitas vezes esquecido, mas melhora significativamente a qualidade da saída. O arquivo de índice contém um banco de dados pesquisável de vetores de características do seu áudio de treinamento. Durante a inferência, o modelo usa este índice para recuperar padrões acústicos reais da voz alvo, reduzindo o "vazamento de timbre", onde a voz do locutor original vaza. No Applio, a geração do índice é um passo de um clique após o treinamento. Sempre inclua o arquivo .index junto com o modelo .pth ao compartilhar ou importar.

Passo 6 — Use seu modelo

Seu modelo treinado produz dois arquivos principais: o arquivo de modelo .pth (50-100 MB) e o arquivo .index. Para usá-los em tempo real, importe-os para um aplicativo de modificador de voz. O Echo Live aceita modelos no formato .onnx — converta seu arquivo .pth usando o conversor gratuito em voicechanger.live/tools/model-converter (baseado em navegador, sem upload). Para testes durante o treinamento, a maioria das ferramentas de treinamento inclui uma aba de inferência integrada onde você pode testar o modelo .pth diretamente sem conversão.

Solucionando problemas comuns

Se o seu modelo não soar bem, a causa é quase sempre um destes problemas:

• ●O modelo soa robótico ou metálico — Supertreinamento (over-training). Volte para um checkpoint anterior (tente a epoch 150-250). Se todos os checkpoints soarem robóticos, seu dataset provavelmente tem reverb ou ruído que precisa ser limpo.
• ●O modelo soa como o locutor original, não o alvo — O dataset é muito curto ou muito homogêneo. Adicione mais variedade (diferentes pitches, emoções) e garanta pelo menos 15 minutos de áudio limpo.
• ●O modelo soa abafado ou de baixa qualidade — O áudio de origem era de baixa taxa de bits ou supercomprimido. Sempre use WAV ou FLAC sem perdas. Verifique também se você não está processando demais com muitas passagens do UVR5.
• ●O treinamento trava com erro de falta de memória CUDA — Reduza o tamanho do lote (batch size). Se já estiver no mínimo, reduza a taxa de amostragem ou feche outros aplicativos que usam intensivamente a GPU.
• ●A perda de treinamento não está diminuindo — Verifique se o seu dataset não está cheio de silêncio ou áudio não vocal. Verifique se o formato do arquivo está correto (WAV/FLAC, mono, taxa de amostragem correta).
• ●O modelo funciona bem para algumas vozes, mas não para outras — A qualidade da conversão RVC depende da similaridade da faixa de pitch entre a voz de entrada e a alvo. Conversões de homem para homem e de mulher para mulher geralmente produzem os melhores resultados.