Jak wytrenować własny model głosu RVC

Czym jest trening RVC?

Trening RVC (Retrieval-based Voice Conversion) uczy sieć neuronową odtwarzania konkretnego głosu. Dostarczasz czyste próbki audio głosu docelowego, a model uczy się jego cech — barwy, rezonansu, struktury formantów, oddechu — aby móc konwertować dowolną mowę wejściową na ten głos w czasie rzeczywistym. Wytrenowany model nie zapamiętuje audio treningowego. Uczy się tożsamości głosu, a następnie stosuje tę tożsamość do nowej mowy, zachowując słowa, tempo, emocje i intonację oryginalnego mówcy.

Czego potrzebujesz przed treningiem

Trening wymaga trzech rzeczy: czystych danych audio, środowiska treningowego i cierpliwości. Jakość twojego zbioru danych jest najważniejszym czynnikiem wpływającym na jakość modelu — krótki, czysty zbiór danych zawsze pokona długi, zaszumiony.

• ●10-30 minut czystego, izolowanego audio wokalnego — bez muzyki w tle, bez szumów, bez pogłosu, bez echa. Ponad 40 minut zróżnicowanego audio może dodatkowo poprawić naturalność, ale pozostań poniżej 60 minut, aby uniknąć malejących zysków.
• ●Audio musi pochodzić od jednego mówcy i mieć w miarę spójne warunki nagrania.
• ●Preferowany format bezstratny: WAV lub FLAC, częstotliwość próbkowania 44.1kHz lub 48kHz, kanał mono. Unikaj plików MP3 o niskim bitrate — artefakty kompresji zostaną wbudowane w model.
• ●GPU z co najmniej 6 GB VRAM (zalecane NVIDIA dla wsparcia CUDA). 8 GB+ VRAM jest idealne dla komfortowych rozmiarów partii (batch sizes).
• ●Oprogramowanie do trenowania: Applio (applio.org — zalecane, najbardziej aktywny rozwój, najlepszy interfejs), Mangio-RVC lub oryginalny RVC WebUI.
• ●Nie masz GPU? Użyj usługi w chmurze: Google Colab (colab.research.google.com — darmowa warstwa z GPU T4), Kaggle, Paperspace lub RunPod.

Krok 1 — Przygotuj swój zbiór danych

Przygotowanie zbioru danych to miejsce, w którym większość ludzi ponosi porażkę. Model wytrenowany na zaszumionym, pogłosowym lub niespójnym audio będzie brzmiał zaszumiony, pogłosowy i niespójny. Standardowy w społeczności pipeline do czyszczenia wykorzystuje Ultimate Vocal Remover (UVR5 — github.com/Anjok07/ultimatevocalremovergui), darmowe narzędzie, które oddziela wokal od instrumentów i usuwa pogłos za pomocą AI.

• ●Znajdź swoje audio: Najlepsze źródła to izolowane ścieżki wokalne (użyj narzędzia do usuwania wokalu, aby wyodrębnić wokal z piosenek), nagrania podcastów, narracje audiobooków, fragmenty wywiadów lub bezpośrednie nagrania mikrofonowe w cichym pokoju.
• ●Pipeline czyszczenia: Usuń instrumenty (UVR5 z modelem Kim Vocal 2 lub MDX-NET) → Usuń pogłos i echo (UVR5 VR-DeEchoDeReverb) → Wyodrębnij główne wokale → Usuń resztkowy szum. Nie przetwarzaj nadmiernie — każde przejście nieznacznie pogarsza jakość.
• ●Upewnij się, że jest tylko jeden mówca: Usuń wszelkie segmenty z nakładającymi się głosami, rozmowami w tle lub innymi mówcami.
• ●Zadbaj o różnorodność: Różne wysokości tonu, emocje, prędkości mówienia i rejestry wokalne pomagają modelowi w generalizacji. Monotonne zbiory danych produkują monotonne modele.
• ●Przytnij ciszę i dźwięki niebędące mową: Usuń długie pauzy, kaszlnięcia i dźwięki niewokalne. Zachowaj naturalne oddechy — usunięcie wszystkich oddechów może sprawić, że model będzie brzmiał jak robot.
• ●NIE tnij słów w środku: Zachowaj całe frazy, aby zachować naturalne wzorce intonacji.
• ●Ścieżki plików: Upewnij się, że ścieżka do folderu ze zbiorem danych nie zawiera spacji ani znaków specjalnych — jest to częsta przyczyna niepowodzeń treningu we wszystkich narzędziach RVC.

Krok 2 — Wybierz swoje narzędzie do trenowania

Trzy główne narzędzia open-source obsługują trening RVC. Każde z nich przyjmuje ten sam zbiór danych i produkuje ten sam format modelu .pth — różnica tkwi w doświadczeniu użytkownika.

• ●Applio — Najpopularniejsze i najaktywniej rozwijane narzędzie do trenowania RVC. Czysty interfejs, zautomatyzowane przetwarzanie wstępne zbioru danych, integracja z TensorBoard do monitorowania krzywych straty i wsparcie dla wszystkich głównych metod ekstrakcji f0. Zalecane dla większości użytkowników.
• ●Mangio-RVC / RVC-WebUI — Fork społecznościowy oryginalnego projektu RVC. Działa przez interfejs webowy Gradio w twojej przeglądarce. Więcej ręcznej konfiguracji, ale dobrze udokumentowany. Dobra alternatywa, jeśli Applio nie działa na twoim systemie.
• ●Notatniki Google Colab — Trening w przeglądarce przy użyciu darmowych GPU w chmurze. Nie wymaga lokalnego GPU. Wyszukaj „RVC training Colab”, aby znaleźć notatniki społeczności. Najlepsze dla użytkowników bez dedykowanego GPU.

Krok 3 — Skonfiguruj parametry treningu

Zrozumienie tych parametrów pomaga uzyskać lepsze rezultaty. Zacznij od zalecanych wartości domyślnych i dostosowuj na podstawie tego, co słyszysz.

• ●Epoki (200-500): Epoka to jedno pełne przejście przez twoje dane treningowe. Zacznij od 200-300 i oceń. Więcej epok może poprawić jakość, ale przetrenowanie powoduje artefakty przypominające robota. Nie ma magicznej liczby — twoje uszy są sędzią.
• ●Rozmiar partii (Batch Size, zależy od VRAM): 6 GB VRAM → batch size 4-6. 8 GB VRAM → batch size 6-8. 12 GB+ VRAM → batch size 8-12. Większe partie trenują szybciej, ale zużywają więcej pamięci. Jeśli otrzymujesz błędy CUDA out-of-memory, zmniejsz rozmiar partii.
• ●Częstotliwość próbkowania: 40kHz to standard społeczności i działa dobrze dla większości głosów. 48kHz przechwytuje nieco więcej szczegółów o wysokiej częstotliwości, ale wymaga więcej mocy obliczeniowej. Używaj 40kHz, chyba że masz konkretny powód, aby iść wyżej.
• ●Częstotliwość zapisywania: Zapisuj checkpointy co 10-50 epok, aby móc testować wersje pośrednie. Jest to kluczowe do znalezienia idealnego momentu przed przetrenowaniem.
• ●Wersja RVC: Zawsze używaj v2 dla nowych modeli. v2 używa 768-wymiarowych wektorów cech (w porównaniu do 256 w v1), co daje dokładniejsze i bardziej naturalnie brzmiące konwersje.

Wyjaśnienie metod ekstrakcji F0

Metoda ekstrakcji f0 (częstotliwości podstawowej) określa, jak wykrywana jest wysokość tonu z twojego audio treningowego. Ten wybór znacząco wpływa na jakość modelu.

• ●RMVPE (Zalecane) — Robust Multiscale Waveform-based Pitch Estimation. Obecny standard społeczności. Szybki, dobrze radzi sobie z zaszumionym audio i zapewnia niezawodne śledzenie wysokości tonu dla wszystkich typów głosu. Używaj tego, chyba że masz konkretny powód, aby tego nie robić.
• ●Crepe — Wyższa dokładność wysokości tonu niż RMVPE, zwłaszcza dla głosów śpiewanych i czystych nagrań. Wolniejszy w przetwarzaniu. Najlepszy do wysokiej jakości nagrań studyjnych, gdzie liczy się maksymalna wierność.
• ●FCPE — Szybki, nowoczesny algorytm o wysokiej precyzji wysokości tonu. Dobra alternatywa dla RMVPE, gdy liczy się prędkość. Nieco mniej odporny na zaszumione audio.
• ●Hybrydowe (RMVPE + FCPE) — Niektóre narzędzia treningowe oferują połączone metody. Mogą poprawić wyniki w skrajnych przypadkach, ale wydłużają czas przetwarzania. Najpierw wypróbuj pojedyncze metody.

Krok 4 — Trenuj i monitoruj

Uruchom trening i monitoruj postępy za pomocą TensorBoard (zintegrowanego w Applio) lub testując zapisane checkpointy. Trening zazwyczaj trwa 1-4 godziny na nowoczesnym GPU, w zależności od rozmiaru zbioru danych i liczby epok. Obserwuj krzywą straty — powinna stale spadać, a następnie się spłaszczać. Gdy się spłaszczy, model nauczył się, co mógł, z danych. Kontynuowanie poza tym punktem grozi przetrenowaniem. Regularnie zapisuj checkpointy i testuj je, uruchamiając inferencję na próbce pliku audio. Słuchaj naturalności, klarowności i tego, czy wyjście faktycznie brzmi jak głos docelowy. Najlepszy checkpoint rzadko jest ostatnim — większość doświadczonych trenerów znajduje idealny punkt gdzieś między 200 a 400 epoką.

Krok 5 — Wygeneruj plik indeksu

Po zakończeniu treningu wygeneruj plik indeksu FAISS. Ten krok jest często pomijany, ale znacznie poprawia jakość wyjściową. Plik indeksu zawiera przeszukiwalną bazę danych wektorów cech z twojego audio treningowego. Podczas inferencji model używa tego indeksu do wyszukiwania prawdziwych wzorców akustycznych z głosu docelowego, redukując „przeciekanie barwy”, gdzie głos oryginalnego mówcy przebija się. W Applio generowanie indeksu to krok na jedno kliknięcie po treningu. Zawsze dołączaj plik .index obok modelu .pth podczas udostępniania lub importowania.

Krok 6 — Użyj swojego modelu

Twój wytrenowany model produkuje dwa kluczowe pliki: plik modelu .pth (50-100 MB) i plik .index. Aby używać ich w czasie rzeczywistym, zaimportuj je do aplikacji zmieniającej głos. Echo Live akceptuje modele w formacie .onnx — przekonwertuj swój plik .pth za pomocą darmowego konwertera na voicechanger.live/tools/model-converter (działa w przeglądarce, bez wysyłania plików). Do testowania podczas treningu, większość narzędzi treningowych zawiera wbudowaną zakładkę inferencji, gdzie można testować model .pth bezpośrednio bez konwersji.

Rozwiązywanie typowych problemów

Jeśli twój model nie brzmi dobrze, przyczyną jest prawie zawsze jeden z tych problemów:

• ●Model brzmi jak robot lub metalicznie — Przetrenowanie. Wróć do wcześniejszego checkpointu (spróbuj epoki 150-250). Jeśli wszystkie checkpointy brzmią jak robot, twój zbiór danych prawdopodobnie ma pogłos lub szum, który wymaga wyczyszczenia.
• ●Model brzmi jak oryginalny mówca, a nie docelowy — Zbiór danych jest za krótki lub zbyt jednorodny. Dodaj więcej różnorodności (różne wysokości tonu, emocje) i upewnij się, że masz co najmniej 15 minut czystego audio.
• ●Model brzmi stłumiony lub ma niską jakość — Źródłowe audio miało niski bitrate lub było nadmiernie skompresowane. Zawsze używaj bezstratnych formatów WAV lub FLAC. Sprawdź też, czy nie przetwarzasz nadmiernie zbyt wieloma przejściami UVR5.
• ●Trening zawiesza się z błędem CUDA out of memory — Zmniejsz rozmiar partii (batch size). Jeśli jest już na minimum, zmniejsz częstotliwość próbkowania lub zamknij inne aplikacje intensywnie wykorzystujące GPU.
• ●Strata treningowa nie maleje — Sprawdź, czy twój zbiór danych nie jest pełen ciszy lub dźwięków niebędących mową. Zweryfikuj, czy format pliku jest poprawny (WAV/FLAC, mono, poprawna częstotliwość próbkowania).
• ●Model działa dobrze dla niektórych głosów, ale nie dla innych — Jakość konwersji RVC zależy od podobieństwa zakresu wysokości tonu między głosem wejściowym a docelowym. Konwersje męsko-męskie i żeńsko-żeńskie generalnie dają najlepsze rezultaty.