Wie du dein eigenes RVC-Stimmmodell trainierst

Was ist RVC-Training?

RVC (Retrieval-based Voice Conversion) Training bringt einem neuronalen Netzwerk bei, eine bestimmte Stimme zu reproduzieren. Du lieferst saubere Audio-Samples einer Zielstimme, und das Modell lernt die Eigenschaften dieser Stimme – Timbre, Resonanz, Formantstruktur, Hauchigkeit – damit es jede eingegebene Sprache in Echtzeit in diese Stimme umwandeln kann. Das trainierte Modell merkt sich nicht das Trainingsaudio. Es lernt die Identität der Stimme und wendet diese Identität dann auf neue Sprache an, während es die Worte, das Timing, die Emotionen und die Betonung des ursprünglichen Sprechers beibehält.

Was du vor dem Training brauchst

Das Training erfordert drei Dinge: saubere Audiodaten, eine Trainingsumgebung und Geduld. Die Qualität deines Datensatzes ist der mit Abstand größte Faktor für die Modellqualität – ein kurzer, sauberer Datensatz schlägt immer einen langen, verrauschten.

• ●10-30 Minuten sauberes, isoliertes Vokalaudio – keine Hintergrundmusik, kein Rauschen, kein Reverb, kein Echo. 40+ Minuten vielfältiges Audio können die Natürlichkeit weiter verbessern, aber bleibe unter 60 Minuten, um abnehmende Erträge zu vermeiden.
• ●Das Audio muss von einem einzigen Sprecher stammen und unter einigermaßen konsistenten Aufnahmebedingungen aufgenommen worden sein.
• ●Verlustfreies Format bevorzugt: WAV oder FLAC, 44,1 kHz oder 48 kHz Samplerate, Monokanal. Vermeide MP3s mit niedriger Bitrate – Kompressionsartefakte werden in das Modell eingebrannt.
• ●Eine GPU mit mindestens 6 GB VRAM (NVIDIA für CUDA-Unterstützung empfohlen). 8 GB+ VRAM sind ideal für komfortable Batch-Größen.
• ●Trainingssoftware: Applio (applio.org – empfohlen, aktivste Entwicklung, beste Benutzeroberfläche), Mangio-RVC oder die ursprüngliche RVC WebUI.
• ●Keine GPU? Nutze einen Cloud-Dienst: Google Colab (colab.research.google.com – kostenlose Stufe mit T4-GPU), Kaggle, Paperspace oder RunPod.

Schritt 1 – Bereite deinen Datensatz vor

Die Vorbereitung des Datensatzes ist der Punkt, an dem die meisten scheitern. Ein Modell, das auf verrauschtem, halligem oder inkonsistentem Audio trainiert wurde, wird verrauscht, hallig und inkonsistent klingen. Die von der Community standardmäßig verwendete Reinigungspipeline nutzt Ultimate Vocal Remover (UVR5 – github.com/Anjok07/ultimatevocalremovergui), ein kostenloses Tool, das Gesang von Instrumenten trennt und Reverb mit KI entfernt.

• ●Beschaffe dein Audio: Die besten Quellen sind isolierte Gesangsspuren (verwende einen Vocal Remover, um Gesang aus Liedern zu extrahieren), Podcast-Aufnahmen, Hörbuch-Erzählungen, Interview-Clips oder direkte Mikrofonaufnahmen in einem ruhigen Raum.
• ●Reinigungspipeline: Instrumente entfernen (UVR5 mit Kim Vocal 2 oder MDX-NET Modell) → Reverb und Echo entfernen (UVR5 VR-DeEchoDeReverb) → Hauptgesang extrahieren → Restrauschen entfernen. Übertreibe es nicht mit der Verarbeitung – jeder Durchgang verschlechtert die Qualität leicht.
• ●Stelle sicher, dass nur ein Sprecher zu hören ist: Entferne alle Segmente mit überlappenden Stimmen, Hintergrundgesprächen oder anderen Sprechern.
• ●Sorge für Vielfalt: Unterschiedliche Tonhöhen, Emotionen, Sprechgeschwindigkeiten und Stimmregister helfen dem Modell, zu verallgemeinern. Monotone Datensätze erzeugen monotone Modelle.
• ●Schneide Stille und Nicht-Sprachliches weg: Entferne lange Pausen, Husten und nicht-vokale Geräusche. Behalte natürliches Atmen bei – das Entfernen aller Atemzüge kann das Modell robotisch klingen lassen.
• ●Schneide Wörter NICHT mitten durch: Halte Phrasen intakt, um natürliche Betonungsmuster zu bewahren.
• ●Dateipfade: Stelle sicher, dass der Pfad deines Datensatzordners keine Leerzeichen oder Sonderzeichen enthält – dies ist eine häufige Ursache für Trainingsfehler bei allen RVC-Tools.

Schritt 2 – Wähle dein Trainingstool

Drei große Open-Source-Tools übernehmen das RVC-Training. Jedes nimmt denselben Datensatz und erzeugt dasselbe .pth-Modellformat – der Unterschied liegt in der Benutzererfahrung.

• ●Applio – Das beliebteste und am aktivsten entwickelte RVC-Trainingstool. Saubere Benutzeroberfläche, automatisierte Datensatzvorverarbeitung, TensorBoard-Integration zur Überwachung der Loss-Kurven und Unterstützung für alle wichtigen f0-Extraktionsmethoden. Empfohlen für die meisten Benutzer.
• ●Mangio-RVC / RVC-WebUI – Der Community-Fork des ursprünglichen RVC-Projekts. Läuft über eine Gradio-Weboberfläche in deinem Browser. Mehr manuelle Konfiguration, aber gut dokumentiert. Gute Alternative, wenn Applio auf deinem System nicht funktioniert.
• ●Google Colab Notebooks – Browserbasiertes Training mit kostenlosen Cloud-GPUs. Keine lokale GPU erforderlich. Suche nach „RVC training Colab“ für Community-Notebooks. Am besten für Benutzer ohne dedizierte GPU.

Schritt 3 – Konfiguriere die Trainingsparameter

Das Verständnis dieser Parameter hilft dir, bessere Ergebnisse zu erzielen. Beginne mit den empfohlenen Standardeinstellungen und passe sie an, basierend auf dem, was du hörst.

• ●Epochs (200-500): Eine Epoche ist ein vollständiger Durchlauf durch deine Trainingsdaten. Beginne mit 200-300 und bewerte. Mehr Epochen können die Qualität verbessern, aber Übertraining verursacht robotische Artefakte. Es gibt keine magische Zahl – deine Ohren sind der Richter.
• ●Batch Size (abhängig vom VRAM): 6 GB VRAM → Batch-Größe 4-6. 8 GB VRAM → Batch-Größe 6-8. 12 GB+ VRAM → Batch-Größe 8-12. Höhere Batch-Größen trainieren schneller, verbrauchen aber mehr Speicher. Wenn du CUDA-„Out-of-Memory“-Fehler bekommst, reduziere die Batch-Größe.
• ●Sample Rate: 40kHz ist der Community-Standard und funktioniert gut für die meisten Stimmen. 48kHz erfasst etwas mehr hochfrequente Details, erfordert aber mehr Rechenleistung. Verwende 40kHz, es sei denn, du hast einen bestimmten Grund, höher zu gehen.
• ●Save Frequency: Speichere Checkpoints alle 10-50 Epochen, damit du Zwischenversionen testen kannst. Dies ist entscheidend, um den Sweet Spot vor dem Übertraining zu finden.
• ●RVC Version: Verwende immer v2 für neue Modelle. v2 verwendet 768-dimensionale Feature-Vektoren (vs. 256 in v1), was zu genaueren und natürlicher klingenden Konvertierungen führt.

F0-Extraktionsmethoden erklärt

Die f0 (Grundfrequenz)-Extraktionsmethode bestimmt, wie die Tonhöhe aus deinem Trainingsaudio erkannt wird. Diese Wahl beeinflusst die Modellqualität erheblich.

• ●RMVPE (Empfohlen) – Robust Multiscale Waveform-based Pitch Estimation. Der aktuelle Community-Standard. Schnell, kommt gut mit verrauschtem Audio zurecht und liefert zuverlässiges Pitch-Tracking für alle Stimmtypen. Verwende dies, es sei denn, du hast einen bestimmten Grund, es nicht zu tun.
• ●Crepe – Höhere Tonhöhengenauigkeit als RMVPE, besonders für Singstimmen und saubere Aufnahmen. Langsamer in der Verarbeitung. Am besten für hochwertige Studioaufnahmen, bei denen maximale Wiedergabetreue zählt.
• ●FCPE – Schneller, moderner Algorithmus mit hoher Tonhöhenpräzision. Gute Alternative zu RMVPE, wenn Geschwindigkeit wichtig ist. Etwas weniger robust bei verrauschtem Audio.
• ●Hybrid (RMVPE + FCPE) – Einige Trainingstools bieten kombinierte Methoden an. Kann die Ergebnisse in Grenzfällen verbessern, erhöht aber die Verarbeitungszeit. Probiere zuerst einzelne Methoden aus.

Schritt 4 – Trainieren und Überwachen

Starte das Training und überwache den Fortschritt mit TensorBoard (in Applio integriert) oder durch Testen gespeicherter Checkpoints. Das Training dauert typischerweise 1-4 Stunden auf einer modernen GPU, abhängig von der Größe des Datensatzes und der Anzahl der Epochen. Beobachte die Loss-Kurve – sie sollte stetig abnehmen und dann abflachen. Wenn sie abflacht, hat das Modell gelernt, was es aus den Daten lernen konnte. Darüber hinaus weiterzumachen, birgt das Risiko des Übertrainings. Speichere regelmäßig Checkpoints und teste sie, indem du eine Inferenz auf einer Beispiel-Audiodatei durchführst. Achte auf Natürlichkeit, Klarheit und ob die Ausgabe tatsächlich wie die Zielstimme klingt. Der beste Checkpoint ist selten der letzte – die meisten erfahrenen Trainer finden den Sweet Spot irgendwo zwischen Epoche 200 und 400.

Schritt 5 – Generiere die Index-Datei

Nach Abschluss des Trainings generiere die FAISS-Index-Datei. Dieser Schritt wird oft übersehen, verbessert aber die Ausgabequalität erheblich. Die Index-Datei enthält eine durchsuchbare Datenbank von Feature-Vektoren aus deinem Trainingsaudio. Während der Inferenz verwendet das Modell diesen Index, um echte akustische Muster aus der Zielstimme abzurufen, was das „Timbre Leakage“ reduziert, bei dem die Stimme des ursprünglichen Sprechers durchscheint. In Applio ist die Indexgenerierung ein Ein-Klick-Schritt nach dem Training. Füge die .index-Datei immer neben dem .pth-Modell hinzu, wenn du es teilst oder importierst.

Schritt 6 – Nutze dein Modell

Dein trainiertes Modell erzeugt zwei wichtige Dateien: die .pth-Modelldatei (50-100 MB) und die .index-Datei. Um sie in Echtzeit zu verwenden, importiere sie in eine Voice-Changer-Anwendung. Echo Live akzeptiert Modelle im .onnx-Format – konvertiere deine .pth-Datei mit dem kostenlosen Konverter unter voicechanger.live/tools/model-converter (browserbasiert, kein Upload). Zum Testen während des Trainings enthalten die meisten Trainingstools einen integrierten Inferenz-Tab, in dem du das .pth-Modell direkt ohne Konvertierung testen kannst.

Fehlerbehebung bei häufigen Problemen

Wenn dein Modell nicht richtig klingt, ist die Ursache fast immer eines dieser Probleme:

• ●Modell klingt robotisch oder metallisch – Übertraining. Gehe zu einem früheren Checkpoint zurück (versuche Epoche 150-250). Wenn alle Checkpoints robotisch klingen, enthält dein Datensatz wahrscheinlich Hall oder Rauschen, das gereinigt werden muss.
• ●Modell klingt wie der ursprüngliche Sprecher, nicht wie das Ziel – Der Datensatz ist zu kurz oder zu homogen. Füge mehr Vielfalt hinzu (unterschiedliche Tonhöhen, Emotionen) und stelle sicher, dass du mindestens 15 Minuten sauberes Audio hast.
• ●Modell klingt gedämpft oder von geringer Qualität – Das Quellaudio hatte eine niedrige Bitrate oder war überkomprimiert. Verwende immer verlustfreies WAV oder FLAC. Überprüfe auch, ob du nicht mit zu vielen UVR5-Durchgängen überbearbeitest.
• ●Training stürzt mit CUDA-„Out-of-Memory“-Fehler ab – Reduziere die Batch-Größe. Wenn bereits auf Minimum, reduziere die Samplerate oder schließe andere GPU-intensive Anwendungen.
• ●Trainings-Loss nimmt nicht ab – Überprüfe, ob dein Datensatz nicht voller Stille oder Nicht-Sprach-Audio ist. Überprüfe, ob das Dateiformat korrekt ist (WAV/FLAC, mono, korrekte Samplerate).
• ●Modell funktioniert gut für einige Stimmen, aber nicht für andere – Die Qualität der RVC-Konvertierung hängt von der Ähnlichkeit des Tonhöhenbereichs zwischen der Eingabe- und der Zielstimme ab. Mann-zu-Mann- und Frau-zu-Frau-Konvertierungen liefern im Allgemeinen die besten Ergebnisse.