Kendi RVC Ses Modelini Nasıl Eğitirsin

RVC Eğitimi Nedir?

RVC (Retrieval-based Voice Conversion) eğitimi, bir sinir ağına belirli bir sesi yeniden üretmeyi öğretir. Bir hedef sesin temiz ses örneklerini sağlarsın ve model o sesin özelliklerini — tını, rezonans, formant yapısı, nefeslilik — öğrenir, böylece herhangi bir giriş konuşmasını gerçek zamanlı olarak o sese dönüştürebilir. Eğitilmiş model, eğitim sesini ezberlemez. Sesin kimliğini öğrenir, ardından bu kimliği orijinal konuşmacının kelimelerini, zamanlamasını, duygusunu ve tonlamasını koruyarak yeni konuşmaya uygular.

Eğitimden Önce İhtiyacın Olanlar

Eğitim üç şey gerektirir: temiz ses verisi, bir eğitim ortamı ve sabır. Veri setinin kalitesi, model kalitesindeki en büyük tek faktördür — kısa, temiz bir veri seti her zaman uzun, gürültülü bir veri setini yener.

• ●10-30 dakikalık temiz, izole vokal ses — arka plan müziği yok, gürültü yok, reverb yok, yankı yok. 40+ dakikalık çeşitli sesler doğallığı daha da artırabilir, ancak azalan verimden kaçınmak için 60 dakikanın altında kal.
• ●Ses, makul derecede tutarlı kayıt koşullarına sahip tek bir konuşmacıdan olmalıdır.
• ●Kayıpsız format tercih edilir: WAV veya FLAC, 44.1kHz veya 48kHz örnekleme oranı, mono kanal. Düşük bit hızlı MP3'lerden kaçın — sıkıştırma artefaktları modele işlenir.
• ●En az 6 GB VRAM'e sahip bir GPU (CUDA desteği için NVIDIA önerilir). 8 GB+ VRAM, rahat batch boyutları için idealdir.
• ●Eğitim yazılımı: Applio (applio.org — önerilir, en aktif geliştirme, en iyi arayüz), Mangio-RVC veya orijinal RVC WebUI.
• ●GPU'n yok mu? Bir bulut hizmeti kullan: Google Colab (colab.research.google.com — T4 GPU'lu ücretsiz katman), Kaggle, Paperspace veya RunPod.

Adım 1 — Veri Setini Hazırla

Veri seti hazırlığı, çoğu insanın başarısız olduğu yerdir. Gürültülü, yankılı veya tutarsız sesle eğitilmiş bir model, gürültülü, yankılı ve tutarsız duyulacaktır. Topluluk standardı temizleme pipeline'ı, vokalleri enstrümanlardan ayıran ve AI kullanarak reverb'ü kaldıran ücretsiz bir araç olan Ultimate Vocal Remover'ı (UVR5 — github.com/Anjok07/ultimatevocalremovergui) kullanır.

• ●Sesini kaynakla: En iyi kaynaklar izole vokal parçaları (şarkılardan vokalleri çıkarmak için bir vokal ayırıcı kullan), podcast kayıtları, sesli kitap anlatımları, röportaj klipleri veya sessiz bir odada doğrudan mikrofon kayıtlarıdır.
• ●Temizleme pipeline'ı: Enstrümanları kaldır (Kim Vocal 2 veya MDX-NET modeli ile UVR5) → Reverb ve yankıyı kaldır (UVR5 VR-DeEchoDeReverb) → Ana vokalleri çıkar → Kalan gürültüyü kaldır. Aşırı işlem yapma — her geçiş kaliteyi biraz düşürür.
• ●Sadece tek konuşmacı olduğundan emin ol: Üst üste binen sesler, arka plan sohbeti veya diğer konuşmacıların olduğu bölümleri kaldır.
• ●Çeşitlilik ekle: Farklı pitch'ler, duygular, konuşma hızları ve vokal aralıkları modelin genelleme yapmasına yardımcı olur. Monoton veri setleri monoton modeller üretir.
• ●Sessizliği ve konuşma dışı sesleri kırp: Uzun duraklamaları, öksürükleri ve vokal olmayan sesleri kaldır. Doğal nefes almayı koru — tüm nefesleri kaldırmak modeli robotik yapabilir.
• ●Kelimeleri ortadan KESME: Doğal tonlama kalıplarını korumak için ifadeleri bütün tut.
• ●Dosya yolları: Veri seti klasör yolunun boşluk veya özel karakterler içermediğinden emin ol — bu, tüm RVC araçlarında yaygın bir eğitim hatası nedenidir.

Adım 2 — Eğitim Aracını Seç

Üç büyük açık kaynaklı araç RVC eğitimini yönetir. Her biri aynı veri setini alır ve aynı .pth model formatını üretir — fark kullanıcı deneyimindedir.

• ●Applio — En popüler ve aktif olarak geliştirilen RVC eğitim aracı. Temiz arayüz, otomatik veri seti ön işleme, kayıp eğrilerini izlemek için TensorBoard entegrasyonu ve tüm büyük f0 çıkarma yöntemleri için destek. Çoğu kullanıcı için önerilir.
• ●Mangio-RVC / RVC-WebUI — Orijinal RVC projesinin topluluk çatalı. Tarayıcında bir Gradio web arayüzü aracılığıyla çalışır. Daha fazla manuel yapılandırma ama iyi belgelenmiş. Applio sisteminde çalışmazsa iyi bir alternatif.
• ●Google Colab not defterleri — Ücretsiz bulut GPU'ları kullanarak tarayıcı tabanlı eğitim. Yerel GPU gerekmez. Topluluk not defterleri için "RVC training Colab" diye arat. Özel bir GPU'su olmayan kullanıcılar için en iyisi.

Adım 3 — Eğitim Parametrelerini Yapılandır

Bu parametreleri anlamak daha iyi sonuçlar almana yardımcı olur. Önerilen varsayılanlarla başla ve duyduklarına göre ayarla.

• ●Epoch (200-500): Bir epoch, eğitim verilerin üzerinden tam bir geçiştir. 200-300 ile başla ve değerlendir. Daha fazla epoch kaliteyi artırabilir, ancak aşırı eğitim (over-training) robotik artefaktlara neden olur. Sihirli bir sayı yok — yargıç senin kulakların.
• ●Batch Size (VRAM'e bağlı): 6 GB VRAM → batch size 4-6. 8 GB VRAM → batch size 6-8. 12 GB+ VRAM → batch size 8-12. Daha yüksek batch boyutları daha hızlı eğitir ancak daha fazla bellek kullanır. CUDA bellek yetersiz hatası alırsan, batch boyutunu azalt.
• ●Sample Rate: 40kHz topluluk standardıdır ve çoğu ses için iyi çalışır. 48kHz biraz daha yüksek frekans detayı yakalar ancak daha fazla hesaplama gerektirir. Daha yükseğe çıkmak için özel bir nedenin yoksa 40kHz kullan.
• ●Kaydetme Sıklığı: Ara sürümleri test edebilmek için her 10-50 epoch'ta bir kontrol noktaları kaydet. Bu, aşırı eğitimden önce en iyi noktayı bulmak için kritik öneme sahiptir.
• ●RVC Sürümü: Yeni modeller için her zaman v2 kullan. v2, 768 boyutlu özellik vektörleri kullanır (v1'deki 256'ya karşı), daha doğru ve doğal sesli dönüşümler üretir.

F0 Çıkarma Yöntemleri Açıklandı

f0 (temel frekans) çıkarma yöntemi, eğitim sesinden pitch'in nasıl algılanacağını belirler. Bu seçim, model kalitesini önemli ölçüde etkiler.

• ●RMVPE (Önerilen) — Robust Multiscale Waveform-based Pitch Estimation. Mevcut topluluk standardı. Hızlı, gürültülü sesle iyi başa çıkar ve tüm ses türlerinde güvenilir pitch takibi üretir. Özel bir nedenin yoksa bunu kullan.
• ●Crepe — RMVPE'den daha yüksek pitch doğruluğu, özellikle şarkı söyleyen sesler ve temiz kayıtlar için. İşlemesi daha yavaş. Maksimum sadakatin önemli olduğu yüksek kaliteli stüdyo kayıtları için en iyisi.
• ●FCPE — Yüksek pitch hassasiyetine sahip hızlı, modern bir algoritma. Hızın önemli olduğu durumlarda RMVPE'ye iyi bir alternatif. Gürültülü sesle biraz daha az sağlam.
• ●Hybrid (RMVPE + FCPE) — Bazı eğitim araçları birleşik yöntemler sunar. Uç durumlarda sonuçları iyileştirebilir ancak işlem süresi ekler. Önce tek yöntemleri dene.

Adım 4 — Eğit ve İzle

Eğitimi başlat ve ilerlemeyi TensorBoard (Applio'da entegre) kullanarak veya kaydedilen kontrol noktalarını test ederek izle. Eğitim, veri seti boyutuna ve epoch sayısına bağlı olarak modern bir GPU'da genellikle 1-4 saat sürer. Kayıp eğrisini izle — sürekli olarak azalmalı ve sonra düzleşmelidir. Düzleştiğinde, model veriden öğrenebileceğini öğrenmiştir. Bu noktanın ötesine devam etmek aşırı eğitim riski taşır. Kontrol noktalarını düzenli olarak kaydet ve bir örnek ses dosyası üzerinde çıkarım çalıştırarak test et. Doğallığı, netliği ve çıktının gerçekten hedef sese benzip benzemediğini dinle. En iyi kontrol noktası nadiren sonuncusudur — çoğu deneyimli eğitici en iyi noktayı 200 ile 400 epoch arasında bir yerde bulur.

Adım 5 — Index Dosyasını Oluştur

Eğitim tamamlandıktan sonra, FAISS index dosyasını oluştur. Bu adım genellikle göz ardı edilir ancak çıktı kalitesini önemli ölçüde artırır. Index dosyası, eğitim sesinden özellik vektörlerinin aranabilir bir veritabanını içerir. Çıkarım sırasında model, bu index'i kullanarak hedef sesten gerçek akustik desenleri geri getirir, bu da orijinal konuşmacının sesinin sızdığı "tını sızıntısını" azaltır. Applio'da, index oluşturma eğitimden sonra tek tıklamalık bir adımdır. Paylaşırken veya içe aktarırken .pth modelinin yanında her zaman .index dosyasını da ekle.

Adım 6 — Modelini Kullan

Eğitilmiş modelin iki anahtar dosya üretir: .pth model dosyası (50-100 MB) ve .index dosyası. Bunları gerçek zamanlı olarak kullanmak için bir ses değiştirici uygulamasına aktar. Echo Live, .onnx formatındaki modelleri kabul eder — .pth dosyanı voicechanger.live/tools/model-converter adresindeki ücretsiz dönüştürücüyü kullanarak dönüştür (tarayıcı tabanlı, yükleme yok). Eğitim sırasında test etmek için, çoğu eğitim aracı, .pth modelini doğrudan dönüştürmeden test edebileceğin dahili bir çıkarım sekmesi içerir.

Yaygın Sorunları Giderme

Modelin doğru duyulmuyorsa, nedeni neredeyse her zaman bu sorunlardan biridir:

• ●Model robotik veya metalik duyuluyor — Aşırı eğitim. Daha önceki bir kontrol noktasına geri dön (epoch 150-250'yi dene). Tüm kontrol noktaları robotik duyuluyorsa, veri setinde muhtemelen temizlenmesi gereken reverb veya gürültü vardır.
• ●Model hedef değil, orijinal konuşmacı gibi duyuluyor — Veri seti çok kısa veya çok homojen. Daha fazla çeşitlilik ekle (farklı pitch'ler, duygular) ve en az 15 dakikalık temiz ses olduğundan emin ol.
• ●Model boğuk veya düşük kaliteli duyuluyor — Kaynak ses düşük bit hızlı veya aşırı sıkıştırılmıştı. Her zaman kayıpsız WAV veya FLAC kullan. Ayrıca çok fazla UVR5 geçişiyle aşırı işlem yapmadığını kontrol et.
• ●Eğitim CUDA bellek yetersiz hatasıyla çöküyor — Batch boyutunu azalt. Zaten minimumdaysa, örnekleme oranını azalt veya diğer GPU'yu yoğun kullanan uygulamaları kapat.
• ●Eğitim kaybı azalmıyor — Veri setinin sessizlik veya konuşma dışı sesle dolu olmadığını kontrol et. Dosya formatının doğru olduğunu doğrula (WAV/FLAC, mono, doğru örnekleme oranı).
• ●Model bazı sesler için iyi çalışıyor ama diğerleri için çalışmıyor — RVC dönüşüm kalitesi, giriş ve hedef ses arasındaki pitch aralığı benzerliğine bağlıdır. Erkekten erkeğe ve kadından kadına dönüşümler genellikle en iyi sonuçları verir.