Yapay zeka ile ses klonlama nasıl yapılır

Yapay zeka ile ses klonlama, herhangi bir konuşmayı senin gibi ses çıkaracak şekilde yeniden oluşturabilen dijital bir ses modeli yaratır. Metinden sese (robotik ses üreten) teknolojisinin aksine, RVC (Retrieval-based Voice Conversion) kullanarak ses klonlama konuşmadan konuşmaya çalışır — sen doğal bir şekilde konuşursun ve yapay zeka, çıktıyı gerçek zamanlı olarak hedef sesle eşleşecek şekilde dönüştürür.

Bu teknoloji, ses kayıtlarını analiz ederek, tını, rezonans ve vokal doku gibi özellikleri çıkararak ve bu özellikleri yeniden üretebilen bir sinir ağı modeli oluşturarak çalışır. Model bir kez eğitildiğinde, canlı sesi gerçek zamanlı olarak işler — sen mikrofonuna konuşursun ve çıkan ses klonlanmış sese benzer.

Kayıt ekipmanı: Herhangi iyi bir mikrofon iş görür. Sessiz bir odada kullanılan bir USB condenser mikrofon (30-50$) mükemmel sonuçlar verir. Dizüstü bilgisayarların dahili mikrofonlarından kaçın — çok fazla gürültü yaparlar. 3-10 dakikalık net konuşma kayıtlarına ihtiyacın olacak.

Eğitim yazılımı: Applio (ücretsiz, açık kaynaklı), RVC modellerini eğitmek için standarttır. PC'nde yerel olarak çalışır ve en az 4GB VRAM'e sahip bir GPU (NVIDIA GTX 1650 veya daha iyisi) gerektirir. Eğitim, veri setinin boyutuna ve GPU'ya bağlı olarak 15-45 dakika sürer.

Ses değiştirici: Echo (voicechanger.live/download), eğittiğin modeli yükler ve gerçek zamanlı olarak çalıştırır. .onnx model dosyalarını kabul eder ve her şeyi yerel olarak işler — ses verilerin asla bilgisayarından dışarı çıkmaz.

Kendini doğal bir şekilde konuşurken 3-10 dakika kaydet. Bir kitaptan, makaleden veya haber metninden yüksek sesle oku — çeşitli kelimeleri ve sesleri kapsayan herhangi bir şey olur. Mikrofonla aranda sabit bir ses seviyesi ve mesafe (15-30 cm) hedefle. Modelin bu aşırılıkları yeniden üretmesini istemiyorsan fısıldamaktan, bağırmaktan veya dramatik vokal varyasyonlarından kaçın.

Kaydı tek bir WAV veya MP3 dosyası olarak kaydet. Birden fazla dosyan varsa, bunları birleştir. Eğitim yazılımı bunları otomatik olarak segmentlere ayıracaktır. Daha yüksek kaliteli kayıtlar, her zaman daha iyi modeller üretir — 30 saniyelik temiz bir ses kaydı, 5 dakikalık gürültülü bir ses kaydını her zaman yener.

Applio'yu aç ve yeni bir deney oluştur. Ses dosyanı yükle, eğitim epoch'larını 200-400'e ayarla (daha yüksek = daha doğru ama daha yavaş) ve f0 pitch çıkarma yöntemini seç (RMVPE şu anki en iyisi). Eğit'e tıkla ve bekle — tipik bir 5 dakikalık veri seti, bir GTX 3060'ta yaklaşık 20 dakikada eğitilir.

Eğitim tamamlandığında, bir .pth model dosyan olacak. Bu senin ses modelin. Gerçek zamanlı kullanım için Echo model dönüştürücü aracını (voicechanger.live/tools/model-converter) kullanarak .onnx formatına dönüştürebilirsin.

.onnx dosyasını uygulama penceresine sürükleyerek Echo'ya aktar. Model, dahili preset'lerin yanında ses kütüphanende görünür. Onu seç, ses dönüşümünü etkinleştir ve konuşmaya başla — mikrofon çıktın artık klonlanmış sesin.

Echo Live, işlenmiş sesi bir sanal ses kablosu (Windows'ta VB-Cable, macOS'te BlackHole) üzerinden yönlendirir, böylece herhangi bir uygulama (Discord, Zoom, OBS, oyunlar) klonlanmış sesini normal bir mikrofon gibi kullanabilir. İşlem tamamen yerel GPU'nda minimum gecikmeyle gerçekleşir.

Veri seti kalitesi, miktarından daha önemlidir. 3 dakikalık stüdyo kalitesinde bir ses kaydı, 10 dakikalık gürültülü kayıtlardan daha iyi bir model üretir. Sessiz bir odada kayıt yap, bir pop filter kullan ve mikrofon mesafeni sabit tut.

Eğitim epoch'ları: 200 epoch ile başla. Çıktıyı dinle — eğer iyi geliyorsa, dur. Ses boğuk veya robotik geliyorsa, 400 epoch'a çıkar. 600 epoch'un üzerine çıkmak nadiren kaliteyi artırır ve overfitting'e (modelin genel ses özelliklerini öğrenmek yerine tam kayıtlarını ezberlemesi) neden olabilir.

Pitch eşleştirme: Ses klonlama, kaynak ve hedef seslerin benzer pitch aralıklarında olduğunda en iyi sonucu verir. Erkekten erkeğe ve kadından kadına klonlar en doğal sonuçları üretir. Çapraz cinsiyet klonlama mümkündür ancak DSP zincirinde pitch shifting gerektirebilir.

Echo, her şeyi cihazında yerel olarak işler. Ses kayıtların ve eğitilmiş modellerin asla bilgisayarından ayrılmaz — buluta yükleme, sunucu işleme ve veri toplama yoktur. Bu, ses verilerini kendi sunucularında saklayan bulut tabanlı klonlama servislerinden temel olarak farklıdır.

Yalnızca kullanma iznin olan sesleri klonla. Başka birinin sesini izinsiz klonlamak ciddi etik ve yasal endişelere yol açar. Yapay zeka ses klonlama teknolojisi güçlüdür — yaratıcı projeler, içerik üretimi ve kişisel deneyler için sorumlu bir şekilde kullan.