RVCの学習とは？
RVC（Retrieval-based Voice Conversion）の学習とは、特定の声を再現するようにニューラルネットワークに教えることです。ターゲットとなる声のクリーンな音声サンプルを提供すると、モデルはその声の特徴（音色、響き、フォルマント構造、息遣い）を学習し、どんな入力音声でもその声にリアルタイムで変換できるようになります。学習済みモデルは学習音声を記憶するわけではありません。声のアイデンティティを学習し、元の話者の言葉、タイミング、感情、イントネーションを保持したまま、そのアイデンティティを新しい音声に適用します。
学習を始める前に必要なもの
学習には3つのものが必要です：クリーンな音声データ、学習環境、そして忍耐力です。データセットの品質は、モデルの品質を左右する最大の要因です。短くてもクリーンなデータセットは、長くてもノイズの多いデータセットに常に勝ります。
- ●10〜30分のクリーンで分離されたボーカル音声 — BGM、ノイズ、リバーブ、エコーなし。40分以上の多様な音声は自然さをさらに向上させることができますが、60分を超えると効果が薄れるため、それ以下に留めましょう。
- ●音声は一人の話者で、録音条件がかなり一貫している必要があります。
- ●ロスレス形式が望ましい：WAVまたはFLAC、44.1kHzまたは48kHzのサンプルレート、モノラルチャンネル。低ビットレートのMP3は避けてください。圧縮によるノイズがモデルに焼き付けられてしまいます。
- ●最低6GBのVRAMを持つGPU（CUDAサポートのためNVIDIAを推奨）。8GB以上のVRAMがあれば、快適なバッチサイズで学習できます。
- ●学習ソフトウェア：Applio（applio.org — 推奨、最も活発に開発されており、UIも最高）、Mangio-RVC、またはオリジナルのRVC WebUI。
- ●GPUがない場合：Google Colab（colab.research.google.com — T4 GPU付きの無料プランあり）、Kaggle、Paperspace、RunPodなどのクラウドサービスを利用しましょう。
ステップ1 — データセットを準備する
データセットの準備は、ほとんどの人がつまずくところです。ノイズが多い、響きすぎる、または一貫性のない音声で学習されたモデルは、ノイズが多く、響きすぎ、一貫性のない音になります。コミュニティ標準のクリーニングパイプラインでは、Ultimate Vocal Remover（UVR5 — github.com/Anjok07/ultimatevocalremovergui）という無料ツールを使用します。これはAIを使ってボーカルを楽器から分離し、リバーブを除去します。
- ●音声の入手元：最適なソースは、分離されたボーカルトラック（ボーカルリムーバーを使って曲からボーカルを抽出）、ポッドキャストの録音、オーディオブックのナレーション、インタビューのクリップ、または静かな部屋での直接マイク録音です。
- ●クリーニングパイプライン：楽器音の除去（UVR5とKim Vocal 2またはMDX-NETモデル）→ リバーブとエコーの除去（UVR5 VR-DeEchoDeReverb）→ メインボーカルの抽出 → 残留ノイズの除去。処理のしすぎには注意してください。各パスで品質がわずかに低下します。
- ●一人の話者のみにすること：声が重なっている部分、背景の雑談、他の話者の声はすべて削除してください。
- ●多様性を含めること：異なるピッチ、感情、話す速度、声域は、モデルの汎化能力を高めます。単調なデータセットは単調なモデルを生み出します。
- ●無音部分や非音声部分をトリミングする：長い間、咳、声以外の音は削除してください。自然な呼吸は残しておきましょう。すべての息継ぎを削除すると、モデルがロボットのように聞こえることがあります。
- ●単語の途中でカットしないこと：自然なイントネーションのパターンを保持するために、フレーズはそのままにしておきましょう。
- ●ファイルパス：データセットのフォルダパスにスペースや特殊文字が含まれていないことを確認してください。これはすべてのRVCツールで学習が失敗する一般的な原因です。
ステップ2 — 学習ツールを選ぶ
RVCの学習には、主に3つのオープンソースツールがあります。それぞれ同じデータセットを使い、同じ.pthモデル形式を生成しますが、ユーザー体験が異なります。
- ●Applio — 最も人気があり、活発に開発されているRVC学習ツールです。クリーンなUI、自動化されたデータセット前処理、損失曲線を監視するためのTensorBoard統合、およびすべての主要なf0抽出方法に対応しています。ほとんどのユーザーにおすすめです。
- ●Mangio-RVC / RVC-WebUI — オリジナルのRVCプロジェクトのコミュニティフォークです。ブラウザのGradioウェブインターフェースを通じて実行します。手動での設定が多いですが、ドキュメントが充実しています。Applioがシステムで動作しない場合の良い代替手段です。
- ●Google Colabノートブック — 無料のクラウドGPUを使用したブラウザベースの学習です。ローカルGPUは不要です。コミュニティのノートブックについては、「RVC training Colab」で検索してください。専用GPUを持っていないユーザーに最適です。
ステップ3 — 学習パラメータを設定する
これらのパラメータを理解することで、より良い結果を得ることができます。推奨されるデフォルト値から始め、聞こえ方に基づいて調整してください。
- ●エポック（200-500）：エポックは、学習データを1回完全に通過することです。200〜300から始めて評価してください。エポック数を増やすと品質が向上することがありますが、過学習はロボットのようなノイズを引き起こします。魔法の数字はありません。あなたの耳が判断基準です。
- ●バッチサイズ（VRAMに依存）：6GB VRAM → バッチサイズ4-6。8GB VRAM → バッチサイズ6-8。12GB+ VRAM → バッチサイズ8-12。バッチサイズが大きいほど学習は速くなりますが、より多くのメモリを使用します。CUDAのメモリ不足エラーが発生した場合は、バッチサイズを小さくしてください。
- ●サンプルレート：40kHzがコミュニティ標準であり、ほとんどの声でうまく機能します。48kHzはわずかに高周波数の詳細を捉えますが、より多くの計算が必要です。特別な理由がない限り、40kHzを使用してください。
- ●保存頻度：10〜50エポックごとにチェックポイントを保存し、中間バージョンをテストできるようにしてください。これは過学習する前のスイートスポットを見つけるために非常に重要です。
- ●RVCバージョン：新しいモデルには常にv2を使用してください。v2は768次元の特徴ベクトル（v1の256に対して）を使用し、より正確で自然な響きの変換を生み出します。
F0抽出方法の解説
f0（基本周波数）抽出方法は、学習音声からピッチをどのように検出するかを決定します。この選択はモデルの品質に大きく影響します。
- ●RMVPE（推奨） — Robust Multiscale Waveform-based Pitch Estimation。現在のコミュニティ標準です。高速で、ノイズの多い音声にもうまく対応し、すべての声のタイプで信頼性の高いピッチ追跡を行います。特別な理由がない限り、これを使用してください。
- ●Crepe — RMVPEよりもピッチ精度が高く、特に歌声やクリーンな録音に適しています。処理は遅くなります。最高の忠実度が求められる高品質なスタジオ録音に最適です。
- ●FCPE — 高速でモダンなアルゴリズムで、高いピッチ精度を誇ります。速度が重要な場合にRMVPEの良い代替となります。ノイズの多い音声にはやや劣ります。
- ●ハイブリッド（RMVPE + FCPE） — 一部の学習ツールは、組み合わせた方法を提供します。エッジケースで結果を改善することがありますが、処理時間が長くなります。まずは単一の方法を試してみてください。
ステップ4 — 学習と監視
学習を開始し、TensorBoard（Applioに統合）を使用するか、保存されたチェックポイントをテストして進行状況を監視します。学習は通常、データセットのサイズとエポック数に応じて、最新のGPUで1〜4時間かかります。損失曲線を見てください。それは着実に減少し、その後平坦になるはずです。平坦になったとき、モデルはデータから学習できることをすべて学習したことになります。この点を超えて続けると、過学習のリスクがあります。定期的にチェックポイントを保存し、サンプル音声ファイルで推論を実行してテストしてください。自然さ、明瞭さ、そして出力が実際にターゲットの声のように聞こえるかどうかを聴き取ります。最高のチェックポイントはめったに最後のものではありません。ほとんどの経験豊富なトレーナーは、エポック200から400の間のどこかにスイートスポットを見つけます。
ステップ5 — インデックスファイルを生成する
学習が完了したら、FAISSインデックスファイルを生成します。このステップは見過ごされがちですが、出力品質を大幅に向上させます。インデックスファイルには、学習音声からの特徴ベクトルの検索可能なデータベースが含まれています。推論中、モデルはこのインデックスを使用してターゲットの声から実際の音響パターンを取得し、元の話者の声が漏れ聞こえる「音色の漏れ」を減らします。Applioでは、インデックス生成は学習後のワンクリックステップです。共有またはインポートする際には、常に.pthモデルと一緒に.indexファイルを含めてください。
ステップ6 — モデルを使用する
学習したモデルは、.pthモデルファイル（50-100MB）と.indexファイルの2つの主要なファイルを生成します。これらをリアルタイムで使用するには、ボイスチェンジャーアプリケーションにインポートします。Echo Liveは.onnx形式のモデルを受け入れます。voicechanger.live/tools/model-converterにある無料のコンバーター（ブラウザベース、アップロード不要）を使用して.pthファイルを変換してください。学習中のテストには、ほとんどの学習ツールに、変換なしで.pthモデルを直接テストできる組み込みの推論タブが含まれています。
一般的な問題のトラブルシューティング
モデルが正しく聞こえない場合、原因はほとんど常にこれらの問題のいずれかです：
- ●モデルがロボットっぽく、金属的に聞こえる — 過学習です。以前のチェックポイント（エポック150-250を試してみてください）に戻してください。すべてのチェックポイントがロボットのように聞こえる場合、データセットにクリーニングが必要なリバーブやノイズが含まれている可能性があります。
- ●モデルがターゲットではなく、元の話者のように聞こえる — データセットが短すぎるか、均質すぎます。より多くの多様性（異なるピッチ、感情）を加え、少なくとも15分のクリーンな音声を確保してください。
- ●モデルがこもって聞こえる、または低品質 — ソース音声が低ビットレートだったか、過度に圧縮されていました。常にロスレスのWAVまたはFLACを使用してください。また、UVR5のパスを多用しすぎて過剰に処理していないか確認してください。
- ●学習がCUDAのメモリ不足でクラッシュする — バッチサイズを小さくしてください。すでに最小の場合は、サンプルレートを下げるか、他のGPUを多用するアプリケーションを閉じてください。
- ●学習損失が減少しない — データセットが無音や非音声音声でいっぱいになっていないか確認してください。ファイル形式が正しいこと（WAV/FLAC、モノラル、正しいサンプルレート）を確認してください。
- ●一部の声にはうまく機能するが、他の声には機能しない — RVCの変換品質は、入力とターゲットの声のピッチ範囲の類似性に依存します。男性から男性、女性から女性への変換が一般的に最高の結果を生み出します。