完整æµç¨‹â€”—從零到 AI 語音
在 Echo ä¸ä½¿ç”¨ç¤¾ç¾¤ AI 語音需è¦äº”個æ¥é©Ÿã€‚䏋颿œƒè©³ç´°ä»‹ç´¹æ¯ä¸€æ¥ï¼Œä½†é€™è£¡å…ˆçµ¦å‡ºä¸€å€‹æ¦‚è¦½ï¼Œè®“ä½ åœ¨é–‹å§‹å‰å¿ƒè£¡æœ‰æ•¸ã€‚
- ●æ¥é©Ÿ 1 — 在 Hugging Face 或 AI Hub Discord 上尋找語音模型。社群模型å¯å…費下載。
- ●æ¥é©Ÿ 2 — 下載 .pth æª”æ¡ˆï¼ˆä»¥åŠ .index 檔案,如果有的話)。這是 RVC ç¤¾ç¾¤ä½¿ç”¨çš„åŽŸå§‹æ¨¡åž‹æ ¼å¼ã€‚
- ●æ¥é©Ÿ 3 — 使用 voicechanger.live/tools/model-converter 上的å…è²»ç€è¦½å™¨è½‰æ›å™¨å°‡ .pth 檔案轉æ›ç‚º .onnx æ ¼å¼ã€‚這åªéœ€å¹¾ç§’é˜ï¼Œä¸”çµ•ä¸æœƒä¸Šå‚³ä½ 的檔案。
- ●æ¥é©Ÿ 4 — å°‡ .onnx 檔案匯入 Echo。打開 Echo → 語音庫 → 匯入 → 鏿“‡ä½ çš„ .onnx 檔案。
- ●æ¥é©Ÿ 5 — 鏿“‡èªžéŸ³ï¼Œé»žæ“Šã€Œé–‹å§‹ã€ï¼Œç„¶å¾Œèªªè©±ã€‚ä½ çš„è²éŸ³æœƒé€éŽä»»ä½•ä½¿ç”¨ä½ éº¥å…‹é¢¨çš„æ‡‰ç”¨ç¨‹å¼å³æ™‚轉æ›ã€‚
了解檔案類型
RVC 語音模型涉åŠä¸‰ç¨®æª”æ¡ˆé¡žåž‹ã€‚ä½ åœ¨éŽç¨‹ä¸æœƒé‡åˆ°é€™ä¸‰ç¨®ï¼Œæ‰€ä»¥äº†è§£å®ƒå€‘å„自的作用å¯ä»¥é¿å…混淆。
- ●.pth (PyTorch 模型) — RVC ç¤¾ç¾¤ä½¿ç”¨çš„æ¨™æº–æ ¼å¼ã€‚é€™å°±æ˜¯ä½ å¾ž Hugging Face 下載的檔案。一個 .pth 檔案通常為 50–100 MB,包å«äº†å®šç¾©ç›®æ¨™è²éŸ³çš„å·²è¨“ç·´ç¥žç¶“ç¶²è·¯ã€‚ä½ ä¸èƒ½ç›´æŽ¥åœ¨ Echo ä¸ä½¿ç”¨ .pth 檔案——它們需è¦å…ˆè½‰æ›æˆ .onnx。
- ●.index (FAISS 索引) — 一個å¯é¸çš„附屬檔案,é€éŽåƒè€ƒåŽŸå§‹è¨“ç·´éŸ³è¨Šä¸çš„真實è²å¸æ¨£æœ¬ä¾†æé«˜èªžéŸ³å“è³ªã€‚å°æ–¼åœ¨ Echo ä¸é€²è¡Œå³æ™‚變è²ï¼Œ.index æª”æ¡ˆä¸æ˜¯å¿…需的——Echo çš„ ONNX æµç¨‹å¯ä»¥åœ¨æ²’有它的情æ³ä¸‹è™•ç†è½‰æ›ã€‚ç„¶è€Œï¼Œå¦‚æžœä½ ä½¿ç”¨å…¶ä»– RVC 工具進行離線轉æ›ï¼ˆæŒæ›²ç¿»å”±ã€é…音),.index 檔案會帶來明顯的å“質差異。如果有的話,務必下載它。
- ●.onnx (Open Neural Network Exchange) — Echo ä½¿ç”¨çš„å„ªåŒ–æ ¼å¼ã€‚å°‡ .pth 轉æ›ç‚º .onnx 會產生相åŒçš„è²éŸ³ï¼Œä½†æ ¼å¼å¯ä»¥åœ¨æ²’有 Python 或 PyTorch 的情æ³ä¸‹åŽŸç”Ÿé‹è¡Œâ€”—這æ„å‘³è‘—æ›´å¿«çš„æŽ¨è«–ã€æ›´ä½Žçš„記憶體佔用,且沒有沉é‡çš„ä¾è³´ã€‚è½‰æ›æ˜¯å…費的,åªéœ€å¹¾ç§’é˜ã€‚
æ¥é©Ÿ 1 — 去哪裡找語音模型
RVC 社群已經製作了數åƒå€‹èªžéŸ³æ¨¡åž‹ï¼Œæ¶µè“‹äº†è§’色ã€å人ã€åŽŸå‰µè²éŸ³å’Œè‡ªè¨‚創作。å“質差異巨大——一個在乾淨音訊上訓練的模型è½èµ·ä¾†ä»¤äººä¿¡æœï¼Œè€Œä¸€å€‹è¨“ç·´ä¸ä½³çš„æ¨¡åž‹è½èµ·ä¾†åƒæ©Ÿå™¨äººã€‚以下是主è¦ä¾†æºã€‚
- ●Hugging Face — 最大的專門 RVC 模型儲å˜åº«ã€‚æ¯å€‹æ¨¡åž‹éƒ½æœ‰è©•分ã€ä¸‹è¼‰æ¬¡æ•¸ã€éŸ³è¨Šé 覽和元數據(模型版本ã€è¨“練輪數ã€å–樣率)。從這裡開始。按角色å稱或è²éŸ³é¡žåž‹æœç´¢ã€‚
- ●Hugging Face — 許多高å“質的 RVC 模型都託管在 Hugging Face 上,特別是那些èªçœŸè¨˜éŒ„其訓練éŽç¨‹çš„創作者。æœç´¢ã€Œ[角色å稱] RVCã€æˆ–「RVC v2 modelã€ã€‚é€™è£¡çš„æ¨¡åž‹é€šå¸¸åŒæ™‚åŒ…å« .pth å’Œ .index 檔案。
- ●AI Hub Discord — 最大的 RVC 社群 Discord 伺æœå™¨ï¼Œæœ‰æ´»èºçš„æ¨¡åž‹åˆ†äº«é »é“。最é©åˆå°‹æ‰¾å…¬å…±å¹³å°ä¸Šæ²’有的利基或自訂模型,或請求特定è²éŸ³ã€‚å¯é€éŽ discord.gg/aihub åŠ å…¥ã€‚
- ●Reddit (r/RVC) — 模型推薦ã€å“è³ªè©•è«–å’Œç¤¾ç¾¤å¯©æ ¸çš„å»ºè°ã€‚é©åˆç™¼ç¾å“ªäº›æ¨¡åž‹è¢«èªç‚ºæ˜¯ç‰¹å®šè§’è‰²çš„æœ€ä½³é¸æ“‡ã€‚
æ¥é©Ÿ 2 — 如何挑é¸ä¸€å€‹å¥½æ¨¡åž‹
ä¸¦éžæ‰€æœ‰æ¨¡åž‹éƒ½å€¼å¾—下載。一個訓練良好和訓練ä¸ä½³çš„æ¨¡åž‹ä¹‹é–“的差異是巨大的。以下是如何辨別好模型的方法。
- ●è½éŸ³è¨Šé 覽——在 Hugging Face 上,許多模型都有音訊示範。一個 5 ç§’çš„é 覽比任何æè¿°éƒ½æ›´èƒ½èªªæ˜Žå•題。如果它在é 覽ä¸è½èµ·ä¾†ä¸éŒ¯ï¼Œé‚£éº¼åœ¨ Echo ä¸ä¹Ÿæœƒè½èµ·ä¾†ä¸éŒ¯ã€‚
- ●檢查訓練數據時長——在 15–40 分é˜ä¹¾æ·¨éŸ³è¨Šä¸Šè¨“練的模型通常è½èµ·ä¾†æœ€å¥½ã€‚å°‘æ–¼ 5 分é˜çš„往往è½èµ·ä¾†å–®è–„或普通。
- ●尋找 v2 模型——RVC v2 模型使用 768 ç¶çš„特徵å‘é‡ï¼Œè½èµ·ä¾†æ¯” v1(256 ç¶ï¼‰æ›´è‡ªç„¶ã€‚å‹™å¿…å„ªå…ˆé¸æ“‡ v2。
- ●閱讀æè¿°â€”â€”å¥½çš„å‰µä½œè€…æœƒè¨˜éŒ„ä»–å€‘çš„åƒæ•¸ã€‚一個æè¿°ç‚ºã€Œåœ¨ 25 分é˜ä¹¾æ·¨äººè²ä¸Šè¨“練,300 輪,RMVPE,40kHzã€çš„æ¨¡åž‹æ¯”沒有æè¿°çš„æ›´å€¼å¾—信賴。
- ●檢查下載次數和評分——在 Hugging Face ä¸Šï¼Œå—æ¡è¿Žä¸”評分高的模型已經éŽç¤¾ç¾¤é©—è‰ã€‚在 Discord 上,å¯ä»¥åœ¨æ¨¡åž‹åˆ†äº«é »é“ä¸å°‹æ±‚推薦。
- ●檢查是å¦åŒ…å« .index 檔案——帶有 .index 檔案的模型通常å“è³ªæ›´å¥½ï¼Œç‰¹åˆ¥æ˜¯å°æ–¼é›¢ç·šä½¿ç”¨ã€‚å³ä½¿ä½ 在 Echo ä¸ä¸ä½¿ç”¨è©²æª”案,這也是一個很好的å“質信號。
æ¥é©Ÿ 3 — å°‡ .pth 轉æ›ç‚º .onnx
Echo 使用 .onnx æ ¼å¼çš„èªžéŸ³æ¨¡åž‹â€”â€”å®ƒæ›´å¿«ã€æ›´è¼•é‡ï¼Œä¸”ä¸éœ€è¦ Python。從社群下載 .pth æ¨¡åž‹å¾Œï¼Œä½ éœ€è¦å°‡å…¶è½‰æ›ä¸€æ¬¡ã€‚這是å…費的,åªéœ€å¹¾ç§’é˜ã€‚
- ●在ç€è¦½å™¨ä¸å‰å¾€ voicechanger.live/tools/model-converter。
- ●鏿“‡ä½ 下載的 .pth 檔案。該檔案永é 䏿œƒé›¢é–‹ä½ 的電腦——轉æ›å®Œå…¨åœ¨ä½ çš„ç€è¦½å™¨ä¸é€²è¡Œã€‚
- ●鏿“‡æ¨¡åž‹ç‰ˆæœ¬ï¼ˆv1 或 v2ï¼‰ã€‚å¦‚æžœä½ ä¸ç¢ºå®šï¼Œå…ˆè©¦è©¦ v2——大多數ç¾ä»£æ¨¡åž‹éƒ½æ˜¯ v2。
- ●點擊「轉æ›ã€ä¸¦ä¸‹è¼‰ç”Ÿæˆçš„ .onnx 檔案。
- ●輸出的語音å“質與原始 .pth 相åŒâ€”â€”åªæœ‰æ ¼å¼æ”¹è®Šäº†ã€‚
æ¥é©Ÿ 4 — 匯入 Echo
準備好 .onnx 檔案後,匯入 Echo å¤§ç´„éœ€è¦ 10 ç§’é˜ã€‚
- ●打開 Echo 並å‰å¾€èªžéŸ³åº«ï¼ˆå´é‚Šæ¬„ä¸çš„語音分é )。
- ●é»žæ“Šåº«é ‚éƒ¨çš„ã€ŒåŒ¯å…¥ã€æŒ‰éˆ•。
- ●å¾žä½ å„²å˜çš„åœ°æ–¹é¸æ“‡ä½ çš„ .onnx 檔案。
- ●語音會立å³å‡ºç¾åœ¨ä½ 的庫ä¸â€”â€”ç„¡éœ€é‡æ–°å•Ÿå‹•。
- ●ä½ å¯ä»¥åŒ¯å…¥çš„æ¨¡åž‹æ•¸é‡æ²’有é™åˆ¶ã€‚想匯入多少就匯入多少。
æ¥é©Ÿ 5 — é–‹å§‹ä½¿ç”¨ä½ çš„èªžéŸ³
åŒ¯å…¥å¾Œï¼Œå¾žä½ çš„åº«ä¸é¸æ“‡èªžéŸ³ä¸¦é»žæ“Šã€Œé–‹å§‹ã€ã€‚Echo 會擷å–ä½ çš„éº¥å…‹é¢¨è¼¸å…¥ï¼Œé€éŽ AI æ¨¡åž‹å³æ™‚é‹è¡Œï¼Œä¸¦é€éŽè™›æ“¬éŸ³è¨Šç·šè¼¸å‡ºè½‰æ›å¾Œçš„è²éŸ³ã€‚任何使用麥克風的應用程å¼â€”—Discordã€éŠæˆ²ã€OBSã€Zoom——都å¯ä»¥é€éŽé¸æ“‡è™›æ“¬éŸ³è¨Šç·šä½œç‚ºå…¶è¼¸å…¥è£ç½®ä¾†ä½¿ç”¨è½‰æ›å¾Œçš„è²éŸ³ã€‚
- ●音高å移——如果è²éŸ³è½èµ·ä¾†å¤ªé«˜æˆ–太低,請在 Echo ä¸èª¿æ•´éŸ³é«˜åç§»ã€‚å°æ–¼ç”·è²è½‰å¥³è²ï¼Œè©¦è©¦ +12ã€‚å°æ–¼å¥³è²è½‰ç”·è²ï¼Œè©¦è©¦ -12ã€‚ç„¶å¾Œæ ¹æ“šè½èµ·ä¾†è‡ªç„¶çš„æ„Ÿè¦ºé€²è¡Œå¾®èª¿ã€‚
- ●GPU åŠ é€Ÿâ€”â€”å•Ÿç”¨ GPU 模å¼ä»¥ç²å¾—最低延é²ã€‚Echo æ”¯æ´ NVIDIA (CUDA)ã€AMD/Intel (DirectML) å’Œ Apple Silicon (CoreML)。
- ●虛擬音訊線——確ä¿å·²å®‰è£ VB-Cable (Windows) 或 BlackHole (macOS) 並在 Echo ä¸é¸æ“‡ç‚ºè¼¸å‡ºè£ç½®ã€‚然後在 Discordã€OBS æˆ–ä½ çš„éŠæˆ²ä¸å°‡å…¶é¸ç‚ºéº¥å…‹é¢¨ã€‚
關於 .index 檔案
ä½ æœƒåœ¨è¨±å¤š .pth 下載æ—邊看到 .index 檔案。以下是它們何時é‡è¦ä»¥åŠä½•時å¯ä»¥å¿½ç•¥å®ƒå€‘的確切說明。
- ●å°æ–¼åœ¨ Echo ä¸é€²è¡Œå³æ™‚變è²â€”—.index æª”æ¡ˆä¸æ˜¯å¿…需的。Echo çš„ ONNX æµç¨‹ç„¡éœ€ FAISS 索引å³å¯å®Œæˆå®Œæ•´çš„語音轉æ›ã€‚æ²’æœ‰å®ƒï¼Œä½ çš„è²éŸ³è½èµ·ä¾†ä¹Ÿæœƒå¾ˆæ£’。
- ●å°æ–¼é›¢ç·šèªžéŸ³è½‰æ›ï¼ˆæŒæ›²ç¿»å”±ã€é…音)——.index æª”æ¡ˆå¾ˆæœ‰ç”¨ã€‚åƒ w-okada å’Œ Applio é€™æ¨£çš„å·¥å…·åœ¨æŽ¨è«–æœŸé–“ä½¿ç”¨ç´¢å¼•ä¾†å¾žè¨“ç·´æ•¸æ“šä¸æª¢ç´¢çœŸå¯¦çš„è²å¸ç´°ç¯€ï¼Œé€™å¯ä»¥æ¸›å°‘瑕疵並æé«˜è¼ƒé•·éŸ³è¨Šçš„ä¿çœŸåº¦ã€‚
- ●å°æ–¼æ¨¡åž‹å“質評估——一個附帶 .index 檔案的模型通常å“質更高。這æ„味著創作者多花了這一æ¥ä¾†ç”Ÿæˆç´¢å¼•,這與更好的整體訓練實è¸ç›¸é—œã€‚
- ●儲å˜â€”—.index 檔案通常為 10–50 MBã€‚å¦‚æžœæœ‰çš„è©±å°±ä¸‹è¼‰å®ƒå€‘ï¼Œä¸¦å°‡å®ƒå€‘èˆ‡ä½ çš„ .pth 檔案放在一起,以備將來想使用離線工具時使用。
疑難排解
如果匯入後è²éŸ³è½èµ·ä¾†ä¸å°ï¼Œå•題幾乎總是以下之一。大多數å•題無需尋找新模型å³å¯è§£æ±ºã€‚
- ●è²éŸ³è½èµ·ä¾†åƒæ©Ÿå™¨äººæˆ–有金屬感——模型å¯èƒ½éŽåº¦è¨“練了。嘗試åŒä¸€è§’色的ä¸åŒæ¨¡åž‹ï¼Œæˆ–尋找訓練輪數較少的模型。
- ●音高è½èµ·ä¾†ä¸å°â€”—在 Echo ä¸èª¿æ•´éŸ³é«˜åç§»ã€‚ç”·è½‰å¥³é€šå¸¸éœ€è¦ +12ï¼Œå¥³è½‰ç”·éœ€è¦ -12。在該範åœå…§é€²è¡Œå¯¦é©—。
- ●è²éŸ³è½èµ·ä¾†å®Œå…¨ä¸åƒç›®æ¨™â€”â€”ä½ å¯èƒ½åœ¨ v2 æµç¨‹ä¸ä½¿ç”¨äº† v1 模型,å之亦然。在模型轉æ›å™¨ä¸é¸æ“‡æ£ç¢ºçš„ç‰ˆæœ¬é‡æ–°è½‰æ›ã€‚
- ●輸出è²éŸ³è½èµ·ä¾†å¾ˆæ‚¶â€”—模型å¯èƒ½æ˜¯åœ¨ä½Žå“è³ªéŸ³è¨Šä¸Šè¨“ç·´çš„ã€‚å°‹æ‰¾åœ¨æ›´ä¹¾æ·¨çš„æºææ–™ä¸Šè¨“ç·´çš„ä¸åŒæ¨¡åž‹ã€‚
- ●出ç¾çˆ†éŸ³æˆ–噼啪è²â€”—這通常是音訊æµç¨‹å•é¡Œï¼Œè€Œä¸æ˜¯æ¨¡åž‹å•題。在 Echo è¨å®šä¸å¢žåŠ å€å¡Šå¤§å°ï¼Œæˆ–æª¢æŸ¥ä½ çš„ GPU 是å¦éŽè¼‰ã€‚
- ●轉æ›è²éŸ³è½èµ·ä¾†å¾ˆæ™®é€šâ€”â€”å°æ–¼é›¢ç·šå·¥å…·ï¼Œé€™é€šå¸¸æ„味著缺少 .index æª”æ¡ˆã€‚å°æ–¼ Echo,請嘗試ä¸åŒçš„æ¨¡åž‹â€”—有些模型就是比其他模型轉æ›å¾—更好。
想創建自己的語音模型嗎?
å¦‚æžœä½ åœ¨ç¤¾ç¾¤å„²å˜åº«ä¸æ‰¾ä¸åˆ°æƒ³è¦çš„è²éŸ³ï¼Œä½ å¯ä»¥å¾žé 開始訓練一個自訂 RVC 模型。這是一個更進階的éŽç¨‹ï¼Œéœ€è¦ GPU 和一些è€å¿ƒï¼Œä½†å·¥å…·æ˜¯å…費的,社群也éžå¸¸æ¨‚æ–¼åŠ©äººã€‚ä½ éœ€è¦ 10–30 分é˜ä¾†è‡ªç›®æ¨™è²éŸ³çš„乾淨ã€ç¨ç«‹çš„人è²éŸ³è¨Šã€‚推薦的訓練工具是 Applio (applio.org)——它有最好的介é¢å’Œæœ€æ´»èºçš„é–‹ç™¼ã€‚å°æ–¼æ²’有本地 GPU 的用戶,Google Colab ç†è¨˜æœ¬æä¾›å…費的雲端 GPU å˜å–權é™é€²è¡Œè¨“ç·´ã€‚æˆ‘å€‘æœ‰ä¸€ä»½å®Œæ•´çš„é€æ¥è¨“練指å—,涵蓋了使用 UVR5 準備數據集ã€è¨“ç·´åƒæ•¸ã€f0 æå–方法ã€è©•估檢查點和解決常見å•題。
語音模型的倫ç†ä½¿ç”¨
RVC èªžéŸ³æ¨¡åž‹æ˜¯å¼·å¤§çš„æŠ€è¡“ï¼Œæ‡‰è² è²¬ä»»åœ°ä½¿ç”¨ã€‚ä¸è¦åœ¨çœŸäººä¸çŸ¥æƒ…æˆ–æœªç¶“åŒæ„的情æ³ä¸‹å‰µå»ºä»–們的模型。ä¸è¦ä½¿ç”¨èªžéŸ³æ¨¡åž‹å†’充他人進行欺騙ã€è©æ¬ºæˆ–é¨·æ“¾ã€‚å¦‚æžœä½ å‰µå»º AI 生æˆçš„èªžéŸ³å…§å®¹ï¼Œè«‹æ¸…æ¥šæ¨™ç¤ºã€‚ä¸€äº›å¸æ³•管轄å€å·²é ’布é‡å° AI 語音冒充的立法——使用克隆è²éŸ³èª¤å°Žä»–人越來越多地被視為刑事犯罪。RVC ç¤¾ç¾¤åœ¨å‰µä½œè€…ã€æ¨¡åž‹è¨“練者和用戶之間的相互尊é‡ä¸èŒå£¯æˆé•·ã€‚