變聲器如何運作

基本概念：什麼是變聲？

變聲是指即時修改音訊，讓說話者聽起來不同的過程。這包括從簡單的效果（讓你的聲音變低沉或變高亢）到完全的身份轉換（聽起來像一個完全不同的人）。現代變聲器作為桌面應用程式運行，它會擷取你麥克風的音訊，進行處理，然後透過一個虛擬音訊裝置輸出結果，其他應用程式可以將該裝置作為麥克風輸入使用。

等級 1：Pitch Shifting（音高變換）

這是最簡單的變聲形式。Pitch Shifting 會提高或降低你聲音的基頻。提高音高會讓你聽起來像花栗鼠；降低音高會讓你聽起來像巨人。Pitch Shifting 幾乎是即時的（延遲低於 1 毫秒），並且幾乎不佔用 CPU，但結果聽起來明顯不自然，因為它統一改變了所有頻率，而沒有調整聲音的共振（共振峰）。像 Clownfish 這樣的產品就使用這種方法。

等級 2：DSP 音訊效果

更複雜的變聲器會同時應用多種音訊效果——Pitch Shifting、共振峰轉移、混響、失真、等化等等。共振峰轉移是相對於原始 Pitch Shifting 的關鍵升級：它獨立於音高調整聲音的共振頻率，從而實現更自然的跨性別或角色語音效果。透過將多個 DSP 效果串聯起來，你可以創造出令人信服的角色聲音（機器人、外星人、惡魔）。像 Voicemod 和 MorphVOX 這樣的產品就使用這種方法。結果聽起來比原始的 Pitch Shifting 好，但仍然可以辨識出是經過處理的。

等級 3：AI 語音轉換 (RVC)

最先進的方法是使用神經網路來完全重構你的聲音。AI 語音轉換（如 RVC——檢索式語音轉換）並不是修改你的聲音訊號。相反，它從你的語音中提取語言內容和音高，完全捨棄你的聲音身份，然後使用一個訓練好的語音模型合成全新的音訊。結果聽起來很自然，因為 AI 已經從訓練數據中學習了目標聲音的特徵——音色、氣息感、共鳴、共振峰結構。Echo Live 就使用這種方法。想深入了解 RVC 的四階段流程，請參閱我們的「什麼是 RVC」指南。

音訊路由如何運作

桌面變聲器需要一種方法將其處理過的音訊傳送到其他應用程式。這是透過虛擬音訊線完成的——這是一種軟體驅動程式，它會在你的系統上創建一個虛擬麥克風裝置。在 Windows 上，最常見的選擇是 VB-Cable（免費）；在 macOS 上，則是 BlackHole。你的實體麥克風輸入到變聲器應用程式，變聲器處理音訊，然後輸出被路由到虛擬音訊線。像 Discord、OBS 或 Zoom 這樣的應用程式會將虛擬音訊線視為一個普通的麥克風，並使用轉換後的音訊。一些變聲器（如 Voicemod 和 Clownfish）會捆綁自己的虛擬音訊驅動程式，而其他一些（如 Echo Live 和 w-okada）則依賴於單獨安裝的虛擬音訊線。

即時處理流程

為了即時使用，變聲器必須比音訊到達的速度更快地處理音訊。這個流程以離散的區塊進行：

• ●音訊擷取——變聲器透過作業系統的音訊 API（Windows 上的 WASAPI，macOS 上的 CoreAudio）從你的麥克風讀取原始音訊。
• ●緩衝——音訊被收集成一個區塊（通常是 128–512 個樣本）。區塊必須足夠長，以便 AI 模型有足夠的上下文，但較短的區塊意味著較低的延遲。
• ●預處理——像雜訊閘和壓縮器這樣的 DSP 效果會在 AI 推論前清理原始輸入。這可以防止神經網路試圖將背景噪音轉換為語音。
• ●AI 推論——神經網路處理該區塊，提取內容特徵和音高，然後使用目標語音模型合成輸出。這是計算最密集的一步，並且極大地受益於 GPU 加速。
• ●交叉淡化——相鄰的處理區塊使用交叉淡化演算法（如 SOLA）混合在一起，以防止在區塊邊界出現可聽見的喀噠聲或間隙。
• ●輸出——最終的音訊被傳送到虛擬音訊線，供其他應用程式使用。

了解延遲

延遲是指從你說話到聽到處理後音訊的總延遲時間。在變聲器中，延遲的主要來源是區塊大小（AI 在收集到完整區塊之前無法處理語音）、推論時間（GPU 運行神經網路所需的時間）以及交叉淡化持續時間（平滑區塊邊界所需的重疊時間）。額外的延遲來自音訊驅動程式緩衝和接收應用程式。透過 GPU 加速和優化的設定，現代 AI 變聲器可以實現適合即時對話的總延遲。減小區塊大小可以降低延遲，但會增加 GPU 負載——找到合適的平衡點取決於你的硬體。

GPU 加速

AI 變聲器極大地受益於 GPU 加速。在 GPU 上進行神經網路推論可以比在 CPU 上快 10-50 倍，這直接轉化為更低的延遲和更穩定的音訊。大多數變聲器透過 CUDA 支援 NVIDIA GPU。有些（包括 Echo Live）也透過 DirectML 支援 AMD 和 Intel GPU。如果沒有獨立 GPU，變聲器可以在 CPU 上運行，但延遲更高，且對系統負載更敏感——同時運行遊戲可能會導致音訊卡頓。