繼開源 LLaMA 之后,Meta 在生成式 AI 方向又公布一項重大研究。
編者按:本文來自微信公眾號 機器之心(ID:almosthuman2014),編輯:Panda、小舟,創(chuàng)業(yè)邦經(jīng)授權(quán)發(fā)布,頭圖來源攝圖網(wǎng)。
【資料圖】
我們知道,GPT、DALL-E 等大規(guī)模生成模型徹底改變了自然語言處理和計算機視覺研究。這些模型可以生成高保真文本或圖像,而且它們有個重要特點就是「通才」,可以解決沒訓(xùn)過的任務(wù)。相比之下,語音生成模型在規(guī)模和任務(wù)泛化方面一直沒有「突破性」成果。
6月17日,Meta 介紹了一種「突破性」的生成式語音系統(tǒng),它可以合成六種語言的語音,執(zhí)行噪聲消除、內(nèi)容編輯、轉(zhuǎn)換音頻風(fēng)格等。Meta 稱之為最通用的語音生成 AI。
相關(guān)研究論文也已公布。接下來我們具體看下這下項研究。
論文:https://research.facebook.com/publications/voicebox-text-guided-multilingual-universal-speech-generation-at-scale/
Meta 表示,Voicebox 是第一個沒有經(jīng)過專門針對語音生成的訓(xùn)練,卻可以泛化到語音生成任務(wù)的模型。
與圖像和文本的生成一樣,Voicebox 可以創(chuàng)建多種樣式的語音輸出,包括從頭開始創(chuàng)建輸出和修改給定的樣本。Voicebox 可以合成六種語言的語音,以及執(zhí)行噪聲去除、內(nèi)容編輯、風(fēng)格轉(zhuǎn)換和多樣化樣本生成。
在 Voicebox 出現(xiàn)之前,生成語音的 AI 需要使用精心準(zhǔn)備的訓(xùn)練數(shù)據(jù)對每項任務(wù)進行特定訓(xùn)練。而 Voicebox 僅需要從原始音頻和隨附的轉(zhuǎn)錄文本中學(xué)習(xí),并且 Voicebox 可以修改給定樣本的任何部分。
Voicebox 基于一種稱為流匹配(Flow Matching)的方法,該方法已被證明可以改進擴散模型。
在生成效果方面,Voicebox 的可懂度(詞錯率:1.9% VS 5.9%)和音頻相似度(0.681 VS 0.580)優(yōu)于當(dāng)前英文語音生成 SOTA 模型 VALL-E,并且速度快了 20 倍。在跨語言風(fēng)格遷移任務(wù)上,Voicebox 優(yōu)于 YourTTS,將平均詞錯率從 10.9% 降低到 5.2%,將音頻相似度從 0.335 提高到 0.481。
Voicebox 在詞錯率指標(biāo)上的表現(xiàn)優(yōu)于 Vall-E 和 YourTTS,實現(xiàn)新的 SOTA。
在英語和多語言基準(zhǔn)的音頻風(fēng)格相似度指標(biāo)上,Voicebox 都取得了新的最佳結(jié)果。
語音生成新方法現(xiàn)有語音合成器的一大主要局限是它們的訓(xùn)練數(shù)據(jù)都是針對目標(biāo)任務(wù)準(zhǔn)備的。這些輸入基本都要求是單調(diào)的干凈數(shù)據(jù),也因此難以獲取,數(shù)據(jù)量很有限,并且用這些數(shù)據(jù)訓(xùn)練出的模型也只能輸出單調(diào)的聲音。
Voicebox 基于流匹配(Flow Matching)模型,這是 Meta 在非自回歸生成模型方面的最新進展,其可以學(xué)習(xí)到文本和語音之間高度非確定性的映射關(guān)系。非確定性映射很有用,因為這能讓 Voicebox 學(xué)習(xí)不同的語音數(shù)據(jù)而無需仔細標(biāo)注這些變體。也就是說,Voicebox 可以在更多樣化的數(shù)據(jù)上訓(xùn)練,因此可使用數(shù)據(jù)的范圍也大得多。
Meta 訓(xùn)練 Voicebox 時使用的數(shù)據(jù)來自英語、法語、德語、西班牙語、波蘭語、葡萄牙語這六種語言,包含 50000 小時的錄音和轉(zhuǎn)錄文本以及公共領(lǐng)域的有聲書。Voicebox 的訓(xùn)練目標(biāo)是根據(jù)周圍語音和某片段的轉(zhuǎn)錄文本來預(yù)測該片段的語音。學(xué)習(xí)過基于上下文填充語音之后,該模型就能讓其用于各種語音生成任務(wù),包括生成音頻錄音中的缺失片段(無需重建整個輸入)。
Voicebox 的這種多功能性使其可以很好地執(zhí)行多種不同任務(wù),包括:
基于語境的文本轉(zhuǎn)語音合成:僅需使用長度 2 秒的輸入音頻樣本,Voicebox 就能匹配樣本的音頻風(fēng)格并將其用于文本轉(zhuǎn)語音生成。這一能力具有重要的應(yīng)用前景,比如可以為難以說話的人帶來語音表達能力,還能讓用戶為 NPC 角色和虛擬助手定制聲音。
跨語言風(fēng)格遷移:給定一段語音樣本和對應(yīng)的文本片段,不管是英語、法語、德語,還是西班牙語、波蘭語、葡萄牙語,Voicebox 都能以該語言讀出該文本。這是一種激動人心的能力,因為這能幫助人們自然而真實地交流 —— 即便他們不說同一種語言。
語音降噪和編輯:Voicebox 的上下文學(xué)習(xí)能力讓它可以在音頻錄音中生成無縫銜接的片段。要是音頻中出現(xiàn)了被噪聲污染的片段,它也可以為其重新合成,甚至無需重新錄音就能替換原音頻中說錯的詞句。用戶可以辨別原始音頻中被噪聲(比如犬吠聲)污染的片段,然后將其裁剪下來,再指示 Voicebox 重新生成該片段。這項能力有望讓音頻編輯變得非常簡單,就像現(xiàn)在流行的圖像編輯工具調(diào)整圖像一樣。
多樣化的語音采樣:Voicebox 學(xué)習(xí)了多樣化的野外數(shù)據(jù),所以可以生成就像在現(xiàn)實世界中說話的聲音,并且支持上述六種語言。未來,這種能力可用于合成數(shù)據(jù),然后用于訓(xùn)練語音助理模型等。Meta 的實驗結(jié)果表明,基于 Voicebox 合成語音訓(xùn)練的語音識別模型的表現(xiàn)幾乎不遜于使用真實語音訓(xùn)練的模型 —— 錯誤率僅高了 1%;而要是使用之前的文本轉(zhuǎn)語音模型合成的數(shù)據(jù)訓(xùn)練,錯誤率會提升 45%-70%。
Meta 表示,Voicebox 作為首個能成功執(zhí)行任務(wù)泛化的高效的多功能模型,將開創(chuàng)一個語音生成式 AI 的新時代。
但 Meta 也沒有否認這項技術(shù)可能被誤用乃至被惡意使用。為了應(yīng)對這種可能性,降低潛在的風(fēng)險,Meta 還構(gòu)建了一種分類器,其宣稱可有效分辨真實語音和 VoiceBox 生成的音頻。
Voicebox 是生成式 AI 研究的重要一步。具備任務(wù)泛化能力的生成式 AI 模型正在催生出涉及文本、圖像和視頻生成的實際應(yīng)用,這將讓生成式 AI 更上一層樓。
參考內(nèi)容:
https://www.engadget.com/metas-open-source-speech-ai-recognizes-over-4000-spoken-languages-161508200.html
https://ai.facebook.com/blog/voicebox-generative-ai-model-speech/