文本到語(yǔ)音(tts)技術(shù)作為人機(jī)交互領(lǐng)域的一項(xiàng)關(guān)鍵技術(shù),其發(fā)展經(jīng)歷了從基礎(chǔ)的音素拼接到復(fù)雜的統(tǒng)計(jì)參數(shù)合成,再到當(dāng)前深度學(xué)習(xí)驅(qū)動(dòng)的端到端神經(jīng)網(wǎng)絡(luò)合成的演變。目前主流的 TTS 技術(shù)包括以下幾種主流模式。


語(yǔ)音合成


1、基于統(tǒng)計(jì)參數(shù)的語(yǔ)音合成


隱馬爾可夫模型(HMM):通過(guò)學(xué)習(xí)語(yǔ)音數(shù)據(jù)建立音素與聲學(xué)特征統(tǒng)計(jì)關(guān)系來(lái)合成語(yǔ)音,模型簡(jiǎn)潔、計(jì)算量小,但語(yǔ)音自然度欠佳。


深度神經(jīng)網(wǎng)絡(luò)(DNN)參數(shù)合成:利用 DNN 強(qiáng)大建模能力學(xué)習(xí)文本與聲學(xué)特征映射,語(yǔ)音質(zhì)量較 HMM 有提升,但訓(xùn)練數(shù)據(jù)多、耗時(shí)長(zhǎng)且對(duì)硬件要求高。


2、波形拼接語(yǔ)音合成


基于大語(yǔ)料庫(kù)的拼接合成:預(yù)先錄制大量語(yǔ)音片段建庫(kù),依文本挑選拼接,自然度和音質(zhì)好,但需大存儲(chǔ)空間,對(duì)新詞處理有局限。


單元選擇拼接合成:更注重語(yǔ)音單元選擇與拼接策略,能更好處理韻律語(yǔ)調(diào),然構(gòu)建維護(hù)語(yǔ)音庫(kù)需大量人力時(shí)間。


3、混合方法


HMM-DNN 混合模型:結(jié)合兩者優(yōu)勢(shì),先 HMM 分析再 DNN 優(yōu)化聲學(xué)參數(shù),平衡質(zhì)量、自然度與計(jì)算成本。


拼接合成與參數(shù)合成混合:常見(jiàn)語(yǔ)音單元拼接,罕見(jiàn)單元參數(shù)合成,兼具兩者長(zhǎng)處,擴(kuò)大系統(tǒng)適應(yīng)性。


4、端到端神經(jīng)網(wǎng)絡(luò)語(yǔ)音合成


Tacotron 系列:從文本直接生成聲學(xué)特征再轉(zhuǎn)語(yǔ)音波形,含注意力機(jī)制,但生成速度慢,處理長(zhǎng)文本耗時(shí)。


FastSpeech 系列:采用非自回歸結(jié)構(gòu)提高合成速度,后續(xù)版本不斷提升精度與自然度。


VALL-E 和 SPEAR-TTS:VALL-E 可依據(jù)少量語(yǔ)音樣本合成相似音色語(yǔ)音且跨語(yǔ)言;SPEAR-TTS 提升質(zhì)量與效率,降低復(fù)雜度與成本。