摘要 摘瑟 奉文在語贅信號靛理衽漢語耨簿鼴蒸赫主，辯語替合成方法發(fā)黧應(yīng)搿讖行深入 的研究，主娶工作如下；( 1 ) 在基鬻同步爨搬算法( p s o l a ) 的研究基礎(chǔ)上，提出了 一種基于動態(tài)規(guī)劃和相關(guān)酗數(shù)的熬音標波算法。實駿表明，這種標注方法更為凇 驥，黲逡露予實露系統(tǒng)串，國炎了進一步瓔究念蔽算法h n m 模型，本文對一耱 新的基頻估計算法進行了深入的探討。攀實證明這種藻頻估計方法比傳統(tǒng)的基街 髂詩曼滋精虢。縐本文對 鞭醚避行7 系凌翡研究。曹先爨懣了一釋改逶魏h n m 模型，這種模型使得所求參數(shù)精度熙離，憑規(guī)整合成信峰在時城上熨遇近原始信號。 崧改邈瀚模型基礎(chǔ)上，本文提出新的語裔信號靜濁音禽成和清音合成方法。在始 爨濯老糖號纂頻鼴整畦，本文結(jié)合已毒黔正弦+ 念極點讒譜遴整模型，提逝一耱耪 的語譜調(diào)整模激。( 4 ) 為了蜜現(xiàn)一個語音禽成系統(tǒng)，本文采用二叉排序樹，正確煅 建立了余成基齏耘注察囂始痿號蒸音標浚麓浚射關(guān)系。濺試表暖，這釋浚瓣關(guān)豢 能夠很好地反映漢語語音的韻律特征。 關(guān)鍵字：語謄含殘基謄閹步疊加算法h n m 模型 a b s t r a c t b a s e do nt h es t u d yo f s p e e c hs i g n a lp r o c e s sa n dc h i n e s ep r o s o d yt h et h e s i sd e e p l y r e s e a r c h e so ns p e e c hs y n t h e s i sa n di t sa p p l i c a t i o n t h em a i nr e s e a r c h e sf o l l o w ：( i ) a n e w a i g o d t h m f o r p i t c hm a r k i n g o nt h eb a s i so f d y n a m i cp r o g r a m m i n g a n d a u t o - c o r r e l a t i o ni s p r e s e n t e db yd i s c u s s i n g o n p i t c h - s y n c h r o n o u so v e r l a pa d d i n g ( p s o l a ) ，w h i c hh a sb e e np r o v e dt ob em o r ea c c u r a t ea n da b l et ob ea p p l i e di nt h e r e a l - t i m es y s t e mw i t he x p e r i m e n t s ；( 2 ) an e w p i t c he s t i m a t i o na l g o r i t h mi se x p l o r e df o r t h es t u d yo fh a r m o n i cp l u sn o i s em o d e l ( i - r n m ) t h ee x p e r i m e n t sh a v ep r o v e nt h en e w m e t h o dh a sab e t t e ra c c u r a c yt h a nt h ec o n v e n t i o n a l ；( 3 ) t h em e t h o dt os p e e c h s y n t h e s i s h n mh a sb e e n p r o b e ds y s t e m a t i c a l l yi nt h et h e s i s a tf i r s tab e t t e rm o d e lo fh n m i s p r e s e n t e dw h i c h m a k e sp a r a m e t e r so b t a i n e dm o r ea c c u r a t ea n dt h es i g n a ls y n t h e s i z e d w i t h o u ts p e e c hs c a l em o r es i m i l a rt ot h eo r i g i n a ls i g n a li nt h et i m ed o m a i n ；s e c o n d l y t h em e t h o dt ov o i c ea n du n v o i c es y n t h e s i si sp r e s e n t e do nt h eb a s i so f t h eb e a e r m o d e l ； t h i r d l yan e w m e t h o dt ot h ec o n t r o lo f s p e e c hs p e c t r u mi sp r e s e n t e di nt h ep r o c e s so f s p e e c hp i t c hs c a l eb yu s i n gt h em e t h o dt os p e c t r a lm o d i f i c a t i o nb a s e do nt h ep r e s e n t s h a u s o i d a l + a l l - p o l em o d e l ；( 4 ) i no r d e rt oi m p l e m e n t ac h i n e s es p e e c hs y n t h e s i s s y s t e mt h em a p p i n g o ft h es y n t h e s i z e dp i t c hm a r kt ot h eo r i g i n a lp i t c hm a r kh a sb e e n e s t a b l i s h e de x a c t l yb ym a k i n gu s eo fs o r t i n gb i n t r e ei nt h et h e s i s t h ee x p e r i m e n t a l r e s u l t ss h o wt h a tt h em a p p i n gw e l lr e f l e c t so nt h ec h a r a c t e r i s t i c so f c h i n e s e s p e e c h k e yw o r d s ：s p e e c hs y n t h e s i s p s o l ah n i v i 創(chuàng)新性聲明 本人聲明所呈交的論文是我個人在導(dǎo)師指導(dǎo)下進行的研究工作及取得的研究 成果。盡我所知，除了文中特別加以注明和致謝中所羅列的內(nèi)容以外，論文中不 包含其他人已經(jīng)發(fā)表或撰寫過的研究成果；也不包含為獲得西安電子科技大學(xué)或 其它教育機構(gòu)的學(xué)位或證書而使用過的材料。與我一同工作的同志對本研究所做 的任何貢獻均已在論文中作了明確的說明并表示了謝意。 申請學(xué)位論文與資料若有不實之處，本人承擔(dān)一切相關(guān)責(zé)任。 本人簽名 羅小冬 日期 測i 毛 關(guān)于論文使用授權(quán)的說明 本人完全了解西安電子科技大學(xué)有關(guān)保留和使用學(xué)位論文的規(guī)定，即：研究 生在校攻讀學(xué)位論文期間論文工作的知識產(chǎn)權(quán)單位屬西安電子科技大學(xué)。本人保 證畢業(yè)離校后，發(fā)表論文或使用論文工作成果時署名單位仍然為西安電子科技大 學(xué)。學(xué)校有權(quán)保留送論文的復(fù)印件，允許查閱和借閱論文；學(xué)?？梢怨颊撐牡?全部或部分內(nèi)容，可以允許采用影印、縮印或其他復(fù)印手段保存論文。( 保密的論 文在解密后遵守此規(guī)定) 本人簽名： 導(dǎo)師簽名 羅小 冬日期：型：! ：! 日期 二0 d ；， 第一章緒論 第一章緒論 1 1 弓i 言 語京是人類特有戇一耱信惠系統(tǒng)，港啻終為語言戇載傣，是夭類最鴦裹揍、簸 為方便的信息交流手段。所以，對于語富學(xué)和語音信號處理的研究在現(xiàn)代社會占 有重要鶼逡位。麗國語音信號楚疆研究發(fā)混的語音技術(shù)囂 j 在信惠柱會起麓重要作 用。數(shù)字電話通信、高音質(zhì)的窄帶語音通信、語音報時報警、聲摭打字、自動翻 譯、文本校正以及在軍事上的應(yīng)用，都炬語音技術(shù)研究的具體體現(xiàn)。 語鴦技術(shù)在近幾年來黥迅猿發(fā)展孛，逐步形成了語耋識剽、談話人識裂、語 音編碼和語音合成等四大分支。如何讓計算機昕懂人類所說的話，使得人類能夠 島謗舅掇送露交流，這是鞴音諼嬲技術(shù)掰要瓣決豹闋?wèi)?。囂說話入訣諼涮將簿捷 這樣一個問題，人們說出一句話語計算機能夠通過提取語音信號的特性來判別說 話者建誰或者符合不符合計算機存儲的話語。麗語音編碼的目的怒更為有效傳輸 與存儲語音信息，更為自然方便燃產(chǎn)生語音。雖蘸，語音編碼技術(shù)的發(fā)鼴已經(jīng)比 較成熟，各種編碼技術(shù)在社會中都有實質(zhì)性的成用，如p c m 編碼、a d p c m 編碼、 線性鬏測編羈( l p c ) 、多繁激黲懋毯、共振峰會戒囂秘騷激熬線魅技術(shù)( c e l p c ) 簿。這是人們在有限的資源下，提高語音信號存儲容量與傳輸速率的方法。語醬 含成技術(shù)靜鶩敢是譴詩算輥說話，舔戳基本符合入靜發(fā)音方式產(chǎn)擻自然的可渣酌 聲音。在語音含成技術(shù)中，常用到語音編碼技術(shù)來解決合成技術(shù)中有限資源的閥 題。 語蠢會殘系統(tǒng)按會成的字、詞秘甸子，可分為有限詞匯諉毒合成系統(tǒng)靼無陵溺 匯合成系統(tǒng)。有限詞匯語脊合成系統(tǒng)一般用于專用場合，如報時系統(tǒng)，指令調(diào)度 系統(tǒng)等在這襻鶼臻倉。一般諉匯罄定，含殘靜實覆鴦編瑪類醞，霹戮說楚一耪狹 義的語音合成。與其相反，無限詞匯的語音合成，宥著廣泛的意義，是一種更為 智能純的技術(shù)，它搬據(jù)不悶語種的語同瓶粥，合成出符合該語種特點的、不限定 詞匯的語音來。 在無限詞匯合成系統(tǒng)中，不僅攥考慮語音編碼問題，還有諸如語音特點的研究， 語音蔽粼款撼取彝庭曩等方囂。添毒編璐閡題鯉蔻甏聯(lián)提剄瓣，爨毒大爨戇實矮 性內(nèi)容可以借用。但語音特點和語音規(guī)則在各種語種都有所不同，涉及到語言學(xué)、 生理學(xué)、統(tǒng)詩學(xué)幫一豁理學(xué)等諸學(xué)年尊，丙這釋語音特點幫娥贈在絕大多數(shù)清況下 是定性的和模糊的，要轉(zhuǎn)化成一種定量的和邏輯的是一個滋大工程，尤燕針對語 音這種時交非平穩(wěn)信號麗宙，難度更大。即使這樣，世界上很多豳家還楚開發(fā)出 了本語毒斡競限詞派語音會成系統(tǒng)。由_ 予合成語音魄音質(zhì)、自然發(fā)、霹懂度、漳 晰度還不符合人們的要求，需要研究工作者對語音特點和譎音規(guī)則要有更透徹的 語音臺成及其庶用研究 理解。 漢語語音有饕自己的獨特的特點，音節(jié)結(jié)構(gòu)簡單，發(fā)皆音節(jié)有限，語音有調(diào)和 聲調(diào)辨義。毽瑟在漢逶語音合艘上袁其宅諼釋瑟苓縣冬的餞勢。另終，漢漣是世 界上使用人數(shù)最移的語種，所以語音合成系統(tǒng)還具有廣闊的市場。近年來，漢語 語素合藏系統(tǒng)懿磷究專斑用穗列迅速發(fā)震。 l 。2 語音合成的基本原理和應(yīng)用 1 語音合成的基本原理 語音龠成技術(shù)獲應(yīng)麗焦度疆發(fā)可分為兩類，其一是說話，冀= 是像入謊話。瑟 者的原理怒不同的。前卷出予讓機器再生個預(yù)先存入的語音信號，裁像蟄通錄 音機一樣，不同之處只戇采用了數(shù)字壓縮技術(shù)。為了節(jié)省存儲容量，在存入之前， 黠誘音壤號進行數(shù)據(jù)墨縫。這穆會成本質(zhì)土是將器寒豹聲童還原出寒。它不藐控 制語調(diào)、語氣等，也不能根據(jù)上下文來變黹和轉(zhuǎn)調(diào)等。由于存儲容最的有限性導(dǎo) 致會成語鐲茲有羧，麩構(gòu)成主將是一耱壽聚譎匯讖音臺蔽系統(tǒng)。 后者的目的在于讓機器像人一樣說話，機器具備一定的分析能力，根據(jù)所說內(nèi) 容，產(chǎn)生榴應(yīng)的聲調(diào)和語氣的語音。它一般是懿說話內(nèi)容的字符信怠蹬發(fā)，根據(jù) 上下文關(guān)系，以及內(nèi)容零身所具有的發(fā)音傣息，將字符信息轉(zhuǎn)換為幽罄本發(fā)啻組 成的序列，調(diào)燕聲調(diào)、踅音以及停頓等韻律特征。還有陳述、命令和疑問等語氣， 最纛產(chǎn)生爨語音寒。說話靜避程戈翔入魏發(fā)考輥壤一樣，營先在入藏孛形成神經(jīng) 指令，這種指令指示肺、聲帶、舌和唇等部分協(xié)調(diào)動作發(fā)出聲音。這種更近于人 靜會成技術(shù)是一稀完整的語音合成技術(shù)。囊于這稀特點，在梅成系統(tǒng)靖熊不受合 成調(diào)匯的限制，也即所謂的無限詞匯語音會成技術(shù)。 這種光限詞匯合成按照人類言語功能的不同層次，又可以分為三個層次，如圖 l 。l 掰示。 圈l 。l 語謄合成綏次餮 它們是( 1 ) 按規(guī)則從文字到語音的合成( t e x t - t o - s p e e c h ) ；( 2 ) 按規(guī)則從概念到語音 的合成( c o n c e p t - t o - s p e e c h ) ；( 3 ) 按從意向到語音的合成( i n t e n t i o n - t o s p e e c h ) 。這三 個艨次反映了人類大腦形成話語豹不同過穩(wěn)。迄今為止，對人類言落理象的理瓣 僅停留在聲道系統(tǒng)的發(fā)啻過稷中，對大腦的神經(jīng)活動知乏甚少。這樣，在相當(dāng)長 一羧囂溺蠹，只畿集孛在按栽粼雙文字爨港鴦熬文浯轉(zhuǎn)挨系統(tǒng)串。 第一章緒論3 無限詞匯語音合成較乏有限弼匯語密合成系統(tǒng)有較大的難度。為了合成較高質(zhì) 鼉語音，除去在語畿產(chǎn)生階段的工作之外，還依賴予語義、詞匯、語音學(xué)規(guī)則以 及自然語言理解，逐有這臻規(guī)則的恰當(dāng)應(yīng)用，由這些規(guī)則和理解產(chǎn)生合適的參數(shù) 去控制潺音镲號螅產(chǎn)生。 目前來看，無限詞匯譜音合成比有限詞匯含成在語音的自然度和可懂度要蓑。 這是由予宅髓產(chǎn)生淼瑾差舅帶來翡宓然縮采。翡律蘩惑靜分櫥提取，戳及在語音 合成中含理地應(yīng)用，使得語音的音質(zhì)有熙好的提高。這是語音合成工作贅的研究 所在。 2 語音合成的發(fā)展與應(yīng)用 久類語塞會戒豹磺究戳追述爨1 7 謗年圣彼餐爨( s t 。p e t e r s b u r g ) 妻冬餓霉教授 c h r i s t i a nk r a t z e n s t e i n 的工作【l 】。他為了解釋贏個元音( a 、e 、o ，、倒和u ) 的生 理學(xué)差異，親自翻律了與籬子類議的笈嗇器，其構(gòu)造與人類靜聲邋相釹。麗第一 個被視為語音合成器的是1 9 3 9 年由h o m e rd u d l e y z 在紐約世賽集會( n e w3 ( o r k w o r l d f a i r ) 介紹的v o d e r ( v o i c e o p e r a t i n g d e m o n s t r a t i o n ) 1 j 【2 l 。v o d e r 怒由貝爾 實驗室磅究戇v o c o d e r ( v o i c ec o d e r ) 發(fā)震瑟來麴。夔罄人錠對語湊合成熬進一步 研究，第一個發(fā)聲合成器( a r t i c u l a t o r ys y n t h e s i z e r ) 在1 9 5 8 年由麻省理王學(xué)院的 g e o r g er o s e n 發(fā)翳 囂殘1 2 1 。在弱一對枝，共振峰合成器篷發(fā)贅窶來，是囪w m t e r l a w r e n c e 在1 9 5 3 年制作成的并彳予共振峰合成器p a t ( p a r a m e t r i ca r t i f i c i a lt a l k e r ) 。 而第一個英文的文語轉(zhuǎn)換系統(tǒng)劉是由日本人n o r i k ou m e d a 和其同伴1 9 6 8 在電工 實驗室( e l e c t r o t e h n i c a ll 8 媯研發(fā)藤成1 2 j 。 發(fā)聲合成1 9 5 8 援則合成1 9 5 9 派弦模型1 9 8 4 毒棗縫瞬絡(luò)模擻1 9 8 5 p a t o v e1 9 5 3韻律調(diào)接1 9 6 8k l a t t a l k1 9 8 1 m l 嘲k1 9 7 9 v o t r a x1 9 7 9 圖1 2 語齒合成的發(fā)展過程 4 語音合成及其應(yīng)用研究 1 9 7 9 年，a l l e n 、h u n n i c u a 和砌毗在麻省理工學(xué)院研制成了m i t a l k 的文語轉(zhuǎn) 換系統(tǒng)1 2 j 。這是文語轉(zhuǎn)換系統(tǒng)第一次用于商業(yè)化。從此，商業(yè)化使得語音合成的發(fā) 展進入了更快的發(fā)展。1 9 8 0 年，德州儀器公司將l p c ( l i n e a r p r e d i o r i o nc o d i n g ) 技 術(shù)引入了基于低代價線性預(yù)測合成芯片( t m s 一5 1 0 0 ) 的說拼合成系統(tǒng) ( s p e a k n - s p e l ls y n t h e s i z e r ) 。從八十年代中后期，語音合成技術(shù)進入了拼接合成階 段，p s o l a ( 基音頻接疊加技術(shù)) 和h s m ( h a r m o n i cp l u sn o i s em o d e l ) 給語音合 成領(lǐng)域開辟了新的研究天地。為此，我們用圖1 2 0 】來表示語音合成的發(fā)展過程。 九十年代初，基于p s o l a 技術(shù)的法語、德語、英語、臼語等語種的文語轉(zhuǎn)換 系統(tǒng)都已經(jīng)研制成功。這些系統(tǒng)的自然度比以前基于l p c 方法或共振峰合成器的 文語合成系統(tǒng)的自然度要高。國外研究語音合成最具有代表的是i b m 公司。1 9 9 7 年，i b m 研制成了v i a v o i e e ，該系統(tǒng)同樣具備語音合成功能。我國自從1 9 7 9 年清 華大學(xué)對人機交互系統(tǒng)豹研究，語音合成的研究取得了很大成就。中國科技大學(xué) 人機語音通信實驗室，在十幾年語音技術(shù)研究和積累的基礎(chǔ)上，獨創(chuàng)了以“人聲道 模擬技術(shù)”為基礎(chǔ)的k n 一8 6 3 系統(tǒng)，舉突破了語音合成清晰度和自然度的制約 瓶頸，將語音合成技術(shù)推進到應(yīng)用的水平。在1 9 9 8 年3 月國家“8 6 3 辦”組織的“國 際中文語音合成技術(shù)評測”中。該系統(tǒng)被評為唯一“達到實用化水平的產(chǎn)品”。2 0 0 2 炎黃新星網(wǎng)絡(luò)科技有限公司與清華大學(xué)合作建立的華意語音研究中心，研制出了 第二代漢語語音合成產(chǎn)品一炎黃之聲s i n o s o n i e 。但是，我們距離國際水平還是有 很大差距。 語音合成在現(xiàn)實生活中具有很大用途。電子文檔的有聲輸出和信息電話查詢 系統(tǒng)等都要用到語音合成技術(shù)。各種查詢系統(tǒng)，例如民航保單查詢系統(tǒng)、股市查 詢系統(tǒng)和信息電話查詢系統(tǒng)等都需要合成語音。隨著語音合成的研究，人機交互 將變得更為方便。 1 3 本文主要的工作 本文的工作主要來自研究課題t t s ( 文語轉(zhuǎn)換系統(tǒng)) 的語音合成部分。作者主要 是在熟悉語音信號的基礎(chǔ)上，進一步研究了語音合成的相關(guān)技術(shù)，最后完成了一 個語音合成的實驗系統(tǒng)。 主要工作如下： 1 對目前最為流行的p s o l a ( 基音同步疊加) 技術(shù)的優(yōu)缺點進行總結(jié)。其后 我們對p s o l a 技術(shù)所需要的基因標注做了進一步的研究。 2 討論了一種新的基頻估計方法。與以前的一些基音估計的方法進行對比， 對該新的基頻估計方法進行一定的改進。 3 對最新的合成技術(shù)h n m ( h a r m o n i cp l u sn o i s em o d e l ) 做了深入的研究。主要 第一睪綣論5 涉及到模型的進一步鮑改進，溥音的合成以及語音規(guī)整算法( s p e e c h s c a l e ) 的逛用等。 4 。搭建了一個語音臺成的實駿系統(tǒng)。 本文共六章，藏布局如下：第= 章主簧介紹語街合成的背景知識；第三章介 紹p s o l a 技術(shù)；第四章主要介紹一種新的基頻估計方法；第五章童要對h n m 技 術(shù)徽深入的討論；簸后一鬟介紹我們所轍的語音合成系統(tǒng)。 6 語音合成及其應(yīng)用研究 第二章語音合成的背景知識 這一章我們來介紹一些有關(guān)語音信號和語音合成的背景知識。 2 1 語音的產(chǎn)生 1 語音信號的產(chǎn)生 人的發(fā)音器官是由肺、氣管、喉、咽、鼻和口等組成的。這些器官共同形成 一條形狀復(fù)雜的管道。其中喉以上的部分，包括咽、口腔和鼻腔等稱為聲道，而 喉的部分稱為聲門。喉部的聲帶既是閥門又是振動部件。當(dāng)人說話時，來自肺部 呼出的氣流沖擊聲帶產(chǎn)生振動，然后通過聲道響應(yīng)變成語音。聲帶的開啟和閉合 使氣流形成一系列脈沖，每開啟和閉合一次的時間即振動周期，或稱為基音周期， 其倒數(shù)稱為基音基頻( 萋頻) 。聲帶的振動的頻率決定了聲音頻率的高低。當(dāng)基頻 大則音調(diào)高，基頻小則音調(diào)低。語音是由聲帶振動或聲帶不振動而產(chǎn)生。 聲管是一個分布參數(shù)系統(tǒng)，它有許多自然諧振頻率，在這些頻率上其傳遞函數(shù) 有極大值。所以聲帶是一諧振腔，它放大某一頻率而衰減其它頻率分量。諧振頻 率是由每一瞬時的聲道外形決定的。如果聲帶的界面均勻，諧振頻率間發(fā)生在【4 】： e = ( 2 n 萬- 一1 ) c ( n - l ，2 ，3 ，一) ( 2 1 ) 斗l 其中c 為聲速，l 為聲管長度，n 表示諧振頻率序列號。這些諧振頻率稱為共振峰。 共振峰是聲道的重要聲學(xué)特性。聲道的形狀與大小和共振峰有關(guān)，一種形狀對應(yīng) 一套共振峰。語音的頻率特性主要是由共振峰決定的。共振峰用依次增加的多個 頻率來表示，如f l 和f 2 稱為第一共振峰、第二共振峰。 圖2 1 語音信號的產(chǎn)生模型 由以上討論可知，聲帶振動和共振峰對語音的產(chǎn)生起著決定性作用。但目前為 止還沒有真正可詳細描述人類語音的全部特性的模型。通常，人們認為，語音信 第二章溽音合成的背景知識了 號近釹為一個線性不變系統(tǒng)( 聲邋) 在髓梳噪聲或準廁期脈沖序列激勵下的輸出。 經(jīng)人們研究，濁音魑由氣流沖激聲帶產(chǎn)艇振動，由聲門出形成準周期的脈沖串， 并由其激勵聲道而生成。教清音時，聲帶松弛不振動，氣流通過聲門直接進入聲 遴。產(chǎn)生語驁售號熬框圖由圖2 1 表示 4 1 。 2 語音信號的表示 為了計算機能夠方便地處理聲音，要將聲音信號數(shù)字化。通常我們要采用一定 豹采攆頻率對售號邀孬采攆，棠麓戇采櫸頻率必8 k h z 、1 1 0 2 5 k h z 秘2 2 ，0 5 k h z 等。 為了進一步研究語音信號的特性，可將語音信號轉(zhuǎn)換在頻域襲示。圖2 2 是一段語 音信號罄在時躐主幫頻域上豹表永。由鬻2 2 上幫分靜對域信號可知，該語音信號 強2 。2 單調(diào)“h a r t ”元音郟分鰉黠域信號嬲和譜譜圖 具有準周期，是濁音信號。由圖2 2 下部分的頻譜圖可以知道，第一個尖峰大致在 2 3 0 h z 處，這虢是該洼音臻號豹豢頻。露其囂豢足楚爨套裹戇量煞蟪方，丈致懟癍 于7 0 0 h z ，1 3 0 0 h z 和2 7 0 0 h z 。這分別對_ 擻該語街信號的第一、第二和第三共振峰。 2 2 t t s 簡介 現(xiàn)獪段辯語音會成靜 辯究還廷是籜蘩在t t s ( t e x t - t o s p e e c h ，交語轉(zhuǎn)換系統(tǒng)) 。 t t s 系統(tǒng)主要是將存在計算機內(nèi)的文檔按照其語義輸出自然、流暢的聲鬻。它主 要包含蘭個部分：文本分析、韻律分析和語音合成。圈2 3 就是一個簡革的t t s 圖。 l蕾_ 霉、曼llt5 語音合成及其應(yīng)用研究 圖2 3t t s 示意圖 1 文本分析 文本分析是語音合成中一個重要的部分。人們對于語言的把握好像感覺文本 分析很簡單。要機器來實現(xiàn)文本分析卻變得異常的困難。文本分析的主要任務(wù)是 對一些詞語，句子進行處理，使得機器合成的聲音符合人們平常說話的習(xí)慣。主 要分為兩個部分：文本預(yù)處理和詞語的切分。 在文本中出現(xiàn)很多獨立與語言的問題，比如文本的規(guī)整，數(shù)字問題和名字問 題等。( 1 ) 文本的規(guī)整。在文本的輸出時，通常會出現(xiàn)一些拼寫錯誤。而這個過程 就是去掉這些拼寫錯誤，使得其后的文本預(yù)處理變得簡單且不易出錯。顯然，后 續(xù)的工作( 單詞的切分，數(shù)字的處理和名字的處理等) 都應(yīng)基于正確的文本才能進行 工作。( 2 ) 數(shù)字的處理。數(shù)字在文本中是很常見的，不管是哪國語言，都是有很多 數(shù)字。數(shù)字處理很重要是因為在文本中數(shù)字表現(xiàn)形式比較多，而這些表現(xiàn)形式的 讀音也變得很靈活，或者不同或者相同。在中文中，數(shù)字可以如下形式表現(xiàn)：中 文數(shù)字“一，二”，阿拉伯?dāng)?shù)字“1 ，2 ，3 ”，還有希臘的數(shù)字“i ，i i ”等， 這些讀法往往相同。( 3 ) 縮寫及特殊字符?？s寫在中文是很常見的，在其他國家語 言也是一樣的。在中文里，常見的縮寫除了中文縮寫外，還有很多外來詞的縮寫， 比如英文。特殊的字符也是很常見的，比如各國貨幣符號、數(shù)字等。這些符號的 讀法都是很特殊的，同樣需要一個知識庫來處理。 如果不需要很精細的語音合成，以上的處理可以省去，待最主要的工作完成 之后，再去做文本預(yù)處理。但是，不管怎樣粗劣合成，單詞的切分是一定要的。 這是人們在說話時最基本的一個形式。如果沒有詞語切分，即使是人說出來的話， 也可能讓人聽不懂。通常，詞語切分有兩種方法：前項最大切分方法和后項最大 切分方法。前項最大切分方法是基于單詞組成總是由左到右，而后項最大則是由 右到左。它們的基本算法是相同的，只是掃描文本的順序不同。但有一點，單詞 切分這兩個算法都是基于詞典進行的，即詞典己存放所需要的全部詞語。而掃描 時則首先要知道詞典中詞語的最大長度，然后在掃描時慢慢減少長度，切分到正 確的詞語。顯然，算法掃描的正確率有待于提高，使之更符合我們說話的習(xí)慣。 2 韻律模型 這是語音合成中最重要的一個部分。要使得合成的語音符合通常說出的話 第：章港蔣臺成靜營素躲漩9 譖，鬻關(guān)鍵簿怒提取語言串靜靜襻參數(shù)。對漢語囂言，語音鼴顯著盼特煮怒聲調(diào)。 對于單個字的發(fā)音和菜個字在一個詞中的發(fā)音燕不隧的。比熟，“我們”中的“我”， 遮是個三聲調(diào)的字，值該字在詞中的潞調(diào)有點接j 葭二聲調(diào)。除了聲調(diào)的變化， 遴有字畿發(fā)蠹糖其醚長也發(fā)生交像了。磷孛字翡發(fā)蠹稠顯要比單獨發(fā)音簧短；說 話時，字、詞語和甸子之間的停頓也是不同的。詞語螫稍稍停頓，但不是很明旦， 懣戮揀纛餐每簧籜輟長一璺。夭說話辯霹鍪蠢鬣麓訇、陳述匈、感啜萄。在謊慕 詞話時肖的部矜要璧點強調(diào)一下。這些特征都威該在食成的語音中寓所襲現(xiàn)，才 髓使褥合成翡語音按讖予蠹然靜話語。爨做到遮一煮，其圭袋工作裔兩點：其一， 螫在文本處理預(yù)備處理積譖攀 瘁中提取這些參數(shù)；冀二，在箕蜃麴語音含驥孛怒 樣體現(xiàn)遮些參數(shù)。 囂囂，漢器已經(jīng)總結(jié)了綴多寒莢囂稽戇溪粼。麴簿技孛文交零孛提取掰需戇鞠 德參數(shù)，最具有代表的是清華大學(xué)的陶建華博士等提出的基于神經(jīng)網(wǎng)絡(luò)的可訓(xùn)練 鵑麓律模鍪溉。事實上，辯緞兩絡(luò)曩有甍好蘸鑫學(xué)習(xí)麓力稻參數(shù)映射特點，胃酸使 悉統(tǒng)縣袁不斷麴自學(xué)習(xí)能力。恧圄步 很多人郝農(nóng)基于 躲蝴( 隱馬爾卡夫模型) 來遴 彳子韻律的提取。但是，要真正將文本中所含的韻律提取出來，還商一個漫長的潞 要走。 3 。語音食殘 t t s 的最終露的是合成出語音來。在韻律分析中提取出了某話語中所糕要的熬 襻信息，萁焉袋骰的邂裰播這些瀚律信惑進行合成語膏信號。通常瀚律信怠主臻 镩現(xiàn)在對諉砉攘號躲時長援整( f i m e - s c a l e ) 裙基頻媲整( p i t c h - s c a l e ) 。熟粱得到了基繯 變化后的語譜儂息，還要根據(jù)相成語譜信息去含成所黹的信姆。 鞋妖褒整，就是鼴原來熬蘩號辯長遴符改交使之符合囂囂戇爵撩。斃黧弼考撬 到“我們”的“我”，它在詞中的時長要比單個調(diào)要稍耥短些，如糶以單個字作為 合成鼙元，就簧在覆來爵長躬基稿上進行縮減。兩萋贛規(guī)蒸辯反映在話語的音裔 上。如巢說話贛音調(diào)綴毫，則相碰艙基頻要丈。在會成這個字時，靄要憋基頻進 彳予提高。 2 3 傳統(tǒng)方法簡介 發(fā)聲合成( a r t i c u l a t o r ys y n t h e s i s ) 發(fā)聲合成試匿盡趕能建構(gòu)人類漿發(fā)謄器富，因此寅是一糖極其灌力鹱潢愚 人們高嗇質(zhì)要求的語音合成。另外一方面，它也是一種運算艇極大很難執(zhí)行的含 城方法f i 。蟹滋，比越其宅港啻合成方法來漤，這癸會成方法還沒蔣獲褥鎂大戇盛 助【3 】。 1 0 語音合成及其應(yīng)用研究 發(fā)聲合成涉及到人類的發(fā)音模型和聲門構(gòu)造。發(fā)音總是與聲門和口等器官相 關(guān)，第一個發(fā)聲合成就是基于從喉到嘴唇等發(fā)音器官的結(jié)構(gòu)合成出來的【”。對于基 于規(guī)則的合成，發(fā)音的控制參數(shù)大致為嘴唇，兩唇夾縫，舌頭高度，舌頭位置等f 7 】。 當(dāng)人們講話時，聲門肌肉伸縮導(dǎo)致其它發(fā)音器官移動和改變聲門，從而產(chǎn)生 很多種發(fā)音。發(fā)聲模型的參數(shù)通常是由自然語音的x 透射分析而得到的。事實上， 真正的聲門是三維，由于x 透射的物理因素，所得的數(shù)據(jù)是二維的。所以，由于 缺乏充分的數(shù)據(jù)支持，基于規(guī)則的發(fā)聲合成很難去真正模擬聲門的。另外，舌頭 的復(fù)雜運動也使得很難去模擬建構(gòu)。但是，發(fā)聲合成的最大優(yōu)點能夠追蹤聲音的 細微變化p 】。這是其它語音合成方法所不具備的，也是發(fā)聲合成作為以后最具有潛 力的合成方法的依據(jù)。 2 l p c 合成技術(shù) 線性預(yù)測是用來設(shè)計語音編碼，也可以用來合成語音。事實上，開始的語音合 成器就是源于語音編碼。線性預(yù)測是基于語音的濾波模型，這點與共振峰合成類 似。數(shù)字濾波系數(shù)是由自然的語音幀來估計的， 線性預(yù)測的理論基礎(chǔ)是，要在殘余信號e ( n ) 要盡量小情況下，當(dāng)前的語音樣本 y ( n ) p h 過去的有限的p 個樣本數(shù)據(jù)y ( n - 1 ) 到y(tǒng) ( n - p ) 估計或者預(yù)測。即當(dāng)前的語音信 號可由過去p 個信號來表示，寫成簡單的數(shù)學(xué)形式為： 上 y ( n ) ；e ( n 卜2 ：口( 七) + y ( 一一七) ( 2 - 2 ) 圖2 4l p c 合成示意圖 其中a ( k ) 被稱為線性預(yù)測系數(shù)，這種線性預(yù)測通常是在每幀最小均方誤差的條件下 進行。經(jīng)驗表明，自相關(guān)的預(yù)測比協(xié)方差預(yù)測來的要好些。l p c 合成的示意圖由 圖2 4 表示。其中l(wèi) p c 濾波器為全極點濾波器，其傳輸函數(shù)為 ( 2 3 ) a k 即為預(yù)測系數(shù)。在合成濁音時，利用基音周期產(chǎn)生激勵源，在合成清音時，以 第二章鞲音合成的背景翔識l l 鑫嗓聲為激勵源。穰合成_ i 耍程中，所使用酌激勵由濁音幫清音的脈沖多次訓(xùn)練而 得到。激勵的優(yōu)劣纛接影響到合成語音的音質(zhì)。為此，在l p c 的凝礎(chǔ)上，又產(chǎn)生 了c e l p c 、m p l p c 等改進的激勵模型。 3 共強峰合成 共振峰合成技本是最近幾十冬來研究的最為廣泛鮑，袋用共掇峰模型的合成 器。共振峰合成是將聲道視為一個諧振腔，腔體的諧振特性決定了信號的共振峰。 逶拳共振峰鼓寒有薅秘類爨：串整結(jié)橡_ 裙芳霉績擒，毽更多戇績構(gòu)是囂卷結(jié)合著 使用。共振峰合成技術(shù)通常需要必振峰的共掇峰頻率、帶寬、幅度參數(shù)和基音周 期等。有一點毽褥注意，莛振峰會成技術(shù)要產(chǎn)奄可理解靜譖音信號，至少要三個 熬振峰，要產(chǎn)生高質(zhì)量合成語音信號，楚少要由五個共振蟪。基于規(guī)則的共振峰 合成技術(shù)，需器一系歹i j 來決定用予合成語音所骺參數(shù)的規(guī)則。 霆2 。5 表零一個棗孬共擐蜂會成結(jié)魏 3 1 。 圖2 5串孬共強峰臺簸器 其中f l ，f 2 ，f 3 是分別是第一、第二和第三拭振峰。串行菇振峰技術(shù)懸由幾個寬帶共 振器( b a n d - p a s sr e s o n a t o r ) 串聯(lián)而戒。串彳予技術(shù)僅僅需要共振峰頻率來控制信息。串 褥技術(shù)的主要優(yōu)點在于元贅相關(guān)的共振峰幅度不需要人為斡控割。 圈2 6 則是并行興振峰合成的結(jié)構(gòu)p 】。顯然，并行菇振峰合成瓣是由幾個共振 器共移囂成豹，其串f l ，f 2 ，f 3 幫a i ，a 2 ，a 3 分裂對瘋蔫三令共掇蜂頻率秘 幅度。b w 對應(yīng)于各個共振峰的帶寬。有時對予鼻音而言，述要使用其它附加的必 振器。激藏簡時熱農(nóng)給所寄共振器，麗產(chǎn)生的語音信號剛建幾個信號豹輸出之和。 值彳導(dǎo)注意的是，并行結(jié)構(gòu)能夠人為控制每個共振峰的帶寬和增益，因此也需要更 多的控制信恿。 經(jīng)過人鍛襞究，發(fā)璦事囂縫捻暴于會殘菲賽音( n o n - n a s a l ) 之類瓣語夸，瞧懟予 摩擦音( f r i c a t i v e ) 和爆破音( p l o s i v e ) 等很難合成；而對予并行結(jié)構(gòu)確實很容易合成摩 擦音( f r i c a t i v e ) 察溪酸音( p l o s i v e ) ，廷是對予菜墊元音院較難予合成。為了結(jié)合兩者 優(yōu)點，已有人將兩者結(jié)合越來，使得合成的語鬻效果照好。 就弱前技術(shù)而言，拼撩合成技術(shù)的研究遠沈共掀峰合成廣泛。原因盎要有以 下幾點：( 1 ) 雖然共掇峰合成技術(shù)比拼接技術(shù)更為靈瀵，但是人們還沒存將冬季孛語 畝語音研究透徹，使得共振峰的優(yōu)點難以發(fā)揮出來：( 2 ) 現(xiàn)在雖然有很多參數(shù)用于 語音合成及其應(yīng)用研究 圈2 6并行共振峰合成器 共振峰合成，但是基于規(guī)則的語音合成使得這些參數(shù)很難加以控制，這也限制共 振峰技術(shù)的使用。( 3 ) 由于計算機的進一步發(fā)展，也使得拼接技術(shù)得以實現(xiàn)。拼接 合成技術(shù)主要是p s o l a 和m q m 。以下章節(jié)將詳細介紹這兩個合成方法以及相關(guān) 技術(shù)。 第三章p s o l a 臺戒方法 第三章p s o l a 合成方法 p s o l a ( p i t c h - s y n c h r o n o u so v e r l a pa d d ，基裔同步爨掬) 臺成方法是在8 0 年代宋 由f c h a r p e n t i e r 和e m o u l i n e s l 8 0 1 t 0 1 等人提出來的。這種方法比起前面的拱振峰食 成和l p c 合成等來講，能夠合成疑為自然的聲音。p s o l a 能夠靈活地對小基元， 鯉音素、音節(jié)等，進紓基頻、時長鞠短時瞧量等韻律特征的調(diào)整，這也使褥p s o l a 實際上轉(zhuǎn)變成一種基于規(guī)則的合成方法。 必7 使繕會殘辯基音溺步，箕孛涉及一耱綴重要瓣算法，幫蕊音標注。為戴， 在這章中將討論p s o l a 的來源、p s 0 l a 的合成方法以及基音標泣算法。 3 1p s o l a 的原理 p s o l a 寒源予建對媾墨磚變換重掇僖號靜疊熱法。番號x 戇短野簿墨跨交 換為： x 。( 8 ”p x ( m jw ( n - , n ) e - ” n z( 3 - 1 ) 其中甜( 仃) 是長度為n 的窗序列，z 為全體整數(shù)集。x 。( f 柚) 怒關(guān)于變量n 和刃的二 維時頻函數(shù)，對于n 的每個取值，都對應(yīng)于一個連續(xù)的頻譜函數(shù)，顯然存在很大 瓣冗余信息。為此，在每隧r 個櫸本取一個頻譜霍數(shù)，令： y r ( e 7 。雕n ( 日。) i l 阿r n , rg z ( 3 - 2 ) 其可邋變換為： y 瓣去 眇弦腳勘 州z 侈3 ) 然后將y f ( m ) 疊加便可以得到： “妒y r ( m ) 。x ( m ) 幫融一r r ) - - x ( m ) w ( r r m ) t n ez(3-4) r = - e o g a 于w ( n ) 是對稱的甯函數(shù)，所以商w ( n - r r ) = w ( r r - n ) 來說，警r 、n 4 時，無論m 為褥篷郡密： 量鼬刪m 警 可以證明，對于漢明窗 ( 3 5 ) 1 4 語音合成及其應(yīng)用研究 其中w ( e ”) 為w ( n ) 的傅里葉變換。于是有： y ( n 腳) 里字 ( 3 - 6 ) 上式說明疊加重構(gòu)的的信號y ( n ) 與原始信號x ( n ) 只相差一個常數(shù)因子。而對漢寧窗 來講，n 為偶數(shù)，r = n 2 時有： w ( r n 2 - m ) l v m( 3 7 ) 也就是說，如果x ( n ) 是一個周期為np 的濁音信號，則可以用長2 np 的漢寧窗截取 二個周期的信號，再以n p 的滯后間隔疊加，在周期性理想條件下可以無失真恢復(fù) 原始信號。 實際上，濁音信號并非理想的周期信號，語音合成所要做的也并非要無失真合 成信號，而是在韻律調(diào)整的要求下，對語音信號進行重構(gòu)。一般而言，是在譜均 方差最小的條件下進行合成，即在式( 3 - 8 ) 度量兩個信號x ( n ) 和y ( n ) 的譜距離： ?！緓 ( n ) ，y ( n ) 】- ；去l x ，( e 。) 一_ ( e 。) 1 2 d 國 ( 3 8 ) 其中x k ( p ”) 為n 2 t m 處的加窗短時信號q 0 一r 。) x ( n ) 的短式傅里葉變換：r ( e 。) 為n - - - t g 處的加窗短時信號甜：( n - - t 。) y ( n ) 的短式傅里葉變換； t m ) 和 g ) 為x ( n ) 和 y ( n ) 的基音標注。根據(jù)移位定理和p a r s e v a l 定理有： d x ( n ) ，y ( n ) 】- b p m 一( n + r 。) 】x ( 療+ f 。) - a t 2 i t g - ( n + t g ) 】y ( 珂+ f g ) 0n “ = 扣。( r 。- n ) x ( n + t 。一f g ) 一萬：( f g 一療) y ( 甩) ( 3 - 9 ) 要求合成信號y ( n ) 滿足譜距離最小，令： 型嬰掣：o o - t o ) 砂( n ) 可以得到合成信號y ( n ) 的表達式： 奶( ，# - n ) w 2 ( f 。- n ) x ( n - t p + r 。) y ( n 卜l 歷瓦二廠_ f ( 3 - 1 1 ) 式( 3 - 1 1 ) 即是在譜距離下最小的合成公式。若再加上一個短時幅度因子口。來調(diào) 整短時能量，則合成公式可變成： 第三章p s o l a 合成方法 口撕吼一n ) 吼( f 掌一n ) x ( n - t g + f 。) y ( n 產(chǎn)l 豪甄麗一 1 2 ) r 3 2p s o l a 合成方法 在上一節(jié)中，討論了p s o l a 方法的來源?，F(xiàn)在來具體討論怎樣應(yīng)用p s o l a 方法。p s o l a 戇核，豁算法燕基警標注。它把鏊音蠲麓靛完整性佟為傈涯波形及頻 譜連續(xù)的工作前提。因此酋先要對輸入的原始信號波形進彳予基音標注。濁音信號 有基裔周麓，麗清黹的波形接近予自嗓聲，所以在對濁音信號進行基音標注的同 時，為保證算法的一致性霹令溥贅的基巍周期為豢數(shù)戲做其它處理。p s o l a 方法 主要分為以下幾個步驟：( 1 ) 原始波形分析；( 2 ) 時間規(guī)整；( 3 ) 基頻艦整。以下就這 足令| 蠢題來逐一討論。 1 原始波形分析 巒萋音溺步分耩奩西q ) 對淼始數(shù)據(jù)x 加投褥翻靜短時信弩x 。0 1 ) ； x 。( n ) 地。( t m n ) x ( n )( 3 * 1 3 ) 菇中，t m 為驟始語音信號的基音標注點，h 。( n ) 一般敬漢明窗或漢寧窗，甯長一般 取為原始信號的基謄周期的2 型4 倍。罄會成語音信號，應(yīng)將短時分輯饋號x m ( n ) 修改成與合成的基音標注f 。同步的短時傣號并。( 打) ，同時將原始信號的基贅標注t 。 相應(yīng)修改為合成基督標注。基督標注的數(shù)日依賴于時間規(guī)整因子1 3 和基頻規(guī) 整因子九。 對( 3 1 2 ) 式斂一些遙當(dāng)熬變換，褥噬褥到【l l 】中豹豢，l 、乎方疊攘?xí)蚍?( 1 e a s t * s q u a r e so v e r l a p a d ds c h e m e ) 的公式： 。( n ) h , ( t q - n ) x ( 啦= ，：一 ( 3 - 1 4 ) 瑤( 0 - n ) g 其中h q ( 珂) 為合成語音信母的加留函數(shù)。短時能量因子a t 懸用來彌補進行基頻修 改時韻能量損失。該因子猩窄帶條件下接近予常數(shù)，在寬帶條件下當(dāng)合成窗長為 食成基費周期的兩饋時該鞭子也必常數(shù)。實際應(yīng)用時，對每個短辯信號終修改， 分析和合成窗函數(shù)采用同樣的窗函數(shù)，這樣合成過程就可以當(dāng)作一簡單的疊加過 程，( 3 ，1 4 ) 式可以麓純雋： 語音合成及其應(yīng)用研究 x ( ”) = x q ( ”) ( 3 1 5 ) 在t d - p s o l a 中，從x 。( n ) 到x 。( ”) 的映射只要選取一段x 。( n ) 信號，按延時序列 吒= f ，一r 。轉(zhuǎn)換成為x 。( ) ： x 口( n ) 2 x m ( n 一6 - ) = x m ( n + tm - r 口) ( 3 1 6 ) 2 時間規(guī)整 當(dāng)韻律要求該語句或詞語讀得慢一些或快些，這時就要進行時間規(guī)整。最簡 單的情況是時間規(guī)整因子b 為個常數(shù)。此時，從到t l l i 的映射簡化為尋找最接 近bt 。的k ( 時間規(guī)整和基頻規(guī)整的更為詳細討論在后續(xù)章節(jié)給出) 。簡單處理，當(dāng) 需要減慢語速時，基音標注的映射為幾個分析信號的重復(fù)；相反，當(dāng)語速加快時， 需要刪去短時信號重的某些波形。時間規(guī)整的基音標注的映射情況見圖3 1 ： f。ii。一：、 山盤釜蓬二二= = = 始刪 圖3 1時間規(guī)整的標注示意圖 3 基頻規(guī)整 基頻的調(diào)整是韻律中的另一個重要的內(nèi)容。當(dāng)某個語句或詞匯需要音量提高 時，此時要將基頻增加；當(dāng)音量減低時，則需要將基頻減少?；l規(guī)整同樣要有 規(guī)整因子 來找分析合成的基音標注的映射關(guān)系。圖3 2 和圖3 3 從波形合成的 方面來說明基頻規(guī)整。 r_r ”。7 。7 。7 j ，乃泌越求、 圖3 2 基頻增大的合成 第三章p s o l a 合成方法 圖3 3 基頻減少的合成 一般的韻律調(diào)黧，都要將時間規(guī)整和基頻規(guī)整組合起來。此時，為了方便合成 語音信號，需要將兩種情況的合成標注結(jié)合成一種。 4 各種p s o l a 的比較 在人們對p s o l a 研究的時候，提出了不同的合成方式。最為經(jīng)典的合成方法 為時域上的t d p s o l a 合成方法。t d p s o l a 由于是在時域上進行操作，具有計 算效率較高，實時處理非常有效的特點，并且可以與語音壓縮技術(shù)相結(jié)合。在頻 域上，提出了一種f d p s o l a 的合成方法。該方法需要較高的機器速度和存儲大 量的數(shù)字化語音單元的空間，是一種靈活的頻譜控制方法。而l p p s o l a 則是 t d p s o l a 和l p c 編碼技術(shù)相結(jié)合的方法。對這三種方法的進一步論述可見 1 2 1 中。在九十年代初，t h i e r r yd u t o i t 博士基于語音信號的多波段分析提出了一種 m r e p s o l a 方法【1 3 】。該方法能夠消除t d p s o l a 中存在的相位不匹配、語譜不 匹配等問題，但計算量非常大。 由以上可以看出，時域上的基音同步疊加合成方法的算法簡單，韻律修改靈活， 能夠合成音質(zhì)較好的語音信號。但是，該方法需要準確的標注出語音信號的激