第2章語音信號處理的基礎(chǔ)知識2.1概述2.2語音和語言2.3漢語語音學(xué)2.4語音生成系統(tǒng)和語音感知系統(tǒng)2.5語音信號生成的數(shù)學(xué)模型2.6語音信號的特性分析2.1概述語音信號處理是用數(shù)字信號處理技術(shù)對語音信號進行分析和研究的學(xué)科，其目的：一是要得到反映語音信號重要特征的語音參數(shù)，以便高效的傳輸或儲存語音信號；二是要通過運算，實現(xiàn)語音信號的應(yīng)用，如語音合成、辨識講話者、識別講話內(nèi)容等等。2.2語音和語言人們講話時發(fā)出的話語叫語音，語音（Speech）是聲音（Acoustic）和語言（Language）的組合體。語音：是由一連串的音組成語言的聲音。2.2語音和語言人的說話過程可以分為五個階段：（1）想說階段（2）說出階段（3）傳送階段（4）接收階段（5）理解階段2.2語音和語言語音研究分為兩類：語言學(xué)：包括構(gòu)成語言的語素、詞、短語和句子等的不同層次的單位，以及詞法、句法、文脈等語法和語義內(nèi)容等。語言學(xué)是語音信號處理的基礎(chǔ)。語音學(xué)：考慮的是語音產(chǎn)生、語音感知等的過程以及語音中各個音的特征和分類等問題。語音學(xué)發(fā)展成為三個主要分支：發(fā)音語音學(xué)、聲學(xué)語音學(xué)、聽覺語音學(xué)。2.2語音和語言語音是一種聲波，聲波的特征屬性：音色：也叫音質(zhì)，指包含的諧波成分，聲音區(qū)別的基本特征。音調(diào)：聲波的頻率。音高：聲波的強度或者振動幅度決定。音長：發(fā)音的持續(xù)時間。2.2語音和語言音節(jié)：說話時發(fā)出的響亮中心，并被明顯感覺到的語音片段叫音節(jié)（Syllable）。英語單詞發(fā)音時，是幾個字母幾個字母地拼起來發(fā)音的，幾個拼起來發(fā)音的字母叫一個音節(jié)如單詞China，劃分成chi-na兩個音節(jié)，單詞international分成in-ter-na-tio-nal五個音節(jié)，單詞English劃分成Eng-lish兩個音節(jié)。而漢語則是一個字一個音節(jié)2.2語音和語言Yogurt有兩個音節(jié)yo-gurt2.2語音和語言Companions有3個音節(jié)，Com-pa-nions2.2語音和語言‘但我也愛星天’2.2語音和語言一個音節(jié)可以由一個音素（Phoneme）構(gòu)成，也可以由幾個音素構(gòu)成。音素：是語音發(fā)音的最小單位。分為元音（Vowel）和輔音（Consonant）兩類。2.2語音和語言中文‘星天’2.2語音和語言元音和輔音的區(qū)別：元音：元音是在發(fā)音過程中由氣流通過口腔而不受阻礙發(fā)出的音。發(fā)音時從肺部呼出的氣流通過起共振作用的口腔，阻力極小并無摩擦聲音的語音。輔音：呼出的聲流，由于通路的某一部分封閉起來或受到阻礙，氣流被阻不能暢通，而克服發(fā)音器官的這種阻礙而產(chǎn)生的音素稱為輔音。2.2語音和語言元音和輔音的區(qū)別元音另一個重要聲學(xué)特征就是共振峰：共振峰參數(shù)是區(qū)別不同元音的重要參數(shù)，它一般包括共振峰頻率（FormantFrequency）的位置和頻帶寬度（FormantBandwidth）。一般地說：區(qū)分語音是男聲還是女聲、是成人聲音還是兒童聲音，共振峰頻率的高低是重要因素。2.2語音和語言根據(jù)發(fā)音時聲帶是否振動，分為濁音和清音的區(qū)別。通常元音為濁音，輔音為清音，但也有一部分輔音發(fā)聲時，聲帶振動，因此輔音中有一部分是濁音。2.3漢語語音學(xué)漢語語音的特點：音系簡單。這是指音素少、音節(jié)少。音節(jié)的結(jié)構(gòu)也比較簡單。由于清輔音多，而且多是弱清音，而且開口呼的音節(jié)占全部音節(jié)的一半以上，所以漢語語音聽感上有清亮、高揚和舒服、柔和的感覺。有鮮明的輕重音和兒化韻，所以字詞分隔清楚，語言表達準(zhǔn)確而豐富。2.3漢語語音學(xué)漢語音節(jié)的一般結(jié)構(gòu)漢語的每個漢字是一個音節(jié)，音節(jié)一般由聲母、韻母和聲調(diào)三部分組成。更為細(xì)致的將一個音節(jié)劃分為9個部分，其中1～4段屬于聲母（輔音），6～9段屬于韻母（元音）。第5段是二者的過渡段。第7段（主要元音段）是每個音節(jié)是具有的。漢語中一般有五個聲調(diào)，即陰平、陽平、上聲、去聲以及輕聲。2.3漢語語音學(xué)漢語音節(jié)的一般結(jié)構(gòu)2.3漢語語音學(xué)漢字‘天’2.3漢語語音學(xué)漢語聲母的結(jié)構(gòu)聲母共有21個，[b]、[p]、[m]、[f]、[d]、[t]、[n]、[l]、[g]、[k]、[h]、[j]、[q]、[x]、[zh]、[ch]、[sh]、[r]、[z]、[c]、[s]，可分為六大類：擦音、塞音、塞擦音、邊音、鼻音、零聲母聲母除了零聲母外，其它都是單輔音2.3漢語語音學(xué)漢語韻母的結(jié)構(gòu)8個單韻母，如[a]、[i]、[u]等；14個復(fù)韻母，如[ai]、[ao]等；16個鼻韻母如[an]、[uang]等。應(yīng)該注意，元音并不等于韻母。元音、輔音是按音素的發(fā)音特征分類的；而聲母、韻母則是按音節(jié)結(jié)構(gòu)分類的。這是兩種不同的概念，盡管它們之間有一定的聯(lián)系。2.3漢語語音學(xué)聲母和韻母的相互作用——音征互載聲母和韻母的音征并不總是在各自的音段之內(nèi)，而且又可能跨越兩者的邊界，即聲母里可能會帶有韻母的信息，韻母里也可能帶有聲母的信息，如輔音音渡。2.3漢語語音學(xué)漢語的聲調(diào)漢語普通話的聲調(diào)只有陰平、陽平、上聲、去聲以及“輕聲”等五種聲調(diào)。聲調(diào)的變化就是濁音基音周期（或基音頻率）的變化，各個韻母段中基音周期隨時間的變化產(chǎn)生了聲調(diào)，變化的軌跡稱為聲調(diào)曲線。2.3漢語語音學(xué)漢語的聲調(diào)漢語普通話四種聲調(diào)的典型曲線：2.4語音生成系統(tǒng)和語音感知系統(tǒng)語音發(fā)音系統(tǒng)人的發(fā)音器官包括：肺、氣管、喉（包括聲帶）、咽、鼻和口。這些器官共同形成一條形狀復(fù)雜的管道。喉的部分稱為聲門。從聲門到嘴唇的呼氣通道叫做聲道（VocalTract）。聲道的形狀主要由嘴唇、顎和舌頭的位置來決定。由聲道形狀的不斷改變，而發(fā)出不同的語音。2.4語音生成系統(tǒng)和語音感知系統(tǒng)語音聽覺系統(tǒng)人耳由內(nèi)耳、中耳和外耳三部分組成。外耳由耳翼、外耳道和鼓膜構(gòu)成。外耳在對聲音的感知中起著聲源定位和聲音放大的作用。中耳包括由錘骨、砧骨和鐙骨這三塊聽小骨構(gòu)成的聽骨鏈以及咽鼓管等組成。中耳的作用是進行聲阻抗的變換，即將中耳兩端的聲阻抗匹配起來，同時對內(nèi)耳起著保護的作用。內(nèi)耳的主要構(gòu)成器官是耳蝸(Cochlea)。它是聽覺的受納器，把聲音通過機械變換產(chǎn)生神經(jīng)發(fā)放信號。2.4語音生成系統(tǒng)和語音感知系統(tǒng)聽覺系統(tǒng)2.4語音生成系統(tǒng)和語音感知系統(tǒng)語音聽覺系統(tǒng)：時頻分析和掩蔽時頻分析：如果信號是一個多頻率信號，則產(chǎn)生的行波將沿著基底膜在不同的位置產(chǎn)生最大幅度。耳蝸就象一個頻譜分析儀，將復(fù)雜的信號分解成各種頻率分量。掩蔽效應(yīng)：并非所有的聲音都能被人耳聽到，這取決于聲音的強度和其頻率范圍。心理聲學(xué)中的聽覺掩蔽效應(yīng)是指，在一個強信號附近，弱信號將變得不可聞，被掩蔽掉了。掩蔽效應(yīng)分為同時掩蔽和短時掩蔽。2.4語音生成系統(tǒng)和語音感知系統(tǒng)同時掩蔽2.4語音生成系統(tǒng)和語音感知系統(tǒng)短時掩蔽2.5語音信號生成的數(shù)學(xué)模型語音信號是非平穩(wěn)隨機過程短時分析：短段時間內(nèi)表示語音信號時，采用線性時不變模型。

2.5語音信號生成的數(shù)學(xué)模型聲道模型

語音信號的產(chǎn)生模型激勵模型輻射模型聲管模型共振峰模型級聯(lián)型并聯(lián)型混合型2.5語音信號生成的數(shù)學(xué)模型語音信號的數(shù)學(xué)模型完整的語音信號數(shù)字模型是：激勵模型、聲道模型和輻射模型的串聯(lián)。2.5語音信號生成的數(shù)學(xué)模型語音信號的數(shù)學(xué)模型U(z)是激勵信號，濁音時U(z)是聲門脈沖即斜三角形脈沖序列的z變換；在清音的情況下，U(z)是一個隨機噪聲的z變換。V(z)是聲道傳輸函數(shù)，既可用聲管模型，也可以共振峰模型等來描述。R(Z)是輻射模型，一階高通。2.5語音信號生成的數(shù)學(xué)模型激勵模型濁音激勵濁音:由于聲帶不斷張開和關(guān)閉，將產(chǎn)生間歇的脈沖波，因此濁音激勵波是一個以基音周期為周期的斜三角脈沖串，其數(shù)學(xué)表達式如下：2.5語音信號生成的數(shù)學(xué)模型由于單個斜三角波的z變換形式為：而斜三角波的脈沖串可以看成單位脈沖串通過斜三角波的濾波器，因此斜三角波脈沖串的模型是單位脈沖和斜三角波的乘積

2.5語音信號生成的數(shù)學(xué)模型清音激勵隨機白噪聲2.5語音信號生成的數(shù)學(xué)模型聲道模型共振峰模型一個元音用前三個共振峰來表示，而對于較復(fù)雜的輔音或鼻音，用前五個以上的共振峰?？梢越⑵鹑N實用的共振峰模型：級聯(lián)型、并聯(lián)型和混合型。

2.5語音信號生成的數(shù)學(xué)模型級聯(lián)型聲道是一組串聯(lián)的二階諧振器：從共振峰理論來看，整個聲道具有多個諧振頻率和多個反諧振頻率，所以它可被模擬為一個零極點的數(shù)學(xué)模型；對于一般元音，則用全極點模型，傳輸函數(shù)可分解表示為多個二階極點的網(wǎng)絡(luò)的串聯(lián)：2.5語音信號生成的數(shù)學(xué)模型級聯(lián)型如二階全極點傳遞函數(shù)其極點和頻譜響應(yīng)為：2.5語音信號生成的數(shù)學(xué)模型級聯(lián)型2.5語音信號生成的數(shù)學(xué)模型并聯(lián)型對于非一般元音以及大部分輔音，必須考慮采用零極點模型。此時，模型的傳輸函數(shù)如下：通常，N>R，則上式可分解為如下部分分式之和的形式：2.5語音信號生成的數(shù)學(xué)模型并聯(lián)型M=5時的并聯(lián)型共振峰模型2.5語音信號生成的數(shù)學(xué)模型混合型對于鼻化元音、阻塞音或摩擦音，腔體具有反諧振特性，必須考慮零點，使之成為零極點模型。將級聯(lián)模型和并聯(lián)模型結(jié)合起來的混合模型也許是比較完備的一種共振峰模型。2.5語音信號生成的數(shù)學(xué)模型混合型2.5語音信號生成的數(shù)學(xué)模型輻射模型輻射阻抗的公式如下：式中，，(a是口唇張開時的開口半徑)，c是聲波傳播速度輻射模型是一階類高通濾波器，其等價的z變換2.6語音信號的特性分析語音信號的特性：聲學(xué)特性時域波形頻譜特性統(tǒng)計特性

2.6語音信號的特性分析語音信號的時域波形和頻譜特性在時間域里，漢字‘天’的拼音“tian”的時間波形fs=8kHz，16bit。不同音素的差別。2.6語音信號的特性分析語音信號的時域波形和頻譜特性清輔音，波形類似于白噪聲，振幅很小，沒有明顯的周期性；元音具有明顯的周期性，且振幅較大。它們的周期對應(yīng)的就是聲帶振動的頻率，即基音頻率。2.6語音信號的特性分析語音信號的時域波形和頻譜特性語音信號屬于短時平穩(wěn)信號，一般認(rèn)為在10～30ms內(nèi)語音信號特性基本上是不變的，或者變化很緩慢。2.6語音信號的特性分析語音信號的語譜圖時域分析對語音信號的頻率特性沒有直觀的了解；而頻域分析出的特征中又沒有語音信號隨時間的變化關(guān)系。語音的時頻分析特性，用語譜圖（Sonogram，或者Spectrogram）表示2.6語音信號的特性分析語音信號的統(tǒng)計特性波形振幅概率密度函數(shù)統(tǒng)