多媒體技術(shù)及應(yīng)用第1頁本章內(nèi)容數(shù)字音頻基礎(chǔ)音頻卡工作原理音頻編碼音頻信息處理（核心章節(jié)）視覺媒體信息的處理（核心章節(jié)）

第2頁2.1數(shù)字音頻基礎(chǔ)數(shù)字音頻的采樣與量化音頻數(shù)字化：模擬音頻信號(hào)有限個(gè)數(shù)字表示的離散序列音頻的采樣：按一定的時(shí)間間隔（T）取值，得到x(nT).T稱為采樣周期，1/T稱為采樣頻率。稱x(nT)為離散信號(hào)。

常用的采樣頻率：8kHz,11.025kHz,22.050kHz,44.1kHz,8kHz，16kHz,48kHz.第3頁數(shù)字音頻的采樣與量化音頻的量化：先將整個(gè)幅度劃分為有限個(gè)小幅度（量化階距）的集合，把落入某個(gè)階距內(nèi)的樣本值歸為一類，并賦予相同的量化值。如果量化值是均勻分布的，稱為均勻量化。

設(shè)Δ為量化階距，Xmax為量化器最大范圍，則：對(duì)于樣值s,如果，則其量化值均為。2.1數(shù)字音頻基礎(chǔ)第4頁2.1數(shù)字音頻基礎(chǔ)音頻信息的采集（錄制）用MicrosoftWindows——錄音機(jī)進(jìn)行錄音，形成.wav格式文件。第5頁2.1數(shù)字音頻基礎(chǔ)音頻信息的采集（錄制）用CoolEditPro的錄音功能進(jìn)行錄音第6頁2.1數(shù)字音頻基礎(chǔ)音頻信息的采集（錄制）用Matlab語言實(shí)現(xiàn)錄音，存儲(chǔ)，播放（DEMO）％用單聲道錄音，存儲(chǔ)，播放Fs=11025;y=wavrecord(5*Fs,Fs,'double');wavplay(y,Fs);wavwrite(y,Fs,'testlininrecord.wav')％用雙聲道錄音，存儲(chǔ)，播放Fs=11025;y=wavrecord(5*Fs,Fs,2,'double');wavplay(y,Fs);wavwrite(y,Fs,'testlininrecord2.wav')探究式學(xué)習(xí)audiorecorder();audioplayer;pause();resume();play();stop();第7頁2.1數(shù)字音頻基礎(chǔ)音頻信息的顯示與理解聲音是由于空氣振動(dòng)產(chǎn)生的，其表現(xiàn)形式就是聲波。聲波的振幅決定音量的大小聲波的頻率決定音調(diào)第8頁wav文件格式wav文件：Microsoft公司的音頻文件格式。記錄聲音波形。利用該格式記錄的聲音文件能夠和原聲基本一致，質(zhì)量非常高，但這樣做的代價(jià)就是文件太大。wav文件所需存儲(chǔ)空間（byte/sec）采樣頻率(Hz)×量化位數(shù)(bit)×聲道數(shù)/82.1數(shù)字音頻基礎(chǔ)常用音頻文件格式第9頁2.1數(shù)字音頻基礎(chǔ)mp3數(shù)字音頻的文件格式

MPEG-1，Layer-3，擴(kuò)展名MP3：現(xiàn)在最流行的聲音文件格式，因其壓縮率大，在網(wǎng)絡(luò)可視電話通信方面應(yīng)用廣泛，但和CD唱片相比，音質(zhì)不能令人非常滿意。RealAudio數(shù)字音頻的文件格式RealAudio，擴(kuò)展名rm：壓縮比大，失真小。與MP3相同，它也是為了解決網(wǎng)絡(luò)傳輸帶寬資源而設(shè)計(jì)的，因此主要目標(biāo)是壓縮比和容錯(cuò)性，其次才是音質(zhì)。常用音頻文件格式第10頁2.1數(shù)字音頻基礎(chǔ)音頻信號(hào)的分類語音信號(hào)，有復(fù)雜的語義和語法信息（<4kHz）非語音信號(hào)，分為樂音和雜音（頻帶比較寬20Hz~20kHz）音頻信號(hào)處理的特點(diǎn)：時(shí)序性要求高，若有25ms延遲，人就會(huì)感到斷續(xù)。由于人接受聲音有兩個(gè)通道，理想的合成聲音應(yīng)是立體聲。第11頁2.2音頻卡工作原理音頻卡的功能和分類音頻錄制和播放編輯和合成MIDI和音樂合成文語轉(zhuǎn)換和語音識(shí)別游戲桿接口音頻卡第12頁2.2音頻卡工作原理音頻錄制和播放使用音頻卡錄制和播放聲音的過程常用音頻錄放采用：

數(shù)字化音頻采樣頻率范圍：8k～44.1kHz，8000,11025,22050,44100

量化器：8位/16位/24位通道數(shù)：立體聲/單聲道基本編碼方法：PCM（脈沖編碼調(diào)制）

壓縮編碼方法：ADPCM，CCITT(國(guó)際電話電報(bào)咨詢委員會(huì))A律，

CCITT律錄音聲源：麥克風(fēng)、立體聲線路輸入、CD

輸出功放：直接驅(qū)動(dòng)揚(yáng)聲器，且輸出音量可調(diào)

第13頁2.2音頻卡工作原理文語轉(zhuǎn)換和語音識(shí)別文語轉(zhuǎn)換（texttospeech）語音識(shí)別軟件（IBM—Viavoice，MicrosoftSoundSystem—VoicePilot，SoundBlaster—VoiceAssist）游戲棒接口可接一至兩個(gè)游戲棒。MIDI（MusicalInstrumentDigitalInterface）接口與音樂合成聲音的編輯與合成第14頁2.2音頻卡工作原理音頻卡的工作原理聲音的合成與處理混合信號(hào)處理器及功放計(jì)算機(jī)總線接口及控制器第15頁2.2音頻卡工作原理音頻卡的工作原理聲音的合成與處理（核心），完成聲波信號(hào)的A/D,D/A轉(zhuǎn)換，利用調(diào)頻技術(shù)控制聲音的音調(diào)、音色和幅度數(shù)字聲音處理器FM音樂合成器MIDI控制器混合信號(hào)處理器及功放，內(nèi)置D/A混音器，聲源可以是MIDI信號(hào)，線入，CD音頻，MIC，揚(yáng)聲器等。可選擇一或多聲源混合錄音。計(jì)算機(jī)接口與控制器，總線接口與控制器由數(shù)據(jù)總線雙向控制器、總線接口控制邏輯、總線中斷邏輯及DMA控制邏輯構(gòu)成。第16頁2.2音頻卡工作原理音頻卡的接口第17頁時(shí)域信息的冗余度語音幅度的非均勻分布（小幅度樣本出現(xiàn)概率高）樣本間的相關(guān)性（鄰近樣本之間樣本存在相關(guān)性）例：采樣頻率為8kHz時(shí)，相鄰取樣值之間相關(guān)系數(shù)大于0.852.3音頻編碼音頻編碼基礎(chǔ)FFT變換結(jié)果小幅度樣本出現(xiàn)概率高DEMOFreq_main.m第18頁時(shí)域信息的冗余度靜止系數(shù)（話音間隔是一種冗余）周期之間的相關(guān)性（某一聲音在特定瞬間內(nèi)，往往只是該頻帶內(nèi)的少數(shù)頻率成分起作用，且周期之間，存在相關(guān)性）2.3音頻編碼音頻編碼基礎(chǔ)第19頁2.3音頻編碼音頻編碼基礎(chǔ)時(shí)域信息的冗余度基音之間的相關(guān)性（男聲基音周期5~20ms，女聲基音周期2.5~10ms）?濁音：由聲帶振動(dòng)產(chǎn)生，激勵(lì)聲道的各股氣流之間的間隔稱為音調(diào)間隔或基音周期。濁音具有周期性（2~20ms）

?清音：分為摩擦音和爆破音兩種。比濁音更具隨機(jī)性。濁音段波形清音段波形8ms第20頁2.3音頻編碼音頻編碼基礎(chǔ)人的聽覺感知機(jī)理人的聽覺具有掩蔽效應(yīng)，可分為：

?同時(shí)掩蔽：強(qiáng)聲弱聲同時(shí)存在，強(qiáng)聲使弱聲難以聽見的現(xiàn)象

?異時(shí)掩蔽：聲音在不同時(shí)間先后發(fā)生，強(qiáng)聲使其周圍的弱聲難以聽見的現(xiàn)象。人耳對(duì)于不同頻段的聲音的敏感程度不同人耳對(duì)低頻端較之高頻端敏感人耳對(duì)語音信號(hào)的相位變化不敏感對(duì)于人耳聽不到或感知極不靈敏的聲音分量可以視為冗余第21頁2.3音頻編碼音頻編碼標(biāo)準(zhǔn)由國(guó)際電報(bào)電話咨詢委員會(huì)（CCITT）和國(guó)際標(biāo)準(zhǔn)化組織（ISO）提出音頻編碼建議G.711（1972）G.721（1984,1986修訂）G.722G.728（1992）MPEG（MovingPictureExpertGroup）DOLBYAC－3第22頁2.3音頻編碼幾種重要的音頻編碼——PCM脈沖編碼調(diào)制PCM（pulsecodemodulation）概念最簡(jiǎn)單，理論上最完善，應(yīng)用最廣泛的編碼系統(tǒng)數(shù)據(jù)量最大PCM編碼原理?防失真濾波器濾除聲音頻帶以外的信號(hào)（20Hz～20kHz）；?波形編碼器可理解為“采樣器”?量化器可理解為“量化間隔”生成器或“量化階大小”生成器

第23頁2.3音頻編碼量化的基本方法分為:均勻量化和非均勻量化均勻量化是指采用相等的量化間隔對(duì)采樣得到的信號(hào)作量化的方法，也稱為線性量化。非均勻量化是指采用不等的量化間隔對(duì)采樣得到的信號(hào)作量化的方法，也稱為非線性量化。

幾種重要的音頻編碼——PCM第24頁量化箱等寬，量化誤差大2.3音頻編碼幾種重要的音頻編碼——PCM?均勻量化第25頁?非均勻量化（非線性量化）

量化箱不等寬，可以在滿足精度要求的條件下，得到較高的壓縮率！2.3音頻編碼幾種重要的音頻編碼——PCM第26頁?量化特征曲線2.3音頻編碼幾種重要的音頻編碼——PCM非均勻量化特征曲線示意圖均勻量化特征曲線示意圖X(輸入)y(輸出)000001010011000001010011非均勻量化間隔第27頁?對(duì)于均勻量化而言量化級(jí)數(shù)越多，量化誤差越小，而壓縮率也小；量化級(jí)數(shù)越少，量化誤差越大，而壓縮率越大。矛盾2.3音頻編碼幾種重要的音頻編碼——PCM?采用相同量化級(jí)數(shù)，均勻量化與非均勻量化比較而言均勻量化——量化誤差大，但易于硬件實(shí)現(xiàn)；非均勻量化——量化誤差小，但難于硬件實(shí)現(xiàn)。第28頁2.3音頻編碼幾種重要的音頻編碼——PCM脈沖編碼調(diào)制PCM（pulsecodemodulation）律(

-law)壓擴(kuò)（非均勻量化，對(duì)數(shù)PCM）（G.711）主要用在北美和日本等地區(qū)的數(shù)字電話通信中，量化輸入和輸出之間的關(guān)系式中：x為輸入信號(hào)幅度，規(guī)格化成

為確定壓縮量的參數(shù)，它反映最大量化間隔和最小量化間隔之比，取第29頁2.3音頻編碼幾種重要的音頻編碼——PCM脈沖編碼調(diào)制PCM（pulsecodemodulation）

A律(A-law)壓擴(kuò)（另一種非均勻量化方法）（G.711）主要用在歐洲和中國(guó)等地區(qū)的數(shù)字電話通信中，量化輸入和輸出之間的關(guān)系式中：x為輸入信號(hào)幅度，規(guī)格化成A律壓擴(kuò)前一部分是線性的，其余部分與律壓擴(kuò)相同。A＝87.56第30頁2.3音頻編碼幾種重要的音頻編碼——PCM脈沖編碼調(diào)制PCM（pulsecodemodulation）對(duì)于采樣頻率為8kHz，樣本精度為13bit，14bit，16bit的輸入信號(hào)，使用律壓擴(kuò)編碼，經(jīng)過PCM編碼器之后，每個(gè)樣本的精度為8bit，輸出的數(shù)據(jù)率為64kb/s.

此數(shù)據(jù)即為CCITT推薦的G.711標(biāo)準(zhǔn)——

話音頻率脈沖編碼調(diào)制（PCMofVoiceFrequencies）第31頁2.3音頻編碼幾種重要的音頻編碼——PCMPCM在通信中的應(yīng)用頻分多路復(fù)用（Frequency-divisionMultiplexing,FDM）

把傳輸信道的頻帶分成幾個(gè)窄帶，每個(gè)窄帶傳送一路信號(hào)。?間隔240Hz，保證信道之間不相互干擾；?每對(duì)用戶僅占用一個(gè)信道；?模擬載波通信的主要手段。第32頁2.3音頻編碼幾種重要的音頻編碼——PCMPCM在通信中的應(yīng)用時(shí)分多路復(fù)用（Time-divisionMultiplexing,TDM）

把傳輸信道按時(shí)間分割，每個(gè)用戶指定一個(gè)時(shí)間間隔，每個(gè)間隔里傳輸信號(hào)的一部分。是數(shù)字通信的主要手段。舉例：若采樣頻率f=8000Hz，它的采樣周期=125，稱為1幀，一幀可容納的話路數(shù)有兩種規(guī)格：24路制和30路制。第33頁2.3音頻編碼幾種重要的音頻編碼——PCMPCM在通信中的應(yīng)用24路制的重要參數(shù)每秒傳送8000幀，每幀125每幀24個(gè)信道和1個(gè)同步位每個(gè)信道每次傳送8bit代碼，一幀共有8×24＋1＝193bit數(shù)據(jù)傳輸率：R＝8k×193＝1544kb/s每一個(gè)電話（每個(gè)信道）的數(shù)據(jù)傳輸率：R=8k×8＝64kb/s30路制的重要參數(shù)每秒傳送8000幀，每幀12516幀組成1個(gè)復(fù)幀（用于同步）每幀由32個(gè)時(shí)間片（信道）組成每個(gè)信道每次傳送8bit代碼數(shù)據(jù)傳輸率：R＝8k×32×8＝2048kb/s每一個(gè)電話（每個(gè)信道）的數(shù)據(jù)傳輸率：R=8k×8＝64kb/s第34頁2.3音頻編碼幾種重要的音頻編碼——PCMTDM技術(shù)已在數(shù)字電話網(wǎng)中廣泛應(yīng)用，反映PCM信號(hào)復(fù)用的復(fù)雜程度的指標(biāo)是“群（group）”一次群（基群）：30路（24路）（2048kb/s或1544kb/s）二次群：120路（96路）（8448kb/s或6312kb/s）三次群：480路（384路）（……）二次復(fù)用示意圖第35頁2.3音頻編碼幾種重要的音頻編碼——APCMAPCM（AdaptivePCM,自適應(yīng)脈沖編碼調(diào)制）

根據(jù)輸入信號(hào)幅度大小來改變量化階大小的波形編碼技術(shù)。分為：前向自適應(yīng)（ForwardAdaptation）和后向自適應(yīng)（BackwardAdaptation）?前向自適應(yīng)是根據(jù)未量化的樣本值的均方根值來估算輸入信號(hào)的電平，并以此確定量化階大小。并作為邊信息傳送到接收端。?后向自適應(yīng)是從剛輸出的過去樣本中提取量化階信息。由于收發(fā)兩段可以自動(dòng)生成量化階，不需傳送邊信息S(k)為發(fā)送端編碼器的輸入信號(hào)，Sr(K)為輸出端譯碼器的輸出信號(hào)。第36頁2.3音頻編碼幾種重要的音頻編碼——DPCMDPCM（DifferentialPCM,差分脈沖編碼調(diào)制）

利用樣本與樣本之間存在的信息冗余度來進(jìn)行編碼的一種數(shù)據(jù)壓縮技術(shù)。根據(jù)過去的樣本去估算下一個(gè)樣本信號(hào)的幅度的大?。A(yù)測(cè)值），然后對(duì)實(shí)際信號(hào)值與預(yù)測(cè)值之差進(jìn)行量化編碼。?

Se(k-1)是對(duì)S(k)的預(yù)測(cè)值，而不是過去樣本的實(shí)際值。對(duì)差值d(k)進(jìn)行量化編碼，用來補(bǔ)償過去編碼中產(chǎn)生的量化誤差。?

DPCM是一個(gè)負(fù)反饋系統(tǒng)，可以避免量化誤差的積累。?

發(fā)送端和接收端使用相同的逆量化器和預(yù)測(cè)器。重構(gòu)信號(hào)可以從Sr(k)獲得。第37頁2.3音頻編碼幾種重要的音頻編碼——ADPCMADPCM（自適應(yīng)差分脈沖編碼調(diào)制）

綜合了APCM的自適應(yīng)特性和DPCM系統(tǒng)的差分特性。自適應(yīng)改變量化階的大小，小的量化階編碼小的差值，大的量化階編碼大的差值。使用過去的樣本值估算下一個(gè)輸入的預(yù)測(cè)值，使實(shí)際樣本值與預(yù)測(cè)值之間差值最小。第38頁2.3音頻編碼幾種重要的音頻編碼——GSM編譯碼器GSM（GlobalSystemforMobileCommunications,全球數(shù)字移動(dòng)通信系統(tǒng)）1992年柏林技術(shù)大學(xué)根據(jù)GSM協(xié)議開發(fā)的。

GSM的輸入是幀(Frame)數(shù)據(jù)每幀20ms，由160個(gè)帶符號(hào)樣本組成采樣頻率8KHz每個(gè)樣本為13bit或16bit的線性PCM碼GSM編碼器把一幀（160×16bit）的數(shù)據(jù)壓縮成260bit的GSM幀，數(shù)據(jù)率為260×（1000/20)=13kb/s由于260位不是8位的整數(shù)倍，因此，編碼器輸出的GSM幀為264位的線性PCM碼。壓縮率的計(jì)算：未壓縮數(shù)據(jù)率為：8k×16位＝128Kb/sGSM壓縮后264×(1000/20)=13.2kb/s壓縮比近似10：1}第39頁2.4音頻信息的處理過去：硬件實(shí)現(xiàn)，設(shè)備昂貴，功能不靈活?，F(xiàn)在：軟件實(shí)現(xiàn)，數(shù)字信號(hào)處理，功能靈活。倒播(demo:wav_back.m)音量放大縮小(demo:musiclower.m)增加回音(demo:wav_echo.m)濾波(demo:voicefilter.m)聲音合成(demo:musicmerge.m)淡入和淡出(demo:wav_fade_in.m,wav_fade_out.m)交換聲道(demo:wav_exchange.m)第40頁2.4音頻信息的處理倒播(demo:wav_back.m)原聲聲音試聽倒播聲音試聽第41頁2.4音頻信息的處理音量的放大/縮小?用Matlab語言實(shí)現(xiàn)音量的縮?。╩usiclower.m）figure(1)origin=wavread('linein.wav');plot(origin)wavplay(origin,22050);figure(2)lower=origin/4;plot(lower)wavplay(lower,22050);

wavwrite(lower,22050,'lineinlower.wav');?音量的大小是和聲音信號(hào)幅值的大小有關(guān)的，對(duì)于相同的聲音信號(hào)（頻率相同），幅值越大，音量越大，幅值越小，音量越低。試聽原始聲音信息音量縮小后結(jié)果試聽第42頁2.4音頻信息的處理音量縮小后聲音波形的比較原始聲音波形音量縮小后聲音波形第43頁2.4音頻信息的處理聲音的濾波處理?用Matlab語言實(shí)現(xiàn)簡(jiǎn)單的聲音濾波（d:\chapter2\filter\voicefilter_mainf.m）?DEMO無噪聲有噪聲IIR帶通濾波器濾波后Note:ellip(…),8階橢圓低通數(shù)組濾波器，通帶(passband)允許起伏0.05db,阻帶(stopband)衰減最小值80dbIIR：無限沖激響應(yīng)；FIR有限沖激響應(yīng)第44頁2.4音頻信息的處理聲音的濾波處理?用Matlab語言實(shí)現(xiàn)簡(jiǎn)單的聲音濾波（voicefilter_mainf.m）v=wavread('hello2');o=voicefilter(v);wavplay(v,22050);wavplay(o,22050);wavwrite(o,22050,'hello_filtered');subplot(3,1,2);plot(v);xlabel('Time');ylabel('Mag.');subplot(3,1,3);sf=filter(b,a,v);plot(sf);xlabel('Time');ylabel('Mag.');out=sf;?voicefilter.mfunctionout=voicefilter(v)Fs=22050;[b,a]=ellip(8,0.05,80,[1504000]*2/Fs);subplot(3,1,1);[H,w]=freqz(b,a,512);(數(shù)字濾波頻率響應(yīng)函數(shù))plot(w*Fs/(2*pi),abs(H));xlabel('Frequency(Hz)');ylabel('Mag.offrequencyresponse');第45頁2.4音頻信息的處理聲音的濾波處理濾波器頻帶特性原始聲音信號(hào)濾波后聲音信號(hào)第46頁2.4音頻信息的處理聲音的合成?用Matlab語言實(shí)現(xiàn)簡(jiǎn)單的聲音合成（musicmerge.m）a=wavread('linein.wav');a=a/4;b=wavread('microphone.wav');a1=a(1:120000);b1=b(1:120000);c=a1+b1;wavplay(c,22050);wavwrite(c,22050,'merge.wav');?DEMO聲音1合成結(jié)果+聲音2第47頁2.4音頻信息的處理音頻卡的合成功能——混合信號(hào)處理器實(shí)驗(yàn)課后實(shí)驗(yàn)：LineinMP3＋WAV第48頁2.4音頻信息的處理增加回音(demo:wav_echo.m)v=wavread('linein.wav');w1=[v;zeros(10000,1)];w2=[zeros(10000,1);v];w3=w1+w2/2;wavplay(w3,22050);第49頁2.4音頻信息的處理聲音的淡入(demo:wav_fade_in.m)v=wavread('linein.wav');len=length(v);w=v;fori=1:(len/2)%淡入過程

w(i)=v(i)*i/(len/2);%線性漸強(qiáng)end%到一半處達(dá)到原始音量subplot(2,1,1);plot(v);subplot(2,1,2);plot(w);wavplay(w,22050);wavwrite(w,22050,'linein_grad_in.wav');第50頁2.4音頻信息的處理聲音的淡出(demo:wav_fade_out.m)v=wavread('linein.wav');len=length(v);w=v;fori=1:(len/2)%淡出過程

w(len-i)=v(len-i)*i/(len/2);end%從一半處開始線性衰減subplot(2,1,1);plot(v);subplot(2,1,2);plot(w);wavplay(w,22050);wavwrite(w,22050,'linein_grad_out.wav');

第51頁2.4音頻信息的處理交換聲道(demo:wav_exchange.m)v=wavread('lq.wav');len=length(v);w=v;fori=1:len%交換聲道

w(i,1)=v(i,2);%又不破壞原聲w(i,2)=v(i,1);endsubplot(2,2,1);plot(v(:,1),'r');subplot(2,2,2);plot(v(:,2));subplot(2,2,3)plot(w(:,1));subplot(2,2,4)plot(w(:,2),'r');wavplay(v,2*22050);wavplay(w,2*22050);wavwrite(w,2*22050,'lq_tc.wav');第52頁2.4音頻信息的處理交換聲道(demo:wav_exchange.m)變換之前：左聲道：渴望著血脈相通無限個(gè)千萬弟兄….（周杰倫《龍拳》）右聲道：渴望著血脈相通無限個(gè)千萬弟兄….

第53頁人機(jī)交互手段的變革2.4音頻信息的處理語音識(shí)別語音顯示器交互計(jì)算機(jī)系統(tǒng)音響鍵盤、鼠標(biāo)顯示器交互計(jì)算機(jī)系統(tǒng)第54頁人機(jī)交互計(jì)算機(jī)語言學(xué)(Computerphonetics)語音編碼(speechcoding)語音合成(speechsynthesis)語音識(shí)別(speechrecognition)語種識(shí)別(languageidentification)說話人識(shí)別(speakerrecognition)說話人確認(rèn)(speakerverification)2.4音頻信息的處理語音識(shí)別第55頁語音識(shí)別的發(fā)展和分類發(fā)展1952年，美國(guó)Davis等，世界第一套，識(shí)別10個(gè)英文數(shù)字發(fā)音試驗(yàn)系統(tǒng)50年代后期，我國(guó)第一套，識(shí)別漢語10個(gè)元音1960年，Denes等，第一個(gè)計(jì)算機(jī)語音識(shí)別系統(tǒng)70年代后期，小詞匯量、特定人、孤立詞識(shí)別研究取得成果，算法上主要有預(yù)測(cè)分析技術(shù)(LPC)、動(dòng)態(tài)時(shí)間規(guī)劃(DTW)、矢量化技術(shù)(VQ)2.4音頻信息的處理語音識(shí)別第56頁語音識(shí)別的發(fā)展和分類(Cont.)發(fā)展80年代開始，沿三個(gè)方向開始研究：特定人－>非特定人，孤立詞－>連續(xù)詞、小詞匯量－>大詞匯量算法：聚類、基于動(dòng)態(tài)規(guī)則的匹配80年代中期，隱馬爾可夫模型(HMM)為基礎(chǔ)的各種系統(tǒng)，美國(guó)CMU的Sphinx系統(tǒng)IBM的Tangora20和VoiceType3.0系統(tǒng)DRAGON公司的DragonDictate系統(tǒng)現(xiàn)在：關(guān)鍵時(shí)期，新模型、新方法及實(shí)用化系統(tǒng)研究2.4音頻信息的處理語音識(shí)別第57頁語音識(shí)別的發(fā)展和分類(Cont.)分類按識(shí)別詞匯量大小分小詞表語音識(shí)別(識(shí)別詞匯<100)中詞表語音識(shí)別(100<識(shí)別詞匯<1000)大詞表語音識(shí)別(識(shí)別詞匯>1000)按語音的輸入方式分孤立詞：以單音節(jié)或短語為條目，條目?jī)?nèi)音節(jié)連續(xù)，條目間有明顯停頓，如：0～9數(shù)字，人名、地名、控制命令、英語單詞、漢語音節(jié)、短語連接詞：多條目，需拆分連續(xù)語音：自然語言2.4音頻信息的處理語音識(shí)別第58頁語音識(shí)別的發(fā)展和分類(Cont.)分類按發(fā)音人特定人：用特定人聲音訓(xùn)練后使用限定人：多個(gè)特定人訓(xùn)練非特定人：不需要訓(xùn)練按實(shí)現(xiàn)技術(shù)分基于模板匹配的基于概率統(tǒng)計(jì)模型2.4音頻信息的處理語音識(shí)別第59頁音節(jié)性很強(qiáng)：每個(gè)字都是以單音節(jié)為單位，共有400多音節(jié)，加上四聲共1340個(gè)，識(shí)別基元少音節(jié)構(gòu)成，簡(jiǎn)單規(guī)整：聲母＋韻母、韻母有調(diào)語言：音節(jié)發(fā)音時(shí)間長(zhǎng)，有穩(wěn)定的有調(diào)段音節(jié)偕同發(fā)音與音變少優(yōu)勢(shì)難點(diǎn)2.4音頻信息的處理語音識(shí)別漢語語音識(shí)別漢語特點(diǎn)（相對(duì)于英語）同音字多內(nèi)涵語言，語義與上下文、語氣均關(guān)連，語法簡(jiǎn)單、變化靈活憑據(jù)-評(píng)劇-萍聚意義-異議-意譯中國(guó)隊(duì)大勝（大?。┟绹?guó)隊(duì)第60頁漢語語音識(shí)別漢語語音識(shí)別系統(tǒng)工作原理數(shù)據(jù)采集波形自動(dòng)切分預(yù)處理與特征參數(shù)提取聲學(xué)模型時(shí)間對(duì)準(zhǔn)組句分析識(shí)別結(jié)果整句輸出聲學(xué)基元模型庫語言模型庫統(tǒng)計(jì)信息與規(guī)則分幀后的語言特征矢量集合聲學(xué)音節(jié)候選語句候選語音流切分參數(shù)提取模板識(shí)別2.4音頻信息的處理語音識(shí)別第61頁漢語語音識(shí)別(Cont.)漢語語音識(shí)別系統(tǒng)工作原理連續(xù)語音流預(yù)處理：模擬語音數(shù)字化信號(hào)處理，包括帶通濾波、變換等波形切分：找出語音信號(hào)中的各種識(shí)別基元（音素、音節(jié)、半音節(jié)、聲韻母、單詞、意群）的起點(diǎn)和終點(diǎn)位置，將連續(xù)語音處理變?yōu)閷?duì)各個(gè)語言單元的處理特征參數(shù)提取：表達(dá)語音特征又能彼此區(qū)別的參數(shù)，是語音識(shí)別基礎(chǔ)如：線性預(yù)測(cè)參數(shù)、倒頻譜系數(shù)、………（Ref..\..\Chapter2\語音識(shí)別\倒頻譜系數(shù).doc）參數(shù)模板庫識(shí)別判決2.4音頻信息的處理語音識(shí)別第62頁漢語語音識(shí)別(Cont.)語音識(shí)別系統(tǒng)的最終目的不限制說話人，即非特定人不限制詞匯量，即基于大詞匯表不限制發(fā)音方式，即識(shí)別連續(xù)自然發(fā)音高識(shí)別率，應(yīng)達(dá)到人對(duì)自然語言的識(shí)別能力2.4音頻信息的處理語音識(shí)別第63頁漢語語音識(shí)別(Cont.)語音識(shí)別系統(tǒng)的困難使用者的差別大，排除差異、保留共性難（口音、年齡、性別、發(fā)音速度、發(fā)音強(qiáng)度、發(fā)音習(xí)慣）識(shí)別的詞匯量大,將導(dǎo)致系統(tǒng)的識(shí)別性能急劇下降而失去可用性，原因是：1）需要的時(shí)間和空間開銷多；2）詞與詞之間的差異細(xì)微；基元的識(shí)別有一定的局限性，而連續(xù)音識(shí)別又不能實(shí)現(xiàn)實(shí)用的系統(tǒng)要求高可靠性，因此參數(shù)的魯棒性、抗噪聲能力，環(huán)境適應(yīng)性等要求高，太復(fù)雜2.4音頻信息的處理語音識(shí)別第64頁漢語語音識(shí)別(Cont.)語音識(shí)別技術(shù)的應(yīng)用

作為人機(jī)交互的手段，語音識(shí)別是為了實(shí)現(xiàn)聽寫和命令控制辦公自動(dòng)化：在多種場(chǎng)合方便文件起草和編輯電話商業(yè)服務(wù)：電話和計(jì)算機(jī)語音識(shí)別的結(jié)合,將為語音識(shí)別開辟一個(gè)很大的應(yīng)用領(lǐng)域。2.4音頻信息的處理語音識(shí)別30/downloads/big/2005/01/02/0000033406.html4/pub/software/office/IBM的語音認(rèn)證系統(tǒng)第65頁漢語語音識(shí)別(Cont.)演示(Vista;WindowsPhone7Tellme;iPhone4sSiri)2.4音頻信息的處理語音識(shí)別/v_show/id_XMjk1NTcxODA=.html/v_show/id_XMjE0MDcwODQw.html/v_show/id_XMzEzMTk0Mjcy.html第66頁2.4音頻信息的處理說話人識(shí)別與語音識(shí)別的區(qū)別說話人識(shí)別（SpeakerRecognition,SR）：從相同的一段語言中，識(shí)別出是誰在講話。語音識(shí)別：關(guān)注說話的內(nèi)容，把其轉(zhuǎn)換成對(duì)應(yīng)的文字，主要用于語音信息錄入。而不關(guān)注是誰在講。第67頁2.4音頻信息的處理說話人識(shí)別技術(shù)說話人識(shí)別（SpeakerRecognition,SR）：以語音對(duì)說話人進(jìn)行區(qū)分，從而進(jìn)行身份鑒別與認(rèn)證的技術(shù)。SR基本問題：（1）如何選取能夠唯一表征人的有效而可靠的參量，如何對(duì)它進(jìn)行處理（2）如何規(guī)定相似性的測(cè)度，使相似性的計(jì)算既簡(jiǎn)單又可靠；（3）考慮到人的狀況在不斷變化，為使系統(tǒng)能夠可靠工作，如何使它的參考量不斷更新以適應(yīng)使用者。第68頁2.4音頻信息的處理說話人識(shí)別技術(shù)說話人識(shí)別常用技術(shù)（1）模板匹配法（2）概率模型法（如:HMM）（3）矢量量化法（VQ）第69頁2.5視覺媒體信息的采集視頻信息的采集計(jì)算機(jī)常用圖像及其獲取手段一張用掃描儀掃描的圖像2400dpi(dotperinch)圖形靜態(tài)圖像動(dòng)態(tài)圖像計(jì)算機(jī)軟件掃描儀視頻數(shù)字化設(shè)備數(shù)碼相機(jī)第70頁2.5視覺媒體信息的采集視頻信息的采集計(jì)算機(jī)常用圖像及其獲取手段第71頁2.5視覺媒體信息的采集視頻采集卡的分類和特點(diǎn)按輸入信號(hào)類型分為：數(shù)字視頻輸入卡模擬視頻輸入卡數(shù)字視頻卡USB接口：當(dāng)前最流行，低接口成本，傳輸速度（USB2.0為480Mbps，USB1.1為12Mbps

）1394接口：低接口成本(100-300元)，傳輸速度(30-40Mbps)CameraLink接口：接口成本(1萬元)，傳輸速度(>600Mbps)視頻信息的采集——視頻采集卡1394第72頁視頻采集卡的分類和特點(diǎn)(Cont.)模擬視頻卡黑白/彩色Video(包括：P制、N制和多制)分量輸入（包括：YUV（亮度和色差），電視臺(tái)常用；RBG，醫(yī)學(xué)上常用）S-Video輸入：亮度和色度分離壓縮卡、非壓縮卡2.5視覺媒體信息的采集視頻信息的采集——視頻采集卡第73頁視頻采集卡的供應(yīng)商及特點(diǎn)國(guó)外最大廠商：加拿大Matrox其次：比利時(shí)Euresys特點(diǎn)：價(jià)格高出國(guó)內(nèi)或合資一個(gè)數(shù)量級(jí)，信噪比高，多用于非批量及專業(yè)圖像處理2.5視覺媒體信息的采集視頻信息的采集——視頻采集卡第74頁視頻采集卡的供應(yīng)商及特點(diǎn)(Cont.)國(guó)內(nèi)最大廠商：大恒圖像

特點(diǎn)：支持多操作系統(tǒng)，各特殊需求或行業(yè)的技術(shù)支持強(qiáng)，適合中批量的產(chǎn)品開發(fā)合資企業(yè)：德加拉、圖碼

特點(diǎn)：低價(jià)格，不重視個(gè)性服務(wù)（或者說技術(shù)來源于國(guó)外其他企業(yè)，技術(shù)服務(wù)成本高），大量產(chǎn)品（硬盤錄像機(jī)）用臺(tái)灣：Liseview

特點(diǎn)：分工明確，研發(fā)、生產(chǎn)、銷售由不同的企業(yè)完成，OEM(OriginalEquipmentManufacturer)造成多品牌，單家企業(yè)生產(chǎn)，批量很大成本很低，適合家庭使用2.5視覺媒體信息的采集視頻信息的采集——視頻采集卡第75頁視頻采集卡的工作原理2.5視覺媒體信息的采集視頻信息的采集——視頻采集卡第76頁2.5視覺媒體信息的采集視頻采集卡的硬件安裝與VGA卡連接視頻信息的采集——視頻采集卡第77頁2.5視覺媒體信息的采集視頻采集卡的硬件安裝與VGA顯示器連接視頻信息的采集——視頻采集卡第78頁2.5視覺媒體信息的采集視頻采集卡的硬件安裝與視頻信號(hào)源的連接

視頻信息的采集——視頻采集卡視頻線（同軸電纜）第79頁2.5視覺媒體信息的處理圖像類型真彩色圖像(24bit)又稱RGB圖像，用R、G、B三個(gè)顏色分量表示一個(gè)像素的顏色，通過三基色可以合成出任意顏色。對(duì)一個(gè)尺寸為m×n的彩色圖像來說，在MATLAB中存儲(chǔ)為一個(gè)m×n×3的多維數(shù)組。圖像a中任意一點(diǎn)（x,y）處的像素值a(x,y,1:3);真彩色圖像可用“double”型存儲(chǔ)，亮度值的范圍[0,1]，(0,0,0)代表黑色，(1,1,1)代表白色真彩色圖像也可用“uint”型存儲(chǔ)，亮度值范圍[0,255]第80頁2.5視覺媒體信息的處理圖像類型索引色圖像不同顏色對(duì)應(yīng)不同序號(hào)，各像素存儲(chǔ)的是顏色的序號(hào)，而不是顏色本身。索引色圖像包含兩個(gè)結(jié)構(gòu)：調(diào)色板和圖像數(shù)據(jù)矩陣。最多64K。調(diào)色板是一個(gè)m×3的色彩映射矩陣，矩陣的每一行代表一種色彩，通過三基色顏色強(qiáng)度的雙精度數(shù)，形成一種特定的顏色。用Matlab的hot(m)產(chǎn)生一個(gè)m×3的調(diào)色板。顏色從黑經(jīng)過紅、橘紅、黃到白。第81頁2.5視覺媒體信息的處理圖像類型索引色圖像（Demo）Demo：每個(gè)豎線代表一個(gè)顏色索引但是具體顯示顏色由colormap決定imagesc(1:63);colormap(bone);colormap(pink);colormap(hot);Colormap有：Autumn，bone，colorcube，cool，copper，flag，gray，hotHsv，jet，lines，pink，prism，summer，white，winter第82頁2.5視覺媒體信息的處理圖像類型Demo：RGB—索引色m1=imread('cyx.JPG');imagesc(dither(m1,bone));imagesc(dither(m1,hot));imagesc(dither(m1,cool));imagesc(dither(m1,pink));imagesc(dither(m1,bone));colormap(bone);DITHERConvertimageusingdithering.X=DITHER(RGB,MAP)createsanindexedimageapproximationoftheRGBimageinthearrayRGBbyditheringthecolorsincolormapMAP.MAPcannothavemorethan65536colors.Demo：RGB—索引色RGB=imread('cyx.jpg');[X,map]=rgb2ind(RGB,16);imshow(X,map);IMAGESCScaledataanddisplayasimage.IMAGESC(...)isthesameasIMAGE(...)exceptthedataisscaledtousethefullcolormap.第83頁2.5視覺媒體信息的處理圖像類型灰度圖像灰度圖像只有強(qiáng)度信息，而沒有顏色信息。存儲(chǔ)灰度圖像只需要一個(gè)數(shù)據(jù)矩陣，每個(gè)元素表示對(duì)應(yīng)位置的像素的灰度值。灰度圖像的數(shù)據(jù)類型可以是double型，也可以是uint型。二值圖像只有黑白兩種值的圖像。每個(gè)像素只取0或者1兩個(gè)數(shù)。第84頁2.5視覺媒體信息的處理彩色空間（review）RGBHSV（HSI）：面向用戶的一種符合主觀感覺的色彩模型，比RGB更接近人們對(duì)顏色的感知。H（Hue）色度，表示顏色的種類；由0變到1，HSV顏色由紅變?yōu)辄S，綠、青（cyan）、洋紅（magenta）、然后變回紅色。S（Saturation）飽和度；由0變到1，顏色由不飽和變?yōu)轱柡?。V（Value）亮度；由0變到1，顏色越來越亮。第85頁2.5視覺媒體信息的處理彩色空間的理解DEMO:用PHOTOSHOP體會(huì)HSV和RGB彩色空間第86頁2.5視覺媒體信息的處理RGB圖像空間的理解DEMO:D:\Chapter2\imrender.m第87頁2.5視覺媒體信息的處理RGB圖像空間的理解如何繪制二次色圖呢？第88頁2.5視覺媒體信息的處理RGB圖像空間的理解RGB第89頁2.5視覺媒體信息的處理靜態(tài)圖像的文件格式圖形變換格式(graphicsinterchangeformat,GIF)由Compu-Serve公司于1987年為制定彩色圖像傳輸協(xié)議而開發(fā)的，它支持64000像素的圖像，256到16M色的調(diào)色板

支持一個(gè)文件包含多個(gè)子圖像（也稱子文件subfiles）圖像文件格式及其轉(zhuǎn)換GIF格式文件第90頁2.5視覺媒體信息的處理靜態(tài)圖像的文件格式圖形變換格式(graphicsinterchangeformat,GIF)

圖像文件格式及其轉(zhuǎn)換DEMO:用FLASH制作含多個(gè)子圖像的GIF格式文件制作步驟：（1）插入文本（2）右鍵，轉(zhuǎn)換為圖形元件（3）20幀處插入關(guān)鍵幀（4）用變形工具將文字變形（5）插入補(bǔ)間動(dòng)畫（6）發(fā)布設(shè)置，選中GIF（7）在GIF選項(xiàng)卡中將“動(dòng)畫”選中（8）導(dǎo)出成GIF格式動(dòng)畫第92頁2.5視覺媒體信息的處理靜態(tài)圖像的文件格式標(biāo)記圖像文件格式(tagimagefileformat,TIFF)，也支持一個(gè)文件包含多個(gè)子圖像圖像文件格式及其轉(zhuǎn)換TIFF格式文件第93頁2.5視覺媒體信息的處理靜態(tài)圖像的文件格式目標(biāo)圖像格式(targetimageformat,TGA)

TIPS軟件使用的文件格式。由描述圖像屬性的文件頭(header)和描述各點(diǎn)像素值的文件體（body）組成圖像文件格式及其轉(zhuǎn)換TGA圖像文件結(jié)構(gòu)原理圖第94頁2.5視覺媒體信息的處理靜態(tài)圖像的文件格式位圖(bitmap,BMP)與設(shè)備無關(guān)

Windows推薦使用位映射的存儲(chǔ)形式圖像文件格式及其轉(zhuǎn)換BMP圖像文件結(jié)構(gòu)原理圖第95頁2.5視覺媒體信息的處理動(dòng)態(tài)圖像的文件格式AVI格式文件轉(zhuǎn)換為MPEG格式DEMO(AimOne)DEMO(WinMPG)圖像文件格式及其轉(zhuǎn)換Drive.aviDrive.mpg第96頁2.5視覺媒體信息的處理動(dòng)態(tài)圖像的文件格式AVI格式文件轉(zhuǎn)換為.GIF格式圖像DEMO(AniMake)：用WindowsMovieMaker錄像，用AniMake進(jìn)行文件格式轉(zhuǎn)換，保存為序列GIF圖，改變播放速度，改變播放順序，改變圖片方向，在某（些）幀增加說明性文字。用Photoshop處理，然后返回保存圖像文件格式及其轉(zhuǎn)換Drive.aviDrive.gif第97頁用Matlab實(shí)現(xiàn)圖像的讀寫和顯示命令1:imread

Imread函數(shù)，用于讀入各種圖像文件舉例：img1=imread(‘huangguoshu.jpg’);命令2:imwriteImwrite函數(shù)，用于讀入各種圖像文件舉例：img1=imwrite(‘huangguoshu.jpg’);命令3:imageImage函數(shù)，用于顯示圖像文件舉例image(img1);2.5視覺媒體信息的處理視頻信息的處理——讀寫和顯示圖像文件第98頁用Matlab實(shí)現(xiàn)圖像的疊加效果（DEMO）m1=imread('koala.JPG');m2=imread('penguins.JPG');axes('position',[0011]);image((double(m1)/2+double(m2)/2)/256);colorbar;2.5視覺媒體信息的處理視頻信息的處理——圖像的疊加、二值化、邊緣提取用Matlab實(shí)現(xiàn)圖像的二值化m1=imread('koala.JPG');im2bw(m1);第99頁2.5視覺媒體信息的處理圖像信息的處理——邊緣提取與圖像切割用Matlab實(shí)現(xiàn)邊緣提?。ǚ椒ㄒ唬﹎1=imread('cyx.JPG');imshow(bwperim(im2bw(m1)));用Matlab實(shí)現(xiàn)邊緣提取（方法二）m1=imread('cyx.JPG');imshow(edge(rgb2gray(m1),'canny'));用Matlab實(shí)現(xiàn)圖像切割m1=imread('huangguoshu.JPG');subplot(1,2,1);axisequal;image(m1);subplot(1,2,2);axisequal;image(m1(300:1300,200:1200,:));試驗(yàn)另一種算子：‘prewitt’第100頁用Matlab實(shí)現(xiàn)移動(dòng)目標(biāo)提取（幀差法）functionimgdiffimg1=imread('i1.bmp');img2=imread('i2.bmp');h=figure(1);set(h,'Position',[1040300*3200]);sub1=subplot(1,3,1);set(sub1,'Position',[001/31]);image(img1);axisoff;sub2=subplot(1,3,2);set(sub2,'Position',[1/301/31]);image(img2);axisoff;sub3=subplot(1,3,3);set(sub3,'Position',[2/301/31]);image(uint8(abs(double(img2)-double(img1))));axisoff;return;2.5視覺媒體信息的處理視頻信息的處理——移動(dòng)目標(biāo)提取第101頁2.5視覺媒體信息的處理Demo（D:\Chapter2\imageprocessing\imgdiff.m）視頻信息的處理——移動(dòng)目標(biāo)提取背景圖一幀圖像幀差法處理后圖像第102頁2.5視覺媒體信息的處理基于文字本質(zhì)特征的方法視頻信息的處理——文字提取文字有線段構(gòu)成每個(gè)線段寬度基本相同每個(gè)線段長(zhǎng)寬比例適中第103頁2.5視覺媒體信息的處理Demo視頻信息的處理——文字提取原始視頻信息文字提取結(jié)果第104頁2.5視覺媒體信息的處理視頻信息的處理——文字提取系統(tǒng)構(gòu)成第105頁2.5視覺媒體信息的處理視頻信息的處理——文字提取系統(tǒng)工作原理OCR(OpticalCharacterRecognition,光學(xué)字符識(shí)別)中國(guó)OCR信息網(wǎng)

第106頁2.5視覺媒體信息的處理視頻信息的處理——文字提取OCR在線識(shí)別DEMO原文件。A.ImageCuttingandRotationAfterdetectingthecharacters,weshouldintegratesomesinglecharactersintoone