浙江大學(xué)碩士學(xué)位論文 摘要 現(xiàn)代社會(huì)急速向信息社會(huì)發(fā)展，而多媒體技術(shù)是信息化中主要的技術(shù)環(huán)節(jié)之 一。目前，多媒體技術(shù)的發(fā)展，多媒體技術(shù)已滲透到各個(gè)學(xué)科領(lǐng)域和國民經(jīng)濟(jì)的 各個(gè)方面。伴隨著多媒體處理技術(shù)的標(biāo)準(zhǔn)化，有很多函數(shù)模塊都是幾乎樣的， 這就造成了在多媒體處理系統(tǒng)開發(fā)過程中存在很多的重復(fù)工作，耗費(fèi)大量人力物 力，而且開發(fā)時(shí)間也很長。為了降低多媒體系統(tǒng)開發(fā)的難度，本文提出了以這些 通用模塊為主體的多媒體處理庫，供多媒體系統(tǒng)開發(fā)者調(diào)用。 目前，多媒體系統(tǒng)的實(shí)現(xiàn)主要有3 類方法：一類是基于p c 機(jī)；二是使用專 門的多媒體a s i c 芯片；還有可編程通用d s p 。數(shù)字多媒體處理器是一種專門針 對多媒體處理的d s p ，為了適合多媒體數(shù)據(jù)處理，其處理器結(jié)構(gòu)經(jīng)過了特別優(yōu)化 設(shè)計(jì)，而且提供了豐富的多媒體處理指令集。d m 6 4 2 是t l 公司新一代高性能多 媒體處理器，它是專門用于多媒體系統(tǒng)應(yīng)用的高性能d s p ，運(yùn)算能力達(dá)到 4 8 0 0 m i p s ，而且具有豐富的外圍接口，是目前多媒體系統(tǒng)實(shí)現(xiàn)的理想平臺之一。 本文首先介紹了多媒體庫框架及實(shí)現(xiàn)的函數(shù)類，對主要函數(shù)進(jìn)行了分析，特 別是對多媒體函數(shù)進(jìn)行分層封裝，用戶可以根據(jù)對多媒體的了解程度和需要來調(diào) 用相應(yīng)的函數(shù)。然后詳細(xì)介紹了多媒體庫優(yōu)化的物理基礎(chǔ)一- - d m 6 4 2 。重點(diǎn)介紹 了體系結(jié)構(gòu)，指令執(zhí)行流程，指令集。在簡單介紹了視頻處理庫的優(yōu)化軟件平臺 c c s 之后，從m p e g 4 以及h 2 6 4 編碼器結(jié)構(gòu)調(diào)整，存儲器的優(yōu)化，代碼優(yōu)化3 個(gè) 方面對編解碼庫優(yōu)化方法進(jìn)行了重點(diǎn)介紹和分析，并給出相應(yīng)的實(shí)驗(yàn)優(yōu)化結(jié)果。 最后對本文的工作進(jìn)行了總結(jié)，并提出了今后的工作方向。 關(guān)鍵詞多媒體處理庫，d m 6 4 2 ，優(yōu)化，編解碼 沲江大學(xué)碩士學(xué)位論文 a b s t r a c t t h em o d e m s o c i e t yi sr a p i d l yd e v e l o p i n gt oi n f o r m a t i o ns o c i e t y , w h i l em u l t i m e d i ai so n eo f t h em o s ti m p o r t a n tt e c h n o l o g i e sd u r i n gt h ed e v e l o p m e n tm u l t i m e d i at e c h n o l o g yh a sm e r g e di n t o m a n ya s p e c t so f t h en a t i o n a le c o n o m y w i t ht h es t a n d a r d i z a t i o no f m u l t i m e d i ap r o c e s s i n gt e c h n o l o g y , s o m em o d u l e ，s u c ha st h es a d ，e x i s ti na l w a y se v e r ym u l t i m e d i as y s t e m a st h er e s u l t , w e c o n c l u d eam u l t i m e d i ap r o c e s s i n gl i b r a r yb a s e do nd s p , w h i c hf a c i l i t a t et h em u l t i m e d i as y s t e m d e v e l o p m e n tb a s e do nd s e c u u r e n t l y , t h ei m p l e m e n t a t i o no f t h em u l t i m e d i as y s t e mi sa sf o l l o w s ：( 1 ) m u l t i m e d i as y s t e m b a s e do f ft h ep c ( 2 ) u s i n gt h ea s i cc h i pf o rm u l t i m e d i as y s t e m ( 3 ) u s i n gt h ed s pe s p e c i a l l yf o r t h ed i g i t a lm u l t i m e d i a t h eh a r d w a r es t r u c t u r eo fd s pp r o c e s s o rc o r ei se s p e c i a l l yd e s i g n e df o r m u l t i m e d i ad a t ap r o c e s s i n g n o to n l yp l e n t i f u l m u l t i m e d i ad a t ap r o c e s s i n gi n s t r u c t i o n sa r e a v a i l a b l e ，b u ta l s oi ti sm o r ef l e x i b l ef o ri m p l e m e n t a t i o no fm u l t i m e d i as y a t e mp r o c e s s i n g t h e i m p l e n t m e n tu s i n gd s pc a r ls h o r t e nt h et i m et om a r k e ta n do f f e rc o n v e n i e n c ef o ru p g r a d i n ga n d r e p r o g r a m m i n g d m 6 4 2i st h en e wg e n e r a t i o nd a t as i g n a lp r o c e s s o re s p e c i a l l yf o r m u l t i m e d i a p r o c e s s i n g ，w h i c ho f f e r si n d u s t r y - l e a d i n gp e r f o r m a n c e a tt h e6 0 0m h z ，d m 6 4 2o f f e r st h e p r o c e s s i n gc a p a b i l i t y o ft h e4 8 0 0m i p s s o ，d m 6 4 2i sa l li d e a lp l a t f o r mf o rm u l t i m e d i a a p p l i c a t i o n s f i r s t ，t h em u l t i m e d i ap r o c e s s i n gl i b r a r yi sp r o p o s e d t h em u l t i m e d i ap r o c e s s i n gl i b r a r y i s e n c a p s u l a t e di ns e v e r a ll e v e lf u n c t i o n s t h el o w e rf u n c t i o nc a nc o n s t r u c t e dt h eh i g h e rf u n c t i o n s e c o n d l y , d m 6 4 2 ，w h i c hi st h ep h y s i c a lb a s e m e n tf o rt h eo p t i m i z a t i o no f t h el i b r a r y , i sa n l a y s e d - a n dt h ef o l l o w si st h ee m p h a s e so f t h ep a p e r a f t e ri n t r o d u c i n gc c s ，w h i c hi ss o f t w a r ep l a t f o r m f u rt h eo p t i m i z a t i o n ，t h em o t h e d s ，w h i c ha l eu s e dt oo p t i m i z et h em u l t i m e d i ap r o c e s s i n gl i b r a r y a r ed r e s e n t e d t h em e t h o d sc o v e rt h r e ea s p e c t s ：t h ea d j u s t m e n to f c o d e cf r a m e w o r k ；t h es e t t i n g o fm e m o r ya l l o c a t i o n ；t h eo p t i m i z a t i o no ft h ec o d e s i nt h ee n d ，t h e r ei sa b o u tc o n c l u s i o na n d t a 矗sj nt h ef u t u r e k e y w o r d s ：m m l ，d m 6 4 2 ，o p t i m i z a t i o n ，c o d e c 2 浙江大學(xué)碩士學(xué)位論文 第一章音視頻編碼技術(shù)概述 1 1 引言 伴隨著微電子技術(shù)的不斷發(fā)展，各種多媒體的處理技術(shù)也有了k 足的進(jìn)步，從音視頻壓 縮，語音識別，到圖像識別無不成為目前的研究熱點(diǎn)。經(jīng)過十幾年乃至幾十年的研究，很多 的多媒體技術(shù)已經(jīng)比較成熟，逐漸在各種行業(yè)得到了應(yīng)用。在多媒體技術(shù)應(yīng)用過程中，主要 的實(shí)現(xiàn)途徑包括基于p c 上的實(shí)現(xiàn)，基于a s i c 的實(shí)現(xiàn)，基于嵌入式系統(tǒng)的實(shí)現(xiàn)三種方式。 基于p c 上實(shí)現(xiàn)主要利用p c 豐富的軟硬件資源，可以快速的建立應(yīng)用系統(tǒng)，這種方式易于 實(shí)現(xiàn)；而基于a s i c 的應(yīng)用，比較適合大規(guī)模的應(yīng)用，可以降低這種應(yīng)用系統(tǒng)的成本；而嵌 入式系統(tǒng)的實(shí)現(xiàn)介于二者之間，可以在比較豐富的軟件資源的基礎(chǔ)上編程實(shí)現(xiàn)多媒體應(yīng)用， 但是，嵌入式系統(tǒng)的開發(fā)對于開發(fā)工程師的要求比較高，不但需要知道系統(tǒng)開發(fā)的軟硬件知 識外，還要了解多媒體技術(shù)的知識細(xì)節(jié)，這些要求也一直是嵌入式多媒體系統(tǒng)開發(fā)的一個(gè)很 大的難點(diǎn)。 d s p 作為一種運(yùn)算能力相當(dāng)出色的c p u ，在嵌入式多媒體處理的應(yīng)用開發(fā)中占有重要 的地位。t l 的c 6 0 0 0 系列d s p 以其獨(dú)特的體系結(jié)構(gòu)和強(qiáng)大的運(yùn)算能力，十分適合在多媒體 的音視頻處理中應(yīng)用。當(dāng)前在嵌入式多媒體處理系統(tǒng)的開發(fā)過程中，除了系統(tǒng)的軟硬件開發(fā) 外，開發(fā)者還要注重考慮在c 代碼的基礎(chǔ)上多媒體技術(shù)的具體實(shí)現(xiàn)，針對d s p 特有的體系 結(jié)構(gòu)，在匯編層面對系統(tǒng)進(jìn)行優(yōu)化的，這樣才能體現(xiàn)出d s p 相對于其他處理器的優(yōu)點(diǎn)，發(fā) 揮d s p 在多媒體處理方面的強(qiáng)大的能力。因此在系統(tǒng)的開發(fā)過程中，要求既對多媒體的算 法有相當(dāng)?shù)牧私?，又對d s p 的低層體系結(jié)構(gòu)和匯編語言比較熟悉，這對開發(fā)工程師來說是 一個(gè)非常大的挑戰(zhàn)。而且，在多媒體系統(tǒng)開發(fā)過程中存在很多的同樣的工作，在每次開發(fā)一 個(gè)系統(tǒng)的時(shí)候，都需要重復(fù)很多復(fù)雜而又艱難的工作，耗費(fèi)大量人力物力，而且開發(fā)時(shí)間也 很長，例如在m p e g l ，m p e g 2 ，m p e g 4 ，1 - 1 2 6 3 ，h 2 6 4 等各種編解碼標(biāo)準(zhǔn)中，有很多函數(shù)模塊都 是兒乎一樣的，如塊的d c t 變換函數(shù)，還有宏塊求s a d 函數(shù)等等。本文根據(jù)各多媒體標(biāo)準(zhǔn) 和常用的多媒體操作，提出各類通用的函數(shù)，并在t ic 6 0 0 0 平臺上予以優(yōu)化，開發(fā)出多媒 體處理函數(shù)庫，這樣可以在開發(fā)過程中自由調(diào)用從而充分發(fā)揮d s p 處理能力，而且縮短多 媒體系統(tǒng)開發(fā)時(shí)間。由丁二多媒體處理涉及面廣，包括了音頻、視頻、圖像、圖形、文字等等 的處理整個(gè)函數(shù)庫比較龐大，本文則主要研究視頻編碼部分，下面對多媒體處理特別是編碼 浙江大學(xué)碩士學(xué)位論文 的技術(shù)及編碼的標(biāo)準(zhǔn)發(fā)展進(jìn)行闡述。 1 2 音視頻壓縮標(biāo)準(zhǔn)及發(fā)展 1 2 1 壓縮編碼技術(shù) 多媒體信息主要包括文字、聲音、圖像、圖形、和視頻等內(nèi)容。各種媒體信息，特別是 圖像和動(dòng)態(tài)視頻，數(shù)據(jù)量非常之大。例如：一幅6 4 0 x 4 8 0 分辨率的2 4 位真彩色圖像的數(shù)據(jù) 量約力9 0 0 k b ；一個(gè)1 0 0 m b 的硬盤只能存儲約1 0 0 幅靜止圖像畫面。顯然，這樣大的數(shù)據(jù) 量不僅超出了計(jì)算機(jī)的存儲能力，更是當(dāng)前通信信道的傳輸速率所不及的。因此，為了存儲、 傳輸這些數(shù)據(jù)，必須進(jìn)行壓縮。所謂壓縮，就是去除信息中的相關(guān)性，也即冗余，使得用更 少的介質(zhì)能夠存儲和傳輸更多的信息。視頻中的冗余包括圖像畫面中相鄰的象素之問的相關(guān) 性造成的空間冗余，運(yùn)動(dòng)圖像中前后幀圖像之間的相同的背景和對象而造成的時(shí)間冗余，實(shí) 際平均碼長與信息熵之間的差距造成的編碼冗余，因人眼視覺非均勻性，可以去除而不引起 主觀質(zhì)量下降的視覺冗余，以及一些先驗(yàn)知識造成的知識冗余。 壓縮編碼技術(shù)從壓縮前后是否有信息損失來分，有無損壓縮和有損壓縮兩類。無損壓 縮指對壓縮后的數(shù)據(jù)進(jìn)行還原，解壓縮后的數(shù)據(jù)與原來的數(shù)據(jù)完全相同。一般用于要求重構(gòu) 的信號與原始信號完全一致的場合。無損壓縮算法主要特點(diǎn)是壓縮比較低，為2 ：1 5 ：1 ，一 般用米壓縮文本數(shù)據(jù)。由于壓縮比的限制，僅使用無損壓縮方法不可能解決圖像和數(shù)字視頻 的存儲和傳輸問題。有損壓縮是指對使用壓縮后的數(shù)據(jù)進(jìn)行重構(gòu)，重構(gòu)的數(shù)據(jù)與原來的數(shù) 據(jù)有所不同，但不影響人對原始資料表達(dá)的信息造成誤解。有損壓縮算法主要特點(diǎn)是壓縮比 高，為幾十到幾百倍。一般用于圖像，聲音，視頻壓縮。 在多媒體應(yīng)用中常用的具體壓縮方法有：脈沖編碼調(diào)制、統(tǒng)計(jì)編碼、預(yù)測編碼、變換編 碼、混合編碼，這些編碼方法都廣泛的應(yīng)用于多媒體壓縮標(biāo)準(zhǔn)中。統(tǒng)計(jì)編碼是指根據(jù)消息出 現(xiàn)概率的分布特性而進(jìn)行的壓縮編碼。其中典型的算法有行程編碼h u f f m a n 編碼、l z w 編 碼、算術(shù)編碼等。預(yù)測編碼的算法是先對原始模擬信號作脈沖取樣，把實(shí)際樣值與預(yù)測樣值 之間的差進(jìn)行量化。解壓時(shí)，也用同樣的預(yù)測器，把預(yù)測出的值與己存儲的量化后差值相加， 產(chǎn)生近似的原始信號。變換編碼是指先對信號進(jìn)行某種函數(shù)變換，從一種信號空間變換到另 一種信號空間，再對變換后的信號進(jìn)行編碼?；旌暇幋a則是使用兩種或兩種以上的編碼方法 4 浙江大學(xué)碩士學(xué)位論文 混合進(jìn)行編碼稱為混合編碼，能提高數(shù)據(jù)壓縮的效率。例如：多媒體圖像壓縮標(biāo)準(zhǔn)中都采用 混合編碼如j p e g ，m p e g 等。 1 2 2 視頻壓縮標(biāo)準(zhǔn) 視頻壓縮是多媒體領(lǐng)域中的重要內(nèi)容，自上世紀(jì)8 0 年代，針對視頻會(huì)議、網(wǎng)絡(luò)通訊、 數(shù)字廣播等廣泛的應(yīng)用場合制定了一系列的標(biāo)準(zhǔn)。國際上主要的視頻編解碼標(biāo)準(zhǔn)有兩大系 列：國際標(biāo)準(zhǔn)化組織和國際電工委員會(huì)第一聯(lián)合技術(shù)組( i s 0 i e cj t c l ) 制定的m p e g 系列 標(biāo)準(zhǔn)；i t u 針對多媒體通信制定的 l2 6 x 系列視頻編碼標(biāo)準(zhǔn)。此外，伴隨著視頻編解碼技 術(shù)的進(jìn)步和標(biāo)準(zhǔn)的更新?lián)Q代，一些組織又提出了方案更簡潔，知識產(chǎn)權(quán)政策更明晰的視頻標(biāo) 準(zhǔn)a v s 。伴隨著多媒體技術(shù)標(biāo)準(zhǔn)化發(fā)展的過程中，一些公司也提出了自己的標(biāo)準(zhǔn)。 從最早的h 2 6 1 視頻編碼提案，經(jīng)過h 2 6 2 、h 2 6 3 、m p e g l 、m p e g 2 以及現(xiàn)在不斷發(fā) 展的m p e g 4 等等視頻編碼標(biāo)準(zhǔn)，他們都有一個(gè)共同的目標(biāo)，就是實(shí)現(xiàn)在盡可能低的碼率情 況下獲得盡可能高的圖像質(zhì)量。這也促使i s o i e c 和1 t u 兩大國際標(biāo)準(zhǔn)化組織聯(lián)合起來制 定了新一代視頻編碼標(biāo)準(zhǔn)h 2 6 4 。下面簡要回顧一下主要視頻編碼標(biāo)準(zhǔn)的發(fā)展歷程如圖1 1 。 攀+ 耄獺湖獺罐募瞞蠛 圖11 音視頻標(biāo)準(zhǔn)發(fā)展史 h 2 6 1 頒布于1 9 9 0 年，是最早出現(xiàn)的視頻編碼提案，目的是用于將網(wǎng)絡(luò)視頻會(huì)議和可 視電話業(yè)務(wù)等的視頻編碼技術(shù)納入到一個(gè)規(guī)范中，標(biāo)準(zhǔn)的輸入的圖像為c i f ( 3 5 2 x 2 8 8 ) 或者 q c i f ( 1 7 6 x 1 4 4 ) ，幀率小于3 0 ，輸出碼率為p x 6 4 k b p s ，其中l(wèi) p 3 0 ，在i s d n 信道上最高 浙江大學(xué)碩士學(xué)位論文 傳輸率為1 9 2 m b p s ，足以傳輸v h s 質(zhì)量的視頻信號。h 2 6 1 的編碼方案是基于運(yùn)動(dòng)補(bǔ)償， 幀問預(yù)測，和d c t 的混合編碼算法。將每幀圖像分成8 x 8 的子塊，再組成宏塊、塊組，宏 塊由4 個(gè)8 x 8 的亮度塊和2 個(gè)8 x 8 的色度塊組成，每個(gè)塊組由3 x 1 1 個(gè)宏塊組成，形成一個(gè) 多層次的塊組結(jié)構(gòu)。h 2 6 1 標(biāo)準(zhǔn)大體上分為兩種編碼模式：幀內(nèi)模式和幀間模式。對于緩和 運(yùn)動(dòng)的人頭像，幀間編碼模式將占主導(dǎo)位置；而對畫面切換頻繁或運(yùn)動(dòng)劇烈的序列圖像，則 幀間編碼模式要頻繁地向幀內(nèi)編碼模式切換。以后的視頻編碼標(biāo)準(zhǔn)也以此為基礎(chǔ)，不斷加入 一些新的技術(shù)。 1 9 9 3 年i s o i e c 制定了m p e g 一1 標(biāo)準(zhǔn)，它是針對1 5 m b i t s 速率的數(shù)字存儲媒體運(yùn)動(dòng)圖 像及其伴音編碼制定的國際標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)的制定使得后來的基于c d - r o m 的數(shù)字視頻等產(chǎn) 品成為可能。標(biāo)準(zhǔn)的輸入圖像格式為3 5 2 x 2 4 0 x 3 0 或者3 5 2 x 2 8 8 x 2 5 ，輸出碼率為1 5 m ，其 中1 1 m b i t s 用于視頻。m p e g 1 的編碼方案，同樣是基于運(yùn)動(dòng)補(bǔ)償，幀間預(yù)測，和d c t 的 混合編碼算法。為了追求高的壓縮效率，去除圖像序列的時(shí)間冗余度，同時(shí)滿足多媒體等應(yīng) 用所必須的隨機(jī)存取要求，m p e g 1 視頻把圖像編碼分成i 幀、p 幀、b 幀和d 幀共4 種類 型。i 幀為幀內(nèi)編碼幀，編碼時(shí)采用幀內(nèi)d c t 編碼；p 幀為預(yù)測編碼幀，采用前向運(yùn)動(dòng)補(bǔ)償 預(yù)測和誤差的d c t 編碼，由其前面的i 或p 幀進(jìn)行預(yù)測；b 幀為雙向預(yù)測編碼幀，采用雙 向運(yùn)動(dòng)補(bǔ)償預(yù)測和誤差的d c t 編碼，由前面和后面的1 或p 幀進(jìn)行預(yù)測；d 幀為直流編碼 幀，只包含每個(gè)塊的直流分量。 1 9 9 5 年m p e g 組織推出的m p e g 一2 標(biāo)準(zhǔn)是在m p e g 一1 標(biāo)準(zhǔn)基礎(chǔ)上的進(jìn)一步擴(kuò)展和改進(jìn)，主 要是針對數(shù)字視頻廣播、高清晰度電視和數(shù)字視盤等制定的4 9 m b i t s 運(yùn)動(dòng)圖像及其伴音 的編碼標(biāo)準(zhǔn)，m p e g - 2 是數(shù)字電視機(jī)頂盒與d v d 等產(chǎn)品的基礎(chǔ)。為了更具權(quán)威性，i s 0 把m p e g 2 標(biāo)準(zhǔn)提交給國際電信聯(lián)盟納入i t u 的h 系列標(biāo)準(zhǔn)中，因此，現(xiàn)在m p e g 2 視頻壓縮部分又稱為 i t u h 2 6 2 標(biāo)準(zhǔn)。m p e g 一2 h 2 6 2 標(biāo)準(zhǔn)采用的核心技術(shù)還是分塊d c t 和幀間運(yùn)動(dòng)補(bǔ)償預(yù)測技術(shù)， 主要有以f 幾個(gè)方面的擴(kuò)展： ( 1 )輸入，輸出圖像彩色分量之比可以是4 ：2 ：0 ，4 ：2 ：2 ，4 ：4 ：4 。 ( 2 ) 輸入，輸出圖像格式支持3 5 2 x 2 8 8 1 9 2 0 x 1 1 5 2 之間的任何圖像。 ( 3 )專門設(shè)置了按幀編碼和按場編碼兩種方式。 ( 4 )在空間分辨率、時(shí)間分辨率、信噪比方面的可分級。 ( 5 )碼流結(jié)構(gòu)的可分級性。 ( 6 )輸出碼率可以是恒定的也可以是變化的， 以適應(yīng)同步和異步傳輸。 1 9 9 6 年3 月i t u t 基于i t u t 的h 2 6 1 標(biāo)準(zhǔn)制定了h 2 6 3 標(biāo)準(zhǔn)，它是一種用于低比特 6 浙江大學(xué)碩士學(xué)位論文 率視頻業(yè)務(wù)中運(yùn)動(dòng)圖像部分的壓縮編碼方法。標(biāo)準(zhǔn)輸入的格式支持c i f ( 3 5 2 x 2 8 8 1 ， q c i f ( 1 7 6 x 1 4 4 ) ，s u b q c i f ( 1 2 8 x 9 6 ) ，4 c i f ( 7 0 4 x 5 7 6 ) ，1 6 c i f ( 1 4 0 8 x 1 1 5 2 ) 。視頻編碼算 法的基本思想與h 2 6 1 相比，h 2 6 3 標(biāo)準(zhǔn)采用了半象素精度位移估計(jì)。除了基本的視頻源編 碼算法外，為了改善性能，它包含4 個(gè)可選的編碼方寰：非限制運(yùn)動(dòng)矢量，先進(jìn)預(yù)測模式， p b 幀模式和基丁l 語法的算術(shù)編碼。 2 0 0 0 年底m p e g - 4 ( i s o i e c l 4 4 9 6 ) 正式成為國際標(biāo)準(zhǔn)。m p e g 一4 制定的初衷是針對視 頻會(huì)泌，視頻電話的極低碼率編碼。但為了適應(yīng)多媒體傳輸、存儲、檢索等不同的應(yīng)用需求， 最終制定了現(xiàn)在意義上的基于對象的壓縮編碼標(biāo)準(zhǔn)。標(biāo)準(zhǔn)輸入格式支持大于q c i f ( 1 7 6 x 1 4 4 ) 的任何分辨率的圖像。m p e g 4 與m p e g 1 和m p e g - 2 標(biāo)準(zhǔn)區(qū)別在于它是基于內(nèi)容的壓縮 編碼方法，它對一幅圖像按內(nèi)容切分為塊，將感興趣的物體從場景中分割出來進(jìn)行編碼，可 以獲得高壓縮比效果，而且可以支持基于內(nèi)容的交互。m p e g 4 引入視頻對象v o ( v i d e o o b j e c t ) 1 視頻對象平面v o p ( v i d e oo b j e c tp l a n e ) 概念來表示內(nèi)容。視頻對象v o 的構(gòu)成依賴 于具體筋應(yīng)用和實(shí)際系統(tǒng)所處的環(huán)境。v o 盼描述通過三類信息來實(shí)現(xiàn)：運(yùn)動(dòng)信息、形狀信 息和紋理信息 2 1 。 l 2 6 4 是i t u t 和i s o i e c 的m p e g 的聯(lián)合視頻組( j v t ) 開發(fā)的一個(gè)新的數(shù)字視頻編 碼標(biāo)準(zhǔn)，它既是i t u t 的h 2 6 4 ，又是i s o i e c 的m p e g 一4 的第1 0 部分。h 2 6 4 同樣是基 丁傳統(tǒng)的混合編碼系統(tǒng)，在局部采用了一系列的技術(shù)，使得在相同的重建圖像質(zhì)量下，能夠 比m p e g 4v i s u a l 節(jié)約5 0 左右的碼率。 h 2 6 4 的主要技術(shù)亮點(diǎn)包括： ( 1 )視頻編碼層( v c l ) 和網(wǎng)絡(luò)提取層( n a l ) 結(jié)構(gòu) ( 2 )支持1 ，4 或1 8 像素精度的運(yùn)動(dòng)矢量。 ( 3 ) 4 x 4 塊的整數(shù)變換 ( 4 )提供了標(biāo)準(zhǔn)的u v l c 和c a b a c 熵編碼 ( 5 )先進(jìn)的幀內(nèi)預(yù)測模式 ( 6 )面向i p 和無線環(huán)境 2 0 0 2 年6 月，我國成立了a v s 工作組，并于2 0 0 3 年1 2 月定稿a v s 視頻部分。a v s 是我國自主制定的音視頻編碼技術(shù)標(biāo)準(zhǔn)，以當(dāng)前最先進(jìn)的a v c h 2 6 4 框架為基礎(chǔ)，強(qiáng)調(diào)自 主知識產(chǎn)權(quán)，同時(shí)充分考慮了實(shí)現(xiàn)的復(fù)雜程度。相對于h 2 6 4 ，a v s 主要的特點(diǎn)有：8 x 8 的 整數(shù)變換與6 4 級量化；亮度和色度幀內(nèi)預(yù)測都是以8 x 8 塊為單位，亮度預(yù)測采用5 種預(yù)測 模式，色度塊采用4 種預(yù)測模式：采用1 6 x 1 6 ，1 6 x 8 。8 x 1 6 ，8 x 8 四種塊模式進(jìn)行幀間運(yùn)動(dòng) 7 浙江大學(xué)碩士學(xué)位論文 補(bǔ)償；在1 4 象素運(yùn)動(dòng)估計(jì)方面，采用不同的四抽頭濾波器進(jìn)行半象素插值和1 ，4 象素插值 p 幀可以利用最多2 幀的前向參考幀，而b 幀可采用前后各一個(gè)參考幀。在高分辨率應(yīng)用中 其壓縮效率明顯比數(shù)字電視，存儲媒體中的m p e g 2 高。同時(shí)，在壓縮效率相當(dāng)?shù)那疤嵯?其實(shí)現(xiàn)的復(fù)雜度有比較h 2 6 4 的m a i np r o f i l e 大為降低【1 5 】 1 6 1 1 7 】 1 8 1 。 1 2 3 音頻壓縮標(biāo)準(zhǔn) 由于數(shù)字音頻壓縮技術(shù)具有廣闊的應(yīng)用范圍和良好的市場前景，因而一些著名的研究機(jī) 構(gòu)和火公司都不遺余力地開發(fā)自己的專利技術(shù)和產(chǎn)品，這些音頻壓縮技術(shù)的標(biāo)準(zhǔn)化工作就顯 得十分蘑要。i t u t 在語音信號壓縮的標(biāo)準(zhǔn)化方面做了大量的工作，制訂了如g 7 1 1 、g 7 2 1 、 g 7 2 8 等標(biāo)準(zhǔn)，并逐漸受到業(yè)界的認(rèn)同。在音頻壓縮標(biāo)準(zhǔn)化方面取得巨大成功的是m p e g 系列標(biāo)準(zhǔn)，由于在制訂標(biāo)準(zhǔn)時(shí)對許多壓縮技術(shù)進(jìn)行了認(rèn)真的考察，并充分考慮了實(shí)際應(yīng)用條 件利算法的可實(shí)現(xiàn)性( 復(fù)雜度) ，得到了廣泛的應(yīng)用。 在語音編碼方面，大致可以分為三類：波形編碼、參數(shù)編碼和混合編碼。波形編碼算法 比較簡單，直接對語音信號形成的波形進(jìn)行處理和加j l 方法簡單，音質(zhì)優(yōu)趙，不過碼率較 高。參數(shù)編碼根據(jù)人的發(fā)聲機(jī)理，從語聲的波形中提取表征聲道和聲源激勵(lì)的有關(guān)特征參數(shù)， 再利用這些特征參數(shù)通過模型合成出語音信號，這類編碼算法復(fù)雜，合成語音質(zhì)量有所f 降， 但是碼率較低?；旌暇幋a是將波形編碼和參數(shù)編碼的原理結(jié)合起來，音質(zhì)比較好。伴隨著語 音應(yīng)用需求和編碼技術(shù)的發(fā)展，i t u t 制定的一系列的標(biāo)準(zhǔn)也是采用這些技術(shù)實(shí)現(xiàn)的，如 g 7 1 1 采用的是采用脈沖編碼調(diào)制編碼方式，g 7 2 6 采用的是自適應(yīng)差分脈沖編碼調(diào)制編碼 方式，而g 7 2 8 是以低時(shí)延碼激勵(lì)線性預(yù)測編碼為基礎(chǔ)的。 在音頻編碼方面，主要的音頻編碼方式包括m p e g 系列中的音頻編碼和d o l b y 實(shí)驗(yàn) 室推出的a c 系列編碼標(biāo)準(zhǔn)。m p e g 系列音頻標(biāo)準(zhǔn)中，無論是m p e g i ，m p e g 2 ，m p e g 4 都有3 層組成，其中m p 3 作為m p e g 音頻標(biāo)準(zhǔn)的第3 層應(yīng)用最為廣泛。m p 3 編碼算法主要 包括時(shí)頻映射，位分配及量化編碼，幀形成，心理聲學(xué)模型幾個(gè)部分。編碼首先采用正交濾 波器組，將2 0 k h z 左右的信號劃分成相等的3 2 個(gè)子帶，然后對子帶樣值作m d c t 以補(bǔ)償 子帶濾波的不足，同時(shí)采樣值通過心理聲學(xué)模型計(jì)算出個(gè)頻帶的掩蔽閥值，通過掩蔽閥值選 擇量化步長對采樣值進(jìn)行量化，最后將各種信息以及霍夫曼碼打包成比特流。在m p 3 格式 定稿之后，m p e g 又提出了更高質(zhì)量的音頻編碼，簡稱a a c 。a a c 在m p 3 的基礎(chǔ)上，增 加了瞬時(shí)噪音整形，長時(shí)預(yù)測，頻域預(yù)測等技術(shù)，達(dá)到更好的編碼效果。a c 系列音頻編碼 8 浙扛人學(xué)碩士學(xué)位論文 補(bǔ)償；在1 “象素運(yùn)動(dòng)估計(jì)方面，采用不同的四抽頭濾波器進(jìn)行半象素插值和l 4 象素插值 p 幀町以利用最多2 幀的前向參考幀，而b 幀可采用前后各一個(gè)參考幘。存高分辨率應(yīng)用中 其壓縮放率明顯比數(shù)字電視，存儲媒體中的m p e g _ 2 高。同時(shí)，在壓縮放率相當(dāng)?shù)那疤嵯?其實(shí)現(xiàn)的復(fù)雜應(yīng)有比較h 2 6 4 的m a i np r o f i l e 人為降低【1 6 1 1 7 】。 1 2 3 音頻壓縮標(biāo)準(zhǔn) 由于數(shù)字音頻壓縮技術(shù)具有廣闊的應(yīng)門j 范瀏和良好的市場前景，因而一些著名的研究機(jī) 構(gòu)和大公司都不遺余力地開發(fā)自己的專利技術(shù)和產(chǎn)品，這些音頻壓縮技術(shù)的標(biāo)準(zhǔn)化工作就顯 得十分重要。i t u t 在語音信號壓縮的標(biāo)準(zhǔn)化方面做了大量的工作，制訂了如g 7 1 1 、g 7 2 1 、 g 7 2 8 等標(biāo)準(zhǔn)并遂漸受至l h t k 界的認(rèn)同。存音頻壓縮標(biāo)準(zhǔn)化方面取得巨大成功的是m p e g 系列標(biāo)準(zhǔn)，由于在制訂標(biāo)準(zhǔn)時(shí)對許多壓縮技術(shù)進(jìn)行r 認(rèn)真的考察，并充分考慮r 實(shí)際府用條 件和算法的可實(shí)現(xiàn)性( 復(fù)雜度) 得到了廣泛的應(yīng)用。 存語音編碼方面，大致可以分為三類：波形編碼、參數(shù)編碼和混合編碼。波形編碼算法 比較簡單，直接對語音信號形成的波形進(jìn)行處琿和加工，方法簡單，音質(zhì)優(yōu)良不過碼率較 高。參數(shù)編碼根據(jù)人的發(fā)聲機(jī)理，從語聲的波形中提取表征聲道和聲源激勵(lì)的有關(guān)特征參數(shù)， 再利崩這些特征參數(shù)通過模型臺成出語音信號，這類編碼算法復(fù)雜，臺成語音質(zhì)量有所下降， 但是碼率較低?；旌暇幋a是將波形編碼和參數(shù)編碼的原理結(jié)合起米，音質(zhì)比較好。伴隨著語 音應(yīng)用需求和編碼技術(shù)的發(fā)展，i t u t 制定的一系列的標(biāo)準(zhǔn)也是采用這些技術(shù)宴現(xiàn)的，如 g ，7 1 1 采用的是采用脈沖編碼調(diào)制編碼方式，g7 2 6 采用的是自適應(yīng)差分脈沖編碼調(diào)制編碼 方式，而6 - 7 2 8 是以低時(shí)延碼激勵(lì)線性預(yù)測編碼為基礎(chǔ)的。 在音頻編碼方面，主要的音頻編碼方式包括m p e g 系列中的音頻編碼和d o l b y 實(shí)驗(yàn) 室推出的a c 系列編碼標(biāo)準(zhǔn)。m p e g 系列音頻標(biāo)準(zhǔn)中，無論是m p e g l ，m p e g 2 ，m p e g 4 都有3 層組成，其中m p 3 作為m p e g 音頻標(biāo)準(zhǔn)的第3 層應(yīng)用最為廣泛。m p 3 編碼算法主要 包扦時(shí)頻映射，位分配及量化編碼，幀形成，一i i , 理聲學(xué)模型幾個(gè)部分。編碼首先采用正交濾 波器組，將2 0 k h z 左右的信號劃分成相等的3 2 個(gè)子帶，然后對子帶樣值作m d c t 以補(bǔ)償 子帶濾波的不足，同時(shí)采樣值通過心理聲學(xué)模型計(jì)算出個(gè)頻帶的掩蔽閻值，通過掩蔽閻值選 擇最化步長對采樣值進(jìn)行量化，最后將各種信息以及霍夫曼碼打包成比特流。在m p 3 格式 定稿之后，m p e g 又提出了更島質(zhì)量的音頻編碼，簡稱a a c 。a a c 在m p 3 的基礎(chǔ)上，增 加了瞬時(shí)噪音整形，長時(shí)預(yù)測。頻域預(yù)測等技術(shù)，達(dá)到更好的編碼效果。a c 系列音頻編碼 加了瞬時(shí)噪音稚形，長時(shí)預(yù)測，頻域預(yù)測等技術(shù)，達(dá)到更好的編碼效果。a c 系列音頻編碼 8 浙江大學(xué)碩上學(xué)位論文 標(biāo)準(zhǔn)是m p e g 系列外的另一個(gè)重要的標(biāo)準(zhǔn)。目前最重要的標(biāo)準(zhǔn)是a c 3 ，廣泛應(yīng)用于家用， 影院等娛樂作品中。a c 3 系統(tǒng)總共包括左，中，右，左環(huán)繞，右環(huán)繞，低音效果聲6 個(gè)聲 道，具體操作時(shí)，首先要對各聲道信號進(jìn)行頻譜分析，然后濾波壓縮，頻譜包絡(luò)編碼，再進(jìn) 行比特率的重新分配，重組a c 3 數(shù)據(jù)流【2 1 】【”i 。 1 2 4 靜態(tài)圖像壓縮及其他 靜態(tài)圖像的壓縮和處理也是多媒體技術(shù)的重要組成部分之一，壓縮標(biāo)準(zhǔn)主要有j p e g 和 1 p e g 2 0 0 0 。i s o i , e c 聯(lián)合圖像專家組制定的靜止圖像壓縮標(biāo)準(zhǔn)j p e g 是適t j 于連續(xù)色調(diào)( 包 括灰度和彩色) 靜止圖像壓縮算法的國際標(biāo)準(zhǔn)。j p e g 算法共有4 種運(yùn)行模式，其中一種是 基于空間預(yù)測( d p c m ) 的無損壓縮算法，另外3 種是基于d c t 的有損壓縮算法。無損壓 縮算法，可以保證無失真地重建原始圖像；基于d c t 的順序模式，按從上到f ，從左到右 的順序?qū)D像進(jìn)行編碼，稱為基本系統(tǒng)；基于d c t 的遞進(jìn)模式，指對一幅i 虱像按由粗到細(xì) 對圖像進(jìn)行編碼；分層模式是指以各種分辨率對圖像進(jìn)行編碼，可以根據(jù)不同的要求，獲得 不同分辨率的圖像。目前主要采用的是基于d c t 的順序模式，廣泛應(yīng)用于網(wǎng)絡(luò)，數(shù)碼產(chǎn)品 中。與以往的j p e g 標(biāo)準(zhǔn)相比，j p e g 2 0 0 0 壓縮率比j p e g 高約3 0 ，它有許多原先的標(biāo)準(zhǔn) 所不可比擬的優(yōu)點(diǎn)。j p e g 2 0 0 0 與j - p e g 最大的不同，在于它放棄了j p e g 所采用的以d c t 變換為主的分塊編碼方式，而改為以小波變換為主的多分辨率編碼方式。而且，j p e g 2 0 0 0 能實(shí)現(xiàn)無損壓縮( 1 0 s s l e s sc o m p r e s s i o n ) 。在實(shí)際應(yīng)用中，有一些重要的圖像，如衛(wèi)星遙感圖 像、醫(yī)學(xué)圖像、文物照片等，通常需要進(jìn)行無損壓縮【4 4 】。j p e g 2 0 0 0 還有一個(gè)很好的優(yōu)點(diǎn)就 是誤碼魯棒性好。因此使用j p e g 2 0 0 0 的系統(tǒng)穩(wěn)定性好，運(yùn)行平穩(wěn)，抗干擾性好，易于操 作。j p e g 2 0 0 0 能實(shí)現(xiàn)漸進(jìn)傳輸，這是j p e g 2 0 0 0 的一個(gè)極其重要的特征，這在網(wǎng)絡(luò)傳輸 中具有非常重大的意義。3 p e g 2 0 0 0 另一個(gè)極其重要的優(yōu)點(diǎn)就是感興趣區(qū)特性。用戶在處理 的圖像中可以指定感興趣區(qū)，對這些區(qū)域進(jìn)行壓縮時(shí)可以指定特定的壓縮質(zhì)量，或在恢復(fù)時(shí) 指定特定的解壓縮要求，這給人們帶來了極大的方便。 數(shù)字圖像處理是一個(gè)目前相當(dāng)熱門的研究領(lǐng)域，在多媒體處理領(lǐng)域占的地位越來越大。 圖像處理除了視頻壓縮以外，還有很多的其他方面，包括圖像變換，圖像增強(qiáng)和復(fù)原，圖像 分割，圖像描述，圖像分類。對于圖像變換由于圖像陣列很大，直接在空間域中進(jìn)行處理， 涉及計(jì)算量很大。因此，往往采用各種圖像變換的方法，如傅立葉變換、沃爾什變換、離散 9 浙江大學(xué)碩士學(xué)位論文 余弦變換等間接處理技術(shù)，將空間域的處理轉(zhuǎn)換為變換域處理，不僅可減少計(jì)算量，而且可 獲得更有效的處理。目前新興研究的小波變換在時(shí)域和頻域中都具有良好的局部化特性，它 在圖像處理中也有著廣泛而有效的應(yīng)用。圖像增強(qiáng)和復(fù)原的目的是為了提高圖像的質(zhì)量，如 去除噪聲，提高圖像的清晰度等。圖像增強(qiáng)不考慮圖像降質(zhì)的原因，突出圖像中所感興趣的 部分。如強(qiáng)化圖像高頻分量，可使圖像中物體輪廓清晰，細(xì)節(jié)明顯；如強(qiáng)化低頻分量可減少 圖像中噪聲影響。圖像復(fù)原要求對圖像降質(zhì)的原因有一定的了解，一般講應(yīng)根據(jù)降質(zhì)過程建 立”降質(zhì)模型”，再采用某種濾波方法，恢復(fù)或重建原米的圖像。圖像分割是數(shù)字圖像處理中 的關(guān)鍵技術(shù)之一。圖像分割是將圖像中有意義的特征部分提取出來，其有意義的特征有圖像 中的邊緣、區(qū)域等，這是進(jìn)一步進(jìn)行圖像識別、分析和理解的基礎(chǔ)。雖然目前己研究出不少 邊緣提取、區(qū)域分割的方法，但還沒有一種普遍適用于各種圖像的有效方法。因此，對圖像 分割的研究還在不斷深入之中，是目前圖像處理中研究的熱點(diǎn)之一。圖像分類( 識別) 屬于 模式識別的范疇，其主要內(nèi)容是圖像經(jīng)過某些預(yù)處理( 增強(qiáng)、復(fù)原、壓縮) 后，進(jìn)行圖像分 割和特征提取，從而進(jìn)行判決分類。圖像分類常采用經(jīng)典的模式識別方法，有統(tǒng)計(jì)模式分類 和句法( 結(jié)構(gòu)) 模式分類，近年來新發(fā)展起來的模糊模式識別和人工神經(jīng)網(wǎng)絡(luò)模式分類在圖 像識別中也越來越受到重視。 1 3 多媒體處理系統(tǒng)方案比較 多媒體處理有一個(gè)很大的特點(diǎn)，那就是需要很大的運(yùn)算量和存儲容量，這也給多媒體處 理系統(tǒng)實(shí)現(xiàn)帶來了很大的挑戰(zhàn)，因此多媒體處理芯片的開發(fā)一直是各大半導(dǎo)體公司研究開發(fā) 的熱點(diǎn)。目前，主要的多媒體處理系統(tǒng)主要有3 種實(shí)現(xiàn)方法：基于通用c p u 的p c 實(shí)現(xiàn)， 基于a s i c 的嵌入式系統(tǒng)，基于通用d s p 的嵌入式系統(tǒng)實(shí)現(xiàn)。 基于通用的p c 實(shí)現(xiàn)是利用當(dāng)前的p c 豐富的硬件和軟件資源，特別是i n t e l 的m m x 提 供了較完整的多媒體指令集和流水線，可以提供較強(qiáng)的多媒體處理能力，p c 的內(nèi)存容量大， 可以方便的存儲大量的多媒體數(shù)據(jù)，而且p c 的外圍設(shè)備眾多，擴(kuò)展方便，可以容易搭建起 系統(tǒng)方案，由于軟件功能強(qiáng)大，不需要很大的硬件開銷。但是p c 的缺點(diǎn)也很明顯，由于多 媒體運(yùn)算量大，所以要占用幾乎所有的c p u 處理能力，從而導(dǎo)致p c 不能完成其他任何任 務(wù)，另外p c 的體積大，功耗大也限制了這類多媒體應(yīng)用。 直接采用硬件a s i c 處理的優(yōu)點(diǎn)是方便集成，系統(tǒng)集成方便，不需要軟件的開發(fā)，開發(fā) 1 0 浙江大學(xué)碩士學(xué)位論文 周期短，而且由于a s i c 的產(chǎn)量大5 ”，從而大大降低了系統(tǒng)的成本，此外，a s i c 體積小， 功耗小，很適合在嵌入式系統(tǒng)中應(yīng)用。但是，由于a s i c 的所有功能都固化在硬件上了，所 以只能應(yīng)用在專一的場合，應(yīng)用對象范圍小，系統(tǒng)升級和修改的代價(jià)相當(dāng)?shù)母?，對特殊環(huán)境 缺乏戍變力。 通用d s p 實(shí)現(xiàn)多媒體系統(tǒng)是目前應(yīng)用最為廣泛的方案之一。隨著d s p 向高速化，低功 耗，多媒體化，多處理器的方向發(fā)展，使得d s p 應(yīng)用更加方便，質(zhì)量更加好。通用d s p 平 臺主要有以下幾個(gè)優(yōu)點(diǎn)： ( 1 ) _ ； j 戶開發(fā)自由度大，支持各種靈活的方案。由于d s p 的可編程特點(diǎn)，d s p 系統(tǒng)可 以應(yīng)用于很多不同的環(huán)境中，大大增加了系統(tǒng)的應(yīng)用范圍。 ( 2 ) 可以在最快的時(shí)間內(nèi)滿足市場的需求，而且可以在第一時(shí)間里提高產(chǎn)品的性能， 升級方便。 ( 3 ) 由于d s p 特有針對多媒體的體系結(jié)構(gòu)和指令集，所以具有強(qiáng)大的處理能力，可以 在單片的d s p 上完成大量的多媒體運(yùn)算。 ( 4 ) 外圍接口豐富，可以直接于視頻輸入輸出進(jìn)行連接，不需要其他的板卡支持，滿 足各種系統(tǒng)的需求，可以通過網(wǎng)絡(luò)接口直接和網(wǎng)絡(luò)連接，構(gòu)成網(wǎng)絡(luò)產(chǎn)品。由于d s p 體積小 可以很容易擴(kuò)展成各種系統(tǒng)級的板悟。 ( 5 ) 芯片功耗小，提高了產(chǎn)品的穩(wěn)定性。 d s p 系統(tǒng)的優(yōu)點(diǎn)眾多，但也對開發(fā)者提出了較高的要求，對硬件和軟件算法都要求有 比較深入的了解，才能開發(fā)出優(yōu)秀的產(chǎn)品【4 5 】【4 q 【4 7 】。基于以上分析，本文提出了基于t id s p 上多媒體處理庫如。f 。 1 4l v l m l 多媒體處理庫 多媒體處理庫見圖1 2 包括很多領(lǐng)域，圖像處理，信號處理，圖像識別的具體操作，視 頻處理等等。多媒體處理庫包括了幾乎各種多媒體計(jì)算任務(wù)和各種多媒體數(shù)據(jù)類型。各個(gè)領(lǐng) 域特別是視頻編解碼中幾乎所有的需要消耗大量時(shí)間的函數(shù)都進(jìn)行了優(yōu)化。這些函數(shù)在多媒 體應(yīng)用中可以頻繁使用。這種將處理函數(shù)包含在一個(gè)數(shù)據(jù)庫中的一個(gè)明顯的優(yōu)點(diǎn)就是提高編 程的效率，從個(gè)項(xiàng)目到另一個(gè)項(xiàng)目的開發(fā)只需要采用不同的函數(shù)即可。 具體的底層函數(shù)分為以下幾個(gè)部分： 浙江大學(xué)碩十學(xué)位論文 ( 1 ) 信號處理和音頻處理 ( 2 ) 圖像處理和視頻處理 ( 3 ) 矩陣算術(shù)和幾何變換 ( 4 ) 編碼運(yùn)算 圖1 2 多媒體處理庫層次圖 函數(shù)庫的另外一個(gè)特點(diǎn)就是基于這些低層優(yōu)化的函數(shù)，可以構(gòu)建高層的多媒體應(yīng)用函 數(shù)。在應(yīng)用的過程中，可以根據(jù)需求的不同采用更低層的函數(shù)或者相對高層的函數(shù)。也可以 引用各層函數(shù)完成整個(gè)軟件的設(shè)計(jì)。 當(dāng)前在多媒體系統(tǒng)的開發(fā)過程中，開發(fā)者總是注重算法層面上考慮的一些優(yōu)化技術(shù)達(dá)到 有優(yōu)化的目的，這些都是在c 代碼的基礎(chǔ)上的，c 代碼不能夠發(fā)揮d s p 特有的體系結(jié)構(gòu)的 優(yōu)勢，無法發(fā)揮d s p 在多媒體處理方面的強(qiáng)大的能力。本文在提出的多媒體處理庫的基礎(chǔ) 上，使用各種優(yōu)化技術(shù)，對各層次函數(shù)的予以優(yōu)化，使這些函數(shù)在系統(tǒng)中運(yùn)行的效果最佳。 1 5 本文的研究內(nèi)容 重點(diǎn)研究和解決了2 方面的問題，第一個(gè)研究了在底層函數(shù)優(yōu)化的各種方法，諸如軟件 流水，線性匯編增大函數(shù)循環(huán)的處理的象素個(gè)數(shù)，軟件流水，選擇合適的匯編指令等技術(shù)， 并對各底層函數(shù)進(jìn)行了優(yōu)化。第二就是對整個(gè)編碼器的結(jié)構(gòu)和d m 6 4 2 的緩存體系進(jìn)行了分 析，在編碼器層安排合適的存儲體系和e d m a 的數(shù)據(jù)流組織，完成上層函數(shù)的優(yōu)化。另外 還調(diào)整了部分編碼器算法結(jié)構(gòu)以適臺在d m 6 4 2 上運(yùn)行。 本文在第一章首先介紹了目前多媒體處理的技術(shù)方法發(fā)展概況，然后簡單介紹了一下多 浙江大學(xué)碩士學(xué)位論文 媒體處理系統(tǒng)實(shí)現(xiàn)的平臺和多媒體處理庫的概念。然后在第二章詳細(xì)介紹了一下多媒體處理 庫的結(jié)構(gòu)和具體的函數(shù)組成，以及具體的應(yīng)用領(lǐng)域。在第三章具體介紹了一下d s p 優(yōu)化平 臺的特點(diǎn)，具體硬件的體系結(jié)構(gòu)，這些都是函數(shù)優(yōu)化的基礎(chǔ)，函數(shù)優(yōu)化的方向正是充分發(fā)揮 這些硬件的能力。在介紹完函數(shù)庫和硬件平臺以后，在第四章詳細(xì)介紹了各層次函數(shù)的各種 優(yōu)化方法，以及實(shí)現(xiàn)的過程，這也是本文的重點(diǎn)和主要工作。 塑蘭查蘭堡主蘭垡絲莖 第二章多媒體處理庫0 v i m l ) 根據(jù)多媒體應(yīng)用的需要，我們定義了m m l 的框架，主要包括如下部分：視頻編解碼庫 音頻處理庫，圖像處理庫等，其中視頻編碼庫作了重點(diǎn)研究 2 1 視頻處理庫 m m l 視頻處理庫目前主要包括關(guān)于m p e g 4 和h 2 6 4 標(biāo)準(zhǔn)的視頻編解碼函數(shù)。對于庫 函數(shù)的組成，我們作了分層處理，具體包括四層函數(shù)如圖2 1 所示。視頻庫包括編解碼器層， 幀層，功能模塊層，底層等四個(gè)層，高層的函數(shù)可以調(diào)用低層的函數(shù)來實(shí)現(xiàn)，低層的函數(shù)可 以級聯(lián)起來組成高層的函數(shù)。如果上層的編解碼不能符合系統(tǒng)的要求，開發(fā)工程師可以直接 調(diào)用上層的編解碼器畝接構(gòu)成自己的系統(tǒng)，否則，開發(fā)工程師可以調(diào)用低層的函數(shù)來搭建滿 足自己系統(tǒng)要求的編解碼器，另外還可以調(diào)用低層的函數(shù)完成自己的系統(tǒng)中其他的算法。 圖2 1m v i l 視頻編碼器層次 a 編碼器層：這一層的函數(shù)m m l _ e n c o d e r ( c o n f i g u r a t i o n + 1 是為不熟悉視頻標(biāo)準(zhǔn)的用 戶準(zhǔn)備的。用戶完全不需了解視頻編解碼的流程和實(shí)現(xiàn)方法，只要將必需的參數(shù)初始化后調(diào) 用該層的函數(shù)，就可方便實(shí)現(xiàn)視頻編解碼的全過程。為了達(dá)到這個(gè)目的，需要為 m m l _ e n c o d e r 函數(shù)構(gòu)建一個(gè)包含所有編碼必需的參數(shù)的結(jié)構(gòu)體類型c o n f i g u r a t i o n ，并將一 個(gè)指向它的結(jié)構(gòu)體指針作為m m le n c o d e r 函數(shù)的入口參數(shù)。它的成員包括：指向源文件首 1 4 浙江大學(xué)碩士學(xué)位論文 地址的指針+ s o u r c e f i l e ，指向目的碼流首地址的指針* o u t s t r e a m ，編碼圖像的尺寸 f r a m e h e i g h t 和f r a m e w i d t h ，待編的幀數(shù)f r a m e n u m b e r ，以及量化參數(shù)q u a n t p a r a m e t e r 等等。 用戶根據(jù)自己的需要給這些成員賦上初值后，就可以調(diào)用m m le n c o d e r 函數(shù)進(jìn)行編碼了。 b 幀層：這層的函數(shù)包括m m le n c o d e l 、m m l _ e n c o d e p 和m m le n c o d e b 。編碼器 層的函數(shù)可能會(huì)讓一些用戶覺得缺乏靈活性，因此，逐步開放用戶自定義程序的空間是很必 要的。這些服務(wù)于幀級的函數(shù)可以幫助用戶方便快捷地搭建起一個(gè)編碼器。這幾個(gè)函數(shù)體需 要傳入的參數(shù)包括：指向存放頭信息的結(jié)構(gòu)體指針* h e a d e r ，當(dāng)前待編碼幀的y 、u 和v 數(shù) 據(jù)的旨地址* c u r r e n t y ，* c u r r e n t u l l * c u r r e n t v ，以及指向目的碼流的指針* s t r e a m p o i n t e r 。