摘要 隨著通信網(wǎng)絡(luò)、數(shù)據(jù)壓縮和海量存儲技術(shù)的發(fā)展，越來越多的多媒體信息以 計算機(jī)可讀的形式存在于互聯(lián)網(wǎng)上。它們不僅包括常見的文字和語音數(shù)據(jù)，還有 圖形、圖像、動畫和視頻等媒體信息。它們一般沒有結(jié)構(gòu)，并缺乏語義信息，信 息檢索系統(tǒng)很難對它們進(jìn)行有效搜索，只有對媒體數(shù)據(jù)進(jìn)行表示建模和有效組 織，才能幫助人們更快地找到感興趣內(nèi)容。 作為多媒體家族中一個十分特殊的成員，視頻本質(zhì)上融合了圖像、語音、文 本、動畫等多種類型的媒體數(shù)據(jù)，成為多媒體信息檢索研究的難點(diǎn)。早期視頻檢 索技術(shù)預(yù)先對視頻內(nèi)容進(jìn)行人工標(biāo)注，即用關(guān)鍵詞作為視頻的索引項，再用傳統(tǒng) 數(shù)據(jù)庫對這些信息進(jìn)行管理和檢索。今天，人工標(biāo)注方法遇到了無法克服的困難， 主要表現(xiàn)在：視頻數(shù)據(jù)量急劇增加，人工標(biāo)注的工作量急劇增大，不僅成本極高， 而且已是不可能完成的任務(wù)；對圖像和視頻等視覺信息很難用適當(dāng)文字描述，不 同標(biāo)注者主觀理解也不同，勢必造成不一致的標(biāo)注等。這些困難促使人們尋找新 的視頻索引和檢索技術(shù)。 隨著研究的不斷深入，1 9 9 3 年張宏江在a c m 多媒體系統(tǒng)雜志傳刊號上 發(fā)表了他在該領(lǐng)域的第一篇文章“a u t o m a t i cp a r t i t i o no f f u l l m o t i o nv i d e c ” 1 】， 、建立了現(xiàn)代視頻檢索和內(nèi)容查詢的一個基本框架。這是在現(xiàn)代多媒體研究方面的 一篇經(jīng)典文章，也是在此領(lǐng)域中人們引用最為廣泛的文章之一。框架的基本思想 是：不需要完全明白視頻的內(nèi)容，只需分析視頻的結(jié)構(gòu)，再把每一個鏡頭當(dāng)作段 落，將關(guān)鍵幀當(dāng)作關(guān)鍵字，從而形成一套全新的多媒體檢索和查詢的方法。 最近，m p e g 專家組制定并公布了m p e g 7 標(biāo)準(zhǔn)( 多媒體內(nèi)容描述接口) ， 它為文本、圖像、語音、視頻等多媒體信息提供標(biāo)準(zhǔn)化的描述方法，為用戶提供 可用的接口。該標(biāo)準(zhǔn)的制定為多媒體信息的有效檢索奠定了良好的基礎(chǔ)。 基于內(nèi)容的多媒體檢索技術(shù)的日益成熟不僅將創(chuàng)造出巨大的社會價值，而且 將對人類生活的改善發(fā)揮重要作用。它與傳統(tǒng)數(shù)據(jù)庫技術(shù)相結(jié)合，可以方便地實(shí) 現(xiàn)海量多媒體數(shù)據(jù)的存儲和管理；它與傳統(tǒng)w e b 搜索引擎技術(shù)相結(jié)合，可以用 來檢索h t m l 網(wǎng)頁中豐富的多媒體信息。在可預(yù)見的將來，基于內(nèi)容的多媒體 檢索技術(shù)將會在軍事、醫(yī)學(xué)、生產(chǎn)、生活、娛樂等各個領(lǐng)域中得到廣泛應(yīng)用。 本文以基于內(nèi)容的視頻處理和檢索技術(shù)為研究目標(biāo)，以視頻內(nèi)容的結(jié)構(gòu)化分 析為主線，結(jié)合自己的研究工作，重點(diǎn)介紹視頻中鏡頭分割( 或稱鏡頭邊界檢測) 、 場景分割( 或稱場景邊界檢測) 、節(jié)目分割( 或稱節(jié)目邊界檢測) 、以及關(guān)鍵幀提 取和相似度計算等關(guān)鍵技術(shù)。 論文第一章著重介紹視頻檢索研究的發(fā)展現(xiàn)狀，同時簡要介紹幾個具有代表 復(fù)旦大學(xué)碩士論文 性的視頻檢索系統(tǒng)模型。隨后從現(xiàn)代視頻檢索研究的一大核心課題視頻結(jié)構(gòu) 化分析角度出發(fā)，羅列視頻結(jié)構(gòu)化分析研究中的若干關(guān)鍵技術(shù)。第二章在總結(jié)前 人在鏡頭分割方面所作貢獻(xiàn)的基礎(chǔ)上，著重介紹我們在鏡頭分割方面所作的工 作。第三章介紹當(dāng)前幾種常用的關(guān)鍵幀抽取方法以及關(guān)鍵幀的特征提取和相似度 計算方法，并重點(diǎn)介紹m p e g 7 標(biāo)準(zhǔn)定義的圖像視覺特征描述予。第四章首先針 對新聞、電影這兩類特殊視頻分別介紹了幾種典型的場景分割算法，隨后詳細(xì)描 述了我所在研究小組提出的一種通過自動分類學(xué)習(xí)檢測播音員鏡頭的算法，其檢 測結(jié)果可用于新聞視頻的場景分割中。第五章首先將傳統(tǒng)的視頻層次結(jié)構(gòu)( 幀 f r 鋤e 鏡頭s h o t _ 鏡頭組s h o tg r o l 】p _ _ 場景s c e n 曠_ 視頻v i d e o ) 進(jìn)行擴(kuò) 充，針對電視視頻流，在場景和視頻層次間加入節(jié)目層( p r o g r a m ) ，并隨后提出 一種針對特定電視頻道的電視節(jié)目自動分割算法。第六章，總結(jié)全文并展望未來 的工作。 關(guān)鍵字：鏡頭分割、場景分割、節(jié)目分割、關(guān)鍵幀提取、視頻檢索、m p e g 一7 、 多媒體技術(shù)、視頻結(jié)構(gòu)化分析 中圖分類號：t p 3 1 1 1 復(fù)旦大學(xué)碩士論文 a b s t r a c t w i t ht h er a p i da d v a n c e si nh i g h s p e e dt r a n s m i s s i o n ，d a t ac o m p r e s s i o na n d h i g h - c a p a c i t ys t o r a g e ，m o r ea n dm o r em u l t i m e d i ai n f o r m a t i o na r eb e c o m i n g a c c e s s i b l eo v e rc o m p u t e r s ，w h i c hi n c l u d en o to n l yt e x ta n da u d i oi n f o r m a t i o n ，b u t s o m ev i s u a li n f o r m a t i o ns u c ha sg r a p h ，i m a g e ，a n dv i d e o t h ep e r v a s i v e n e s so f c o m p u t e ra n dn e t w o r kh a sm a d em u l t i m e d i ad a t aa v a i l a b l ew o r l d w i d e g e n e r a l l y s p e a k i n g ，t h e s ed a t aa r es t o r e di nam e s s ，w h i c hm a k e si td i f f i c u l tt od oa ne f f e c t i v e s e a r c ho nt h e m t h u s ，e f f i c i e n tc o n t e n tm a n a g e m e n tf o ri n s t a n ta c c e s s ，s e a r c h i n ga n d b r o w s i n gb e c o m e sn e c e s s a r ya n di m p o r t a n t a so n es p e c i a lm e m b e ri nm u l t i m e d i af a m i l y , v i d e oc o m b i n e sa l lo t h e rm e d i a i n f o r m a t i o n ( s u c ha si m a g e ，a u d i oa n dt e x t ) i n t oas i n g l es t r e a m ，a n dv i d e or e t r i e v a l b e c o m e st h em o s tc h a l l e n g eo n ei nm u l t i m e d i ai n f o r m a t i o nr e t r i e v a lr e s e a r c ha r e a i n i t i a lw o r ko nv i d e or e t r i e v a li sb a s e do nt e x ta n n o t a t i o no f v i d e oc o n t e n t ，r e t r i e v i n g t h ew a n t e di n f o r m a t i o nb yk e y w o r d sa n dt r a d i t i o nd a t a b a s eq u e r yl a n g u a g e ，s u c ha s s q l h o w e v e r , a l lo ft h e s em e t h o d sh a v em a n yd i s a d v a n t a g e s f i r s t ，w i t ht h er a p i d i n c r e a s eo f m u l t i m e d i ai n f o r m a t i o n ，w en e e dm o r ea n dm o r es p a c et os t o r et h e s et e x t a n n o t a t i o n sa n dt h ew o r ko ft e x ta n n o t a t i o ni sa l s om o r ea n dm o r et i m ea n dc o s t c o n s u m i n g s e c o n d ，s i n c ed i f f e r e n ta n n o t a t o r sc o m m e n t so nas a n l ei m a g eu s u a l l y a l ed i f f e r e n t ，i ti sv e r yd i f f i c u l tt om a k ea p r o p e ra n n o t a t i o n t os o l v et h e s ep r o b l e m s ，h j z h a n gp u b l i s h e dh i sf i r s tp a p e r “a u t o m a t i c p a r t i t i o no ff u l l m o t i o nv i d e n ”i nt h i sa r e ai n19 9 3 sa c mj o u r n a lo fm u l t i m e d i a s y s t e m s 1 ，i nw h i c haf o u n d a t i o n a l s t r u c t u r ef o rm o d e r nv i d e or e t r i e v a la n d c o n t e n t - b a s e dq u e r yi sp r o p o s e d i ti sac l a s s i c a lp a p e ra n dh a sb e e nc i t e di nm a n y r e s e a r c hp a p e r s t h ec o r ei d e ao ft h i ss t r u c t u r ei st oa n a l y z et h ev i d e os t r u c t u r e i n s t e a do f u n d e r s t a n d i n gt h ev i d e oc o n t e n t v i d e oi sd e v i d e di n t os h o ts e q u e n c e sa n d k e yf r a m e so fe a c hs h o ta r et a k e na sk e yw o r d s ，t h u sab r a n dn e wm u l t i m e d i a r e t r i e v a lm e t h o di sp r e s e n t e d r e c e n t l y , m o v i n gp i c t u r ee x p e r t sg r o u ph a sp r o d u c e dm p e g - 7 ，t h es t a n d a r d f o r d e s c r i b i n g t h em u l t i m e d i ac o n t e n td a t at h a t s u p p o r t ss o m ed e g r e e o f i n t e r p r e t a t i o no ft h ei n f o r m a t i o n sm e a n i n g m p e g - 7s t a n d a r d i z e ss u p p o r ta sb r o a d ar a n g eo fa p p l i c a t i o n sa sp o s s i b l ea n dc o u l db u i l dab e r e rf o u n d a t i o nf o r m u l t i m e d i ar e t r i e v a l c o n t e n t - b a s em u l t i m e d i ar e t r i e v a lc o u l dm a k eag r e a tc o n t r i b u t i o nn o to n l yt o 復(fù)旦大學(xué)碩士論文 s o c i e t y , b u tt oh u m a n se v e r y d a yl i f e c o m p a n i e dw i t ht h et e c h n i q u e su s e di n t r a d i t i o n a ld a t a b a s e s ，t h i sk i n do fr e t r i e v a lc o u l de a s i l ya c h i e v et h es t o r a g ea n d m a n a g e m e n to fv a s tm u l t i m e d i ad a t a ；c o m p a n i e dw i t l lt h et e c h n i q u e su s e di n t r a d i t i o n a lw e bs e a r c he n g i n e ，t h i sk i n do fr e t r i e v a lc o u l da c h i e v et h er e t r i e v a lo f m u l t i m e d i ai n f o r m a t i o ni nh t m lp a g e i nt h ef u t u r e ，c o n t e n t - b a s e dm u l t i m e d i a r e t r i e v a lw i l lb ew i d e l yu s e di nm a n ya r e a s ，s u c ha sm i l i t a r ya r e a ，m e d i c a la r e a , i n d u s t r ya r e a , e n t e r t a i n m e n ta r e aa n ds oo n t h er e s e a r c ho b j e c t i v e so ft h i st h e s i sa r et h et e c h n i q u e su s e di nc o n t e n t - b a s e d r e t r i e v a l w et a k et h ev i d e os t r u c t u r ea n a l y s i sa st h em a s t e r s t r o k e ，a n dt h e nb a s e do n t h er e s e a r c hw o r kw eh a v ed o n e ，w ef o c u so nt h ei n t r o d u c t i o no fs e v e r a lk e y t e c h n i q u e s ，i e s h o ts e g m e n t a t i o n ( o rs h o tb o u n d a r yd c t e e t i o n ) ，s c e n es e g m e n t a t i o n ( o r s c e n eb o u n d a r y d e t e c t i o n ) ，p r o g r a ms e g m e n t a t i o n ( o rp r o g r a mb o u n d a r y d e t e c t i o n ) ，a sw e l la sk e yf r a m ee x t r a c t i o na n dt h es i m i l a r i t yc a l c u l a t i o nt e c h n i q u e s t h er e s to f t h i st h e s i si so r g a n i z e da sf o l l o w s c h a p t e r1g i v e sab r o a do v e r v i e w o fv i d e ob r o w s i n ga n dr e t r i e v a la r e aw h i c hi sf o l l o w e db yab r i e fi n t r o d u c t i o no f s e v e r a lc l a s s i c a lv i d e or e t r i e v a ls y s t e m sa n dav e r yi m p o r t a n tt o p i co ft h i sa r e a ， v i d e os t r u c t u r a la n a l y s i s i nc h a p t e r2 ，a f t e ras h o r ts u m m a r yo ft h ee x i s t i n gw o r k a n do p e ni s s u e si ns h o ts e g m e n t a t i o na r e a , w ep r e s e n to u ra l g o r i t h mw h i c hc o u l d g r e a t l yi m p r o v et h ep e r f o r m a n c eo ft h ee d g e - b a s e ds h o ts e g m e n t a t i o n c h a p t e r3 p u t sf o c u so nt h ed i s c u s s i o n o ft h ek e yf r a m es e l e c t i o na n df e a t u r ee x t r a c t i o n t e c h n i q u e s i nc h a p t e r4 ，w ef i r s ti n t r o d u c es e v e r a ls c e n es e g m e n t a t i o na l g o r i t h m s u s e di nn e w sa n dm o v i e s ，t h e np r e s e n tan e wm e t h o dt od e t e c ta n c h o r p e r s o ns h o t s ， w h i c hi sp r o p o s e db yas t u d e n ti no u rr e s e a r c hg r o u p i no r d e rt om e e tu s e r s n e w r e q u i r e m e n t s ，i nc h a p t e r5w ei n s e r tan e wl e v e ln a m e da sp r o g r a mb e t w e e nt h e v i d e oa n ds c e n e1 e v e lt oe n h a n c et h eh i e r a r c h i c a ls t r u c t u r e a na u t o m a t i cp r o g r a m s e g m e n t a t i o na l g o r i t h mi sa l s op r e s e n t e di nt h i sc h a p t e r c h a p t e r6c o n c l u d e st h e w o r kp r e s e n t e di nt h i st h e s i s a n di n c l u d e sd i s c u s s i o no f f u t u r ew o r k 。 k e y w o r d s ：s h o ts e g m e n t a t i o n ，s c e n es e g m e n t a t i o n ，p r o g r a ms e g m e n t a t i o n ，k e y f r a m ee x t r a c t i o n ，v i d e or e t r i e v a l ，m p e g - 7 ，m u l t i m e d i at e c h n i q u e ，v i d e o s t r u c t u r a la n a l y s i s 復(fù)旦大學(xué)碩士論文 第一章研究背景和相關(guān)工作 在這一章中，我們將要從三個方面對視頻結(jié)構(gòu)化分析的研究背景和相關(guān)工 作作出一個較為詳細(xì)的概述。這三個方面分別為視頻檢索和查詢技術(shù)的研究現(xiàn) 狀，視頻內(nèi)容結(jié)構(gòu)化分析的基本概念，以及視頻內(nèi)容結(jié)構(gòu)化分析中的關(guān)鍵技術(shù)。 1 1 視頻檢索與查詢 隨著多媒體計算技術(shù)的迅猛發(fā)展，網(wǎng)絡(luò)傳輸速度的不斷提高，以及各種視 頻壓縮技術(shù)的相繼出現(xiàn)，人們通過網(wǎng)絡(luò)實(shí)現(xiàn)全球多媒體信息的共享成為可能。 面對海量的多媒體信息，傳統(tǒng)的“線性”瀏覽方式已遠(yuǎn)不能滿足人們對視頻內(nèi)容 的訪問和查詢需求。用慣了文本搜索引擎的用戶越來越希望能在海量視頻庫中 快速找到自己感興趣的視頻片段，例如：足球比賽中的射門鏡頭、含有日出景 色的片斷等等。因此基于內(nèi)容的視頻檢索技術(shù)應(yīng)運(yùn)而生。 基于內(nèi)容的視頻檢索研究的基本思路，是在沒有人工參與的情況下，自動 提取并描述視頻的特征和內(nèi)容；根據(jù)視頻內(nèi)容組織數(shù)據(jù)庫中的視頻數(shù)據(jù)，隨后 在其組織結(jié)構(gòu)上進(jìn)行視頻檢索。圖1 1 給出了一個基于內(nèi)容的視頻檢索系統(tǒng)的 典型框架。從框架圖中，我們可以看出，在系統(tǒng)中視頻首先被分割成一個個在 時間上連續(xù)的視頻單元。隨后，針對每個視頻單元，提取相關(guān)的特征用于描述 該視頻單元的內(nèi)容，并在所提取的特征上建立索引。最后可以在所建立起來的 框架上利用特征間的某種關(guān)系檢索或瀏覽感興趣的視頻。 圖1 1 基于內(nèi)容的視頻檢索系統(tǒng)的典型 隨著基于內(nèi)容的視頻檢索技術(shù)的不斷發(fā)展，國內(nèi)外已研發(fā)出了多個商用或 復(fù)旦大學(xué)碩士學(xué)位論文 研究性的基于內(nèi)容的檢索系統(tǒng)。下面我們簡單介紹一些著名的系統(tǒng)： 1 q b i c 由i b ma l m a d e n 研究中心研究開發(fā)的q b i c ( q u e r yb yi m a g ec o n t e n t ) 是 第一個商用多媒體檢索系統(tǒng)【2 】，是“基于內(nèi)容”檢索系統(tǒng)的典型代表，它的系統(tǒng) 框架和技術(shù)對后來的基于內(nèi)容的檢索系統(tǒng)具有深遠(yuǎn)的影響。q b i c 系統(tǒng)允許使 用樣本圖像、用戶描繪的草圖或者用戶從樣本中選擇的顏色或紋理模式、以及 鏡頭和目標(biāo)運(yùn)動等信息對大型圖像和視頻數(shù)據(jù)庫進(jìn)行查詢。q b i c 采用2 5 6 維 r g b 顏色空間的直方圖、改進(jìn)的t a m u r a 紋理特征和偏心率、環(huán)度、主軸方面 等的形狀特征表示圖像和視頻內(nèi)容；采用加權(quán)的歐氏距離作為相似度的度量； 采用高維索引技術(shù)來組織數(shù)據(jù)庫中的數(shù)據(jù)。 2 p h o t o b o o k p h o t o b o o k 是m i t 的媒體實(shí)驗室在1 9 9 4 年開發(fā)研制的一套基于內(nèi)容的圖像 檢索和瀏覽的工具【3 】。在系統(tǒng)中，用戶不僅可以進(jìn)行基于人臉、顏色和紋理的 圖像查詢，而且可以根據(jù)不同的應(yīng)用選擇相應(yīng)的相似度度量查詢( 歐氏距離、 馬氏距離、向量空間交角、直方圖的交和用戶自定義的距離公式等) 。 3 v i s u a l s e e k v i s u a l s e e k 是由美國哥倫比亞大學(xué)電子工程系與電信研究中心圖像和高級 電視實(shí)驗室共同研究開發(fā)的一種在互聯(lián)網(wǎng)上使用的“基于內(nèi)容”的檢索系統(tǒng)【4 】。 它提供了一套供人們在w e b 上搜索和檢索圖像及視頻的工具。系統(tǒng)首先根據(jù)用 戶提供的顏色分布和形狀輪廓進(jìn)行初步查詢，查詢結(jié)果返回后，用戶再從結(jié)果 中選擇圖像作為樣本進(jìn)行精確查詢。為- ；a n 速檢索過程，系統(tǒng)采用了基于二叉 樹的索引算法。 4 m a r s m a r s 是由u i u c 研制開發(fā)的 5 】。該系統(tǒng)的特點(diǎn)是數(shù)據(jù)庫管理系統(tǒng)和信息 檢索系統(tǒng)的結(jié)合，索引和檢索的結(jié)合以及首次在圖像檢索中形式化地提出了相 關(guān)反饋結(jié)構(gòu)。自此采用相關(guān)反饋技術(shù)進(jìn)行檢索的研究開始多起來?；趦?nèi)容檢 索中的相關(guān)反饋技術(shù)大致可分為4 種類型：參數(shù)調(diào)整方法、聚類分析方法、概 率學(xué)習(xí)方法和神經(jīng)網(wǎng)絡(luò)方法。 5 v i d e o q v i d e o q 是哥倫比亞大學(xué)研究的一個項目。它擴(kuò)充了傳統(tǒng)的關(guān)鍵字和主題導(dǎo) 航的查詢方法，允許用戶使用視覺特征和時空關(guān)系來檢索視頻 6 。它具有以下 幾個特點(diǎn)：集成文本和視覺搜索方法；自動的視頻對象分割和追蹤；豐富的視 覺特征庫，包括顏色、紋理、形狀和運(yùn)動；通過w w w 互聯(lián)網(wǎng)交互查詢和瀏覽。 復(fù)旦大學(xué)碩士學(xué)位論文 1 2 視頻內(nèi)容的結(jié)構(gòu)化分析 視頻是在時間上連續(xù)的一系列圖像的集合，是一種非結(jié)構(gòu)化的流媒質(zhì)。如 果把視頻看作一本沒有目錄和索引的書，那么一幅圖像就相當(dāng)于書中的一頁。 由于視頻這部書缺乏相應(yīng)的目錄和索引結(jié)構(gòu)，人們就無法對它進(jìn)行高效的瀏覽 和檢索。為尋找感興趣的視頻片段，人們只能采取“快進(jìn)”和“快倒”這種耗時的 線性瀏覽方式。 今年來隨著存儲成本的降低，高速傳輸和壓縮技術(shù)的進(jìn)步，數(shù)字視頻的數(shù)量 和使用頻度大大提高。傳統(tǒng)的瀏覽方式已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足人們對視頻內(nèi)容的訪 問需求，因此需要為視頻內(nèi)容建立有效的目錄結(jié)構(gòu)。1 9 9 8 年，u i u c 的ts h u a n g 等人首次提出了將視頻流按照內(nèi)容層次迸行劃分，從高層到低層分別為：視頻 ( v i d e o ) ，場景( s c e n e ) ，鏡頭組( s h o tg r o u p ) ，鏡頭( s h o t ) 和關(guān)鍵幀( k e y f r a m e ) 。如圖1 2 所示，從而推動了對視頻內(nèi)容結(jié)構(gòu)化分析的研究。 視頻 場景 鏡頭組 鏡頭 關(guān)鍵幀 圖1 2 視頻流的結(jié)構(gòu)層次 從圖1 2 可以看出，原始視頻是非結(jié)構(gòu)化的流，它由組連續(xù)的幀圖像組成。 一般來說，一段視頻由一些掐述獨(dú)立故事單元的場景構(gòu)成；一個場景由一些語 義相關(guān)的鏡頭組成；而每個鏡頭是由一些連續(xù)的幀構(gòu)成，它可由一個或多個關(guān) 鍵幀表示。在介紹視頻內(nèi)容結(jié)構(gòu)化分析中的關(guān)鍵技術(shù)之前，讓我們先了解視頻 領(lǐng)域里常用的幾個基本概念。 幀：視頻可以看作是一個在時間上連續(xù)的靜態(tài)圖像序列，其中每一幅靜態(tài) 圖像稱為一幀。 復(fù)旦大學(xué)碩士學(xué)位 臺文 鏡頭：指攝像機(jī)從打開倒關(guān)閉的過程中記錄下來的一組連續(xù)的幀圖像。鏡 頭邊界是實(shí)際存在的，是視頻物理層上的單元。鏡頭之間有多種類型的過 渡方式，最常見的是“切變”，表現(xiàn)為在相鄰兩幀間發(fā)生的突變性的鏡頭轉(zhuǎn) 換。此外，還存在一些較復(fù)雜的過渡方式，如淡入、淡出、溶解、擦等。 在實(shí)際應(yīng)用中，用戶瀏覽鏡頭中的所有幀圖像是非常耗時的，因此常用關(guān) 鍵幀技術(shù)實(shí)現(xiàn)快速瀏覽。 關(guān)鍵幀：指能夠描述鏡頭主要內(nèi)容的幀。依據(jù)鏡頭內(nèi)容的復(fù)雜程度，可以 從一個鏡頭中提取一個或多個關(guān)鍵幀或者構(gòu)造一個關(guān)鍵幀( 此時，關(guān)鍵幀 可能并不是鏡頭中的某一實(shí)際存在的幀) 。 場景：由一組語義上相關(guān)、時間上相鄰的鏡頭組成，它能夠描述了一個獨(dú) 立的故事單元( 或者說是一個高層概念) ，是視頻在語義層上的單元。通常 只有場景才能向觀看者傳遞相對完整的語義信息。 鏡頭組：由一組在時間上相鄰或在內(nèi)容上相似的鏡頭組成。它是介于鏡頭 和場景之間的一組連續(xù)的物理實(shí)體，并且是聯(lián)系= 者的橋梁。 節(jié)目：是由時間上有序的場景組成，例如新聞節(jié)目、娛樂節(jié)目、體育節(jié)目、 天氣預(yù)報等。 目前，有關(guān)視頻內(nèi)容結(jié)構(gòu)化分析方面的研究大都基于這一框架，其基本思 想是：從所有的幀中提取某些底層特征( 顏色、紋理等) ，根據(jù)幀間的相似程度 將視頻分割成若干個連續(xù)的片段，并由下至上由細(xì)到粗地對視頻內(nèi)容進(jìn)行結(jié)構(gòu) 化描述。鏡頭分割和關(guān)鍵幀提取技術(shù)的研究是視頻分析中的重要部分，也是場 景分割的基礎(chǔ)。非壓縮域上的鏡頭分割技術(shù)可分為四類 7 】，即：基于像素的、 基于統(tǒng)計的、基于特征的和基于直方圖的。在鏡頭分割之后，就要提取相應(yīng)的 關(guān)鍵幀。提取關(guān)鍵幀的方法有很多，最簡單的方法是提取每個鏡頭的第一幀和 最后一幀作為關(guān)鍵幀。更好一些的方法是根據(jù)鏡頭的視覺內(nèi)容和運(yùn)動提取關(guān)鍵 幀，甚至可以用拼接的方法生成一個場景的全景圖作為關(guān)鍵幀。 視頻的基本單元鏡頭和關(guān)鍵幀提取出來以后，就可以用關(guān)鍵幀的順序排列 來表示視頻的內(nèi)容。當(dāng)視頻長度較短且內(nèi)容簡單時，少量的關(guān)鍵幀就可以較好 地表示整段視頻；然而當(dāng)鏡頭和關(guān)鍵幀數(shù)量巨大時，這種方法對用戶檢索和瀏 覽來說仍是困難和繁瑣的。例如，一部電影可能包含數(shù)千個鏡頭和關(guān)鍵幀，如 果僅用這些關(guān)鍵幀序列來表示原始視頻是沒有意義的，因為人們關(guān)心的是故事 情節(jié)而不是孤立的鏡頭和關(guān)鍵幀。為了使用戶更好地訪問視頻數(shù)據(jù)庫。人們提 出了視頻概括技術(shù)( v i d e oa b s t r a c t i n gt e c h n i q u e ) 。顧名思義，視頻概括是對視 頻內(nèi)容的高度總結(jié)。如何為視頻構(gòu)造良好的概括是視頻處理和檢索中的另一個 重要研究課題。目前，對視頻概括的研究主要集中在場景分割上，人們試圖通 復(fù)旦大學(xué)碩士學(xué)位論文 過對視頻場景的分析來實(shí)現(xiàn)視頻概括。 在視頻流的層次結(jié)構(gòu)建立好后，就可以對視頻內(nèi)容進(jìn)行快速地瀏覽和檢索 了。在圖1 2 框架中，為了實(shí)現(xiàn)高效的視頻瀏覽，往往用少量的關(guān)鍵幀代表場 景，用戶可以直接定位到感興趣的關(guān)鍵幀處播放該場景，從而免去了“陜進(jìn)” 和“快倒”的麻煩。而實(shí)現(xiàn)高效檢索的關(guān)鍵是對視頻建立有效的索引，其中視 頻片段、關(guān)鍵幀、關(guān)鍵詞、目錄結(jié)構(gòu)、特定對象( 例如人臉、汽車等) 、疊加字 符、伴音和特定運(yùn)動等都是建立索引的重要內(nèi)容。建好索引的視頻數(shù)據(jù)庫相當(dāng) 于一個層次式的語義網(wǎng)絡(luò)，用戶可以根據(jù)需要采用多種不同的方式提出查詢請 求，實(shí)現(xiàn)多模態(tài)的人機(jī)查詢界面。 基于內(nèi)容的視頻信息處理和檢索技術(shù)的日益成熟不僅將創(chuàng)造出巨大的社會 價值，而且將對人類生活的改善發(fā)揮重要作用。它與傳統(tǒng)數(shù)據(jù)庫技術(shù)相結(jié)合， 可以方便地實(shí)現(xiàn)海量多媒體數(shù)據(jù)的存儲和管理；它與傳統(tǒng)w e b 搜索引擎技術(shù)相 結(jié)合，它可以用來檢索h t m l 網(wǎng)頁中豐富的多媒體信息。在可預(yù)見的將來，基 于內(nèi)容的多媒體檢索技術(shù)將會在軍事、醫(yī)學(xué)、生活、生產(chǎn)、娛樂等各個領(lǐng)域中 得到廣泛應(yīng)用。 1 3 視頻內(nèi)容結(jié)構(gòu)化分析中關(guān)鍵技術(shù) 一般來說，基于內(nèi)容的視頻信息瀏覽和檢索研究中的關(guān)鍵技術(shù)主要包括以 下幾個方面： 1 用戶界面的研制 現(xiàn)代多媒體信息系統(tǒng)的一個重要特征就是信息獲取過程的可交互性，用戶 在系統(tǒng)中是主動的。因此，在視頻信息瀏覽和檢索系統(tǒng)中如何設(shè)計一個友好而 又方便的用戶界面是十分重要的。在一個友好的用戶界面下，用戶的查詢接口 應(yīng)能夠提供豐富的交互能力，使用戶在主動的交互過程中表達(dá)出自己對媒體語 義的感知；在一個友好的用戶界面下，用戶能夠便捷的瀏覽視頻數(shù)據(jù)，能夠方 便而又快速的檢索到自己感興趣的內(nèi)容。目前已經(jīng)有許多研究機(jī)構(gòu)在心理學(xué)、 美學(xué)等多種學(xué)科的支持下研制各種合理的人機(jī)界面。 2 視頻的結(jié)構(gòu)分析 由于視頻是無結(jié)構(gòu)化的流，要對整段視頻進(jìn)行瀏覽和檢索是非常耗時的。 但是攝像機(jī)拍攝中的不連貫性使得視頻流在內(nèi)容上出現(xiàn)斷點(diǎn)，而且這種不連續(xù) 性體現(xiàn)在視頻內(nèi)容的物理特征上，這就使得視頻內(nèi)容的結(jié)構(gòu)化分析成為可能。 視頻內(nèi)容結(jié)構(gòu)化分析的過程就是把視頻流分割成一系列內(nèi)容上不連續(xù)的視頻序 列的過程。視頻流的分割從粒度上又分為鏡頭分割、場景分割和節(jié)目分割。鏡 頭分割可以完全根據(jù)視頻物理特征的變化，如根據(jù)圖像幀間的顏色變化或紋理 復(fù)旦大學(xué)碩士學(xué)位論文 變化進(jìn)行分割；場景分割和節(jié)目分割則涉及到具體的語義，分割方法也更為復(fù) 雜多樣。分割得到的視頻片斷往往用一個或幾個關(guān)鍵幀表示。視頻內(nèi)容結(jié)構(gòu)化 分析的目的，便是使視頻數(shù)據(jù)形成結(jié)構(gòu)化的層次，從而方便用戶的瀏覽。 3 視頻的概括 視頻概括是視頻分析中一個非常重要的技術(shù)，也越來越被人們所關(guān)注。它 的目的是對視頻的內(nèi)容進(jìn)行概括和提煉，用更加直接更加簡要的方式來表達(dá)， 從而縮短人們?yōu)g覽視頻的時間。 舉例而言，我們可以用一幅畫面來描述一部電影，觀眾可以通過這幅畫來 了解電影的主要內(nèi)容和風(fēng)格，通過比較不同電影得到的畫面，還可以選擇看哪 一部電影。這樣做看上去很難，但實(shí)際上卻是可以實(shí)現(xiàn)的：電影海報就實(shí)現(xiàn)了 這樣的功能。將上面的例子拓展開去，把一幅畫面換成若干幅畫面組成的小短 片，就可以更加詳細(xì)地描述電影的內(nèi)容了。 上面的這個例子，其實(shí)已經(jīng)包括了視頻概括中兩個最重要的內(nèi)容：關(guān)鍵幀 提取( k e yf r a m ee x t r a c t i o n ) 和視頻預(yù)覽( v i d e op r e v i e w ) 。 4 特征提取 特征提取是基于內(nèi)容的信息檢索研究中最重要的一部分。通過這一過程， 將圖像、視頻中的物理或語義信息提取出來。這些信息將作為視頻內(nèi)容的重要 描述信息并結(jié)合一定的相似度度量方法用于視頻檢索過程中。 通常所見的特征包括：顏色、紋理、形狀、運(yùn)動和對象等。前三種是圖像 和視頻共有的，屬于數(shù)字圖像處理中較為成熟的技術(shù)。對象提取和跟蹤，是視 頻分析中十分困難的技術(shù)之一，可利用運(yùn)動信息進(jìn)行處理：先將每幀圖像分割 成具有相似視覺特征( 顏色、紋理等) 的區(qū)域，然后根據(jù)各個區(qū)域的運(yùn)動特征， 按照一定的約束( 例如區(qū)域之間的連通性) ，將它們合并成對象。m p e g - 4 便是 以對象提取和合成作為焦點(diǎn)的，它提出了使用視頻對象平面v o p ( v i d e oo b j e c t p l a n e ) 的概念，對視頻對象進(jìn)行索引。m p e g 7 更提出對各種視頻對象信息進(jìn) 行描述和查找。 5 數(shù)據(jù)庫的組織和索引 良好的數(shù)據(jù)庫組織可以合理的管理海量的高維視頻特征，能夠快速的索引 到相應(yīng)的視頻特征。目前國內(nèi)外的眾多研究機(jī)構(gòu)已經(jīng)提出了許多可供選擇的高 維索引結(jié)構(gòu)，如r - t r e e ，r * - t r e e ，v a - f i l e 等。 復(fù)旦大學(xué)碩士學(xué)位論文 6 視頻的檢索 該過程包括查詢的提交、相似度匹配、相似度的排列以及相關(guān)反饋等。這 個過程通常在線執(zhí)行，因此檢索的速度和精度是需要重點(diǎn)考慮的問題。與圖像 檢索不同的是，視頻相似度的計算還需要考慮片斷在時間順序上的相似度。 綜上所述，基于內(nèi)容的視頻信息檢索是當(dāng)前多媒體數(shù)據(jù)庫發(fā)展的一個重要 研究領(lǐng)域，它通過對非結(jié)構(gòu)化的視頻數(shù)據(jù)進(jìn)行結(jié)構(gòu)化分析和處理，采用視頻分 割技術(shù)，將連續(xù)的視頻流劃分為具有特定語義的視頻片段，在此基礎(chǔ)上進(jìn)行關(guān) 鍵幀( k e yf r a m e ) 的提取和動態(tài)特征的提取，形成描述視頻內(nèi)容的特征索引；依 據(jù)特征索引結(jié)構(gòu)，逐步縮小檢索范圍，直至查詢到所需的視頻數(shù)據(jù)。該領(lǐng)域的 開發(fā)重點(diǎn)和技術(shù)優(yōu)勢主要包括以下兩項：多媒體信息內(nèi)容特征的識別和描述技 術(shù)，特征的相似性匹配技術(shù)。 可見，這種檢索技術(shù)是一項涉及面很廣的交叉學(xué)科的應(yīng)用技術(shù)，需要利用 圖像處理、模式識別、計算機(jī)視覺、圖像理解等領(lǐng)域的知識作為基礎(chǔ)，還需從 認(rèn)知科學(xué)、人工智能、數(shù)據(jù)庫管理系統(tǒng)、人機(jī)交互、信息檢索等領(lǐng)域引入新的 媒體數(shù)據(jù)表示和數(shù)據(jù)模型，從而設(shè)計出可靠、有效的檢索算法、系統(tǒng)結(jié)構(gòu)以及 友好的人機(jī)界面。 1 4 本文的貢獻(xiàn) 針對視頻瀏覽和檢索中的各類關(guān)鍵技術(shù)，本論文在總結(jié)前人相關(guān)算法的基 礎(chǔ)上，詳細(xì)介紹碩士期間所作的工作，側(cè)重點(diǎn)放在在鏡頭分割和節(jié)目分割方面 所作的工作。以下是本文的基本組織架構(gòu)。 第二章著重介紹鏡頭分割方面的發(fā)展?fàn)顩r。在總結(jié)現(xiàn)有鏡頭分割方法的基 礎(chǔ)上，提出一種結(jié)合視頻文字信息進(jìn)行鏡頭分割的方法，并給出相應(yīng)的實(shí)驗來 證明這種新方法的有效性。 第三章介紹目前常用的關(guān)鍵幀抽取技術(shù)以及關(guān)鍵幀的特征提取和相似度計 算方法，并著重介紹m p e g - 7 標(biāo)準(zhǔn)中定義的圖像視覺特征描述子。 第四章首先根據(jù)處理視頻對象的類型不同，從新聞節(jié)目、電影節(jié)目兩個角 度分析不同的場景分割的方法；隨后詳細(xì)描述了我所在研究小組提出的一種通 過自動分類學(xué)習(xí)檢測播音員鏡頭的算法，其檢測結(jié)果可用于新聞視頻的場景分 割中。 第五章結(jié)合當(dāng)前出現(xiàn)的新的檢索需求，在傳統(tǒng)的視頻層次結(jié)構(gòu)中插入一個 復(fù)旦大學(xué)碩士學(xué)位論文 第一章研究背景和相關(guān)工作 - j 2 - 新的處理單元節(jié)目( p r o g r a m ) ，并提出一個針對特定電視頻道進(jìn)行節(jié)目分 割的算法，實(shí)驗證明該算法具有較好的分割效果。 第六章在總結(jié)全文的基礎(chǔ)上，進(jìn)一步展望未來的工作。 復(fù)旦大學(xué)碩士學(xué)位論文 第二章視頻的鏡頭分割 鏡頭是視頻的最小的邏輯單元。不同的兩個鏡頭在地點(diǎn)、時間或拍攝方法 上都存在著許多差異。由于同一鏡頭描述的大多是同一事物，因此一個鏡頭可 以用一個或多個關(guān)鍵畫面來表示。從某種意義上講，這也是一種對視頻進(jìn)行分 析和壓縮的過程。 2 1 視頻鏡頭的類型 不同的鏡頭轉(zhuǎn)換類型往往對應(yīng)著不同的鏡頭分割方法。因此在討論鏡頭分 割方法之前，有必要分析一下鏡頭間存在的各種轉(zhuǎn)換類型?？傮w上束說，鏡頭 轉(zhuǎn)換( s h o tt r a n s a c t i o n ) 可以被分成為兩大類，分別是切變轉(zhuǎn)換( a b r u p t t r a n s a c t i o n h a r dc u t ) 和漸變轉(zhuǎn)換( o m d u a it r a n s a c t i o n ) 。其中，漸變轉(zhuǎn)換主 要由淡入淡出( f a d ei n f a d eo u t ) 、溶解( d i s s o l v e ) 及擦( w i p e ) 三種轉(zhuǎn)換組 成。各鏡頭轉(zhuǎn)換類型之間的關(guān)系如圖2 1 所示。 圖2 1 鏡頭類型轉(zhuǎn)換類型 研究發(fā)現(xiàn)，切換、淡入淡出及溶解這三種類型的轉(zhuǎn)換幾乎占據(jù)全部轉(zhuǎn)換類 型的9 8 以上。因此，針對這三種轉(zhuǎn)換類型的鏡頭分割方法成為該領(lǐng)域研究的 一個熱點(diǎn)。下面詳細(xì)介紹各種鏡頭轉(zhuǎn)換類型。 切變轉(zhuǎn)換是鏡頭各轉(zhuǎn)換類型中最簡單的一種，是指一個鏡頭的結(jié)束幀之后 直接跟著下一個鏡頭的起始幀。兩鏡頭之間沒有任何過渡階段。圖2 2 中給 出了一個切變轉(zhuǎn)換的實(shí)例。從圖中可以看到一個多人開會的廣角鏡頭突然 切換成了個僅含兩人的特寫鏡頭。 復(fù)旦大學(xué)硬士學(xué)位論文 、，、，_ _ 一、- ，v _ 鏡頭1鏡頭2 圖2 2 切變鏡頭轉(zhuǎn)換的實(shí)例 漸變轉(zhuǎn)換是指前后兩個鏡頭在時間或空間上存在著某種形式的緩慢過 渡。 一 淡入淡出轉(zhuǎn)換是指鏡頭逐漸進(jìn)入黑幀( 淡出) ，然后再從黑幀逐漸 進(jìn)入到新的鏡頭( 淡入) 。圖2 _ 3 中給出了一個淡入淡出轉(zhuǎn)換的實(shí) 例。從左向右看，可以看出月亮高懸空中的鏡頭逐漸從黑幀進(jìn)入畫 面( 淡入) ，從右向左看，可以看出月亮高懸空中的鏡頭逐漸從畫 面中轉(zhuǎn)成黑幀( 淡出) 。 淡出 圖2 3 淡入淡出鏡頭轉(zhuǎn)換的實(shí)例 溶解轉(zhuǎn)換是指一個鏡頭的幀漸漸變淡退出，下一個鏡頭的幀漸漸變 深進(jìn)入。圖2 4 中給出了一個溶解轉(zhuǎn)換的實(shí)例。從圖中可以看出落 山前的太陽逐漸退出畫面，落山后的太陽逐漸進(jìn)入畫面。溶解鏡頭 實(shí)際上可以看成當(dāng)前鏡頭的淡出和下一個鏡頭的淡入兩個轉(zhuǎn)換同 步發(fā)生時的一種轉(zhuǎn)換。 圖2 4 溶解鏡頭轉(zhuǎn)換的實(shí)例 擦轉(zhuǎn)換是指兩個鏡頭之間的轉(zhuǎn)換就像擦玻璃一樣，第一個鏡頭在水 平或垂直方向上漸漸退出，下一個鏡頭在水平或垂直方向上漸漸進(jìn) 入，直至上一個鏡頭全部退出，下一個鏡頭全部進(jìn)入。圖2 5 給出 了一個擦轉(zhuǎn)換的實(shí)例。從圖中可以看出身穿深色球服的球員所在的 復(fù)旦大學(xué)硬士學(xué)位論文 鏡頭逐漸從左側(cè)進(jìn)入畫面，而身穿淺色球服且正向左走的球員所在 的鏡頭逐漸從右側(cè)退出畫面。 圖2 5 擦鏡頭轉(zhuǎn)換的實(shí)例 不論是哪種鏡頭轉(zhuǎn)換類型，轉(zhuǎn)換前后的兩個鏡頭在時間和空間上都存在著 某種交迭關(guān)系( 如表2 1 所示) 。從表2 1 中可以看出，切變轉(zhuǎn)換和淡入淡出轉(zhuǎn) 換前后兩個鏡頭的內(nèi)容在時間軸上是可以明確分割開來的，而溶解轉(zhuǎn)換和擦轉(zhuǎn) 換前后兩個鏡頭在時間軸上是相互交融的，轉(zhuǎn)換過程中任意時刻對應(yīng)的幀圖像 都包含了前后兩個鏡頭的部分信息。在空間上，除溶解轉(zhuǎn)換外，其他三個轉(zhuǎn)換 都是前后鏡頭可分的。 鏡頭轉(zhuǎn)換的類型前后兩個鏡頭是 時間上分開的嗎?空問上分開的嗎? 切變轉(zhuǎn)換是是 淡入淡出轉(zhuǎn)換是是 溶解轉(zhuǎn)換 否否 擦轉(zhuǎn)換 否是 表2 1 轉(zhuǎn)換前后的兩個鏡頭在時間和空間上的關(guān)系 2 2 鏡頭分割的基本方法 一般來說，鏡頭邊界可以通過判斷前后視頻幀的差異是否大于某個閾值來 檢測，因此幀間差異的計算是鏡頭分割中十分重要的一步。整體上看，鏡頭分 割的方法可以被分成兩大類：壓縮域上的鏡頭分割方法和非壓縮域上的鏡頭分 割方法。后者是本節(jié)討論的重點(diǎn)。目前所提出的非壓縮域上的鏡頭分割方法可 被劃分為四類，分別是基于像素的、基于直方圖的、基于統(tǒng)計的以及基于圖像 特征的方法。 2 2 1 基于像素的方法 在基于像素的方法中，通過計算幀間對應(yīng)象素點(diǎn)之間的灰度差異得到幀間 距。一個點(diǎn)的灰度值被定義為0 2 9 9 r + 0 5 8 7 9 + 0 1 1 4 b ，這里，g ，b 是三原色。 復(fù)旦大學(xué)碩士學(xué)位論文 2 2 2 基于直方圖的方法 顏色直方圖描述了一幅圖像的灰度或顏色的分布情況?；谥狈綀D的方法 以及由它而派生出的眾多方法是目前使用最為廣泛而且最為有效的一種方法 【8 - 1 2 】。它的基本思想是通過統(tǒng)計幀圖像各個顏色值出現(xiàn)的頻率得到該幀的顏色 直方圖，隨后比較前后幀的直方圖差異來判定這兩幀之間是否存在著鏡頭轉(zhuǎn)換。 由于在統(tǒng)計直方圖時丟掉了圖像中像素點(diǎn)的位置信息，因此該方法對圖像 中對象的位置并不敏感，可以容忍由于物體的