第9章多媒體數(shù)據庫9.1多媒體數(shù)據庫概述9.2多媒體數(shù)據庫的發(fā)展9.3多媒體對數(shù)據庫的影響9.4多媒體數(shù)據庫系統(tǒng)結構9.5多媒體數(shù)據庫的用戶接口9.6基于內容的檢索與查詢9.1多媒體數(shù)據庫概述9.1.1基本概念9.1.2多媒體數(shù)據庫與傳統(tǒng)數(shù)據庫的區(qū)別9.1.3多媒體數(shù)據庫管理系統(tǒng)的基本功能9.1.4數(shù)據庫技術的研究領域9.1.1基本概念1.數(shù)據與信息2.數(shù)據庫3.數(shù)據庫系統(tǒng)（1）硬件系統(tǒng)（2）數(shù)據庫集合（3）數(shù)據庫管理系統(tǒng)（4）相關軟件（5）數(shù)據庫管理員（6）用戶4.數(shù)據庫管理系統(tǒng)（DBMS）5.管理信息系統(tǒng)（MIS）6.多媒體數(shù)據庫9.1.2多媒體數(shù)據庫與傳統(tǒng)數(shù)據庫的區(qū)別1.所管理的數(shù)據類型不同2.數(shù)據庫體系結構不同3.檢索方法不同 多媒體數(shù)據庫與傳統(tǒng)數(shù)據庫概念的比較如下頁所示。9.1.2多媒體數(shù)據庫與傳統(tǒng)數(shù)據庫的區(qū)別9.1.3多媒體數(shù)據庫管理系統(tǒng)的基本功能（1）能表達和處理各種復雜多媒體數(shù)據，并能較準確地反映和管理各種媒體數(shù)據的特性和各種媒體數(shù)據之間的空間或時間的關聯(lián)，能為用戶提供定義新的數(shù)據類型和相應操作的能力。（2）能保證多媒體數(shù)據庫的物理數(shù)據獨立性、邏輯數(shù)據獨立性和多媒體數(shù)據獨立性。（3）具有多媒體數(shù)據的操作功能。（4）具有多媒體數(shù)據庫系統(tǒng)的網絡功能。（5）提供系統(tǒng)開放功能，提供多媒體數(shù)據庫的應用程序接口（API）。（6）多媒體數(shù)據庫具有處理長事務的能力，具備原子性、一致性、隔離性和持久性，提供事務和版本的控制管理。（7）具備錯誤檢測和數(shù)據恢復的功能。9.1.4數(shù)據庫技術的研究領域1.數(shù)據庫管理系統(tǒng)軟件開發(fā) 數(shù)據庫管理系統(tǒng)的研究與開發(fā)包括對數(shù)據庫管理系統(tǒng)本身的研究以及以數(shù)據庫管理系統(tǒng)為核心軟件系統(tǒng)的開發(fā)。2.數(shù)據庫設計研究數(shù)據庫設計的主要任務是根據需要在數(shù)據庫管理系統(tǒng)的支持下，設計一個結構合理、使用方便、效率較高的數(shù)據庫及其應用系統(tǒng)。3.數(shù)據庫理論數(shù)據庫理論的研究主要集中于理論模型研究。隨著人工智能與數(shù)據庫理論的結合，并行計算機的發(fā)展，數(shù)據庫邏輯演繹和知識推理、并行算法等理論研究以及演繹數(shù)據庫系統(tǒng)、知識庫系統(tǒng)等都已成為新的研究方向。9.2多媒體數(shù)據庫的發(fā)展

人工管理文件系統(tǒng)數(shù)據庫系統(tǒng)背景應用背景科學計算科學計算、管理大規(guī)模管理硬件背景無直接存取存儲設備磁盤、磁鼓大容量磁盤等存儲介質軟件背景沒有操作系統(tǒng)文件系統(tǒng)數(shù)據庫管理系統(tǒng)處理方式批處理聯(lián)機實時處理，批處理

聯(lián)機實時處理，分布處理，批處理特點數(shù)據面向的對象某一應用程序某一應用程序整個應用系統(tǒng)數(shù)據的共享程度無共享，冗余度極大共享性差,冗余度大共享性高，冗余度小數(shù)據的獨立性不獨立，完全依賴于程序獨立性差具有高度的物理獨立性和邏輯獨立性數(shù)據的結構化無結構記錄內有結構，整體無結構整體結構化，用數(shù)據模型描述數(shù)據控制能力應用程序自己控制應用程序自己控制由數(shù)據庫管理系統(tǒng)提供數(shù)據安全性、完整性、并發(fā)控制和恢復能力數(shù)據庫系統(tǒng)發(fā)展的三個階段，如下表所示。9.2多媒體數(shù)據庫的發(fā)展

如前表所示。數(shù)據庫系統(tǒng)先后經歷了以下幾個階段。1.人工管理階段數(shù)據和程序不具有獨立性；數(shù)據也不能長期保存；系統(tǒng)也沒有對數(shù)據進行管理的軟件。2.文件系統(tǒng)階段對圖像、視像、聲音等多媒體信息存儲和檢索的局限表現(xiàn)在：（1）一個文件系統(tǒng)通常只存放一種信息類型，并常常作為一個檢索單位。9.2多媒體數(shù)據庫的發(fā)展（2）對信息的讀出和檢索操作都相對比較簡單。（3）文件之間的信息內容相對比較獨立。3.數(shù)據庫系統(tǒng)階段數(shù)據庫系統(tǒng)的產生能夠實現(xiàn)數(shù)據共享，減少數(shù)據冗余；采用特定的數(shù)據模型；具有較高的數(shù)據獨立性；有統(tǒng)一的數(shù)據控制功能和較高的數(shù)據安全性。用戶對數(shù)據的任何操作（如查詢、修改）不再是通過應用程序直接進行，而必須通過向數(shù)據庫管理系統(tǒng)發(fā)請求實現(xiàn)。9.2多媒體數(shù)據庫的發(fā)展

數(shù)據庫管理系統(tǒng)（DBMS）一般被劃分為3層模式：物理模式、概念模式和表現(xiàn)模式（如下圖所示）。9.3多媒體對數(shù)據庫的影響9.3.1多媒體數(shù)據與數(shù)據庫管理9.3.2多媒體給數(shù)據庫帶來的問題9.3.1多媒體數(shù)據與數(shù)據庫管理

多媒體數(shù)據庫管理涉及以下幾種數(shù)據類型：1.字符數(shù)值型數(shù)據2.文本數(shù)據3.聲音數(shù)據4.圖形數(shù)據5.圖像數(shù)據6.視頻數(shù)據9.3.2多媒體給數(shù)據庫帶來的問題（1）數(shù)據量大且媒體之間數(shù)據量的大小差別極大。（2）實時性要求高。（3）媒體種類繁多。（4）多媒體改變了數(shù)據庫的接口形式和數(shù)據庫的操作形式。（5）具有處理長事務的能力。（6）多媒體數(shù)據庫管理更需要考慮版本控制問題。（7）服務質量的要求高。（8）多媒體信息系統(tǒng)中，其數(shù)據常常具有分布性，是數(shù)據量大。9.4多媒體數(shù)據庫系統(tǒng)結構9.4.1多媒體數(shù)據庫的層次結構9.4.2多媒體數(shù)據庫的組織結構9.4.1多媒體數(shù)據庫的層次結構傳統(tǒng)數(shù)據庫的層次結構ANSI把傳統(tǒng)數(shù)據庫分為物理模式、概念模式和外部模式三層模式。這種模式如下圖所示。9.4多媒體數(shù)據庫系統(tǒng)結構1）物理模式

物理模式也叫存儲模式，是真正物理存在的。2）概念模式

概念模式借助數(shù)據模型來描述數(shù)據庫全部信息內容，但不包含數(shù)據存取的細節(jié)。還有數(shù)據存取控制、合法權檢驗和有效過程的定義。3）外部模式

外部模式也稱子模式或用戶模式，是數(shù)據庫用戶的數(shù)據視圖，是與某一應用有關的數(shù)據的邏輯表示。9.4.1多媒體數(shù)據庫的層次結構2.多媒體數(shù)據庫的層次劃分

多媒體數(shù)據庫的層次如下圖所示。9.4.2多媒體數(shù)據庫的組織結構1.集中型結構集中型結構如下圖所示。9.4.2多媒體數(shù)據庫的組織結構2.主從型結構 主從型結構如下圖所示。9.4.2多媒體數(shù)據庫的組織結構3.分布式結構 分布式結構如下圖所示。9.4.2多媒體數(shù)據庫的組織結構4.客戶/服務器結構 客戶/服務器結構如下圖所示。9.4.2多媒體數(shù)據庫的組織結構5.超媒體型結構 這種多媒體數(shù)據庫體系結構強調對數(shù)據時空索引的組織，強調所有的信息應該連為一體并且信息能夠隨意擴展與訪問。它把數(shù)據庫分散到網絡上，把它看成一個信息空間，只要設計好訪問工具就能夠訪問和使用這些信息。9.5多媒體數(shù)據庫的用戶接口9.5.1字符數(shù)值型接口9.5.2自然語言接口9.5.3示例型接口9.5.4用戶表現(xiàn)接口9.5.1字符數(shù)值型接口字符數(shù)值型接口是通過表示類查詢來實現(xiàn)數(shù)據信息的查詢。這種基于表示形式的查詢與表示的數(shù)據類型和設計結構有關，不需要對數(shù)據作任何分析。9.5.2自然語言接口自然語言接口本身具有變化大、抽象性強、可以表示不確定性要求等優(yōu)點，具體內容如下：（1）共同性（2）抽象性（3）模糊性 當然，實現(xiàn)自然語言接口有很大的難度。9.5.3示例型接口示例查詢就是指那些無法用形式化方法描述的查詢，通過給出一個示例，然后系統(tǒng)自動獲取其特征，再根據這些特征進行查詢。示例是直接對媒體進行處理和操作的。示例可以分為：文本示例圖像示例(圖像數(shù)據庫的示例接口如下頁所示.)聲音示例視頻示例結構示例混合示例9.5.3示例型接口9.5.4用戶表現(xiàn)接口

多媒體數(shù)據庫可以為應用提供一種表現(xiàn)復雜結構的可能，如多媒體表現(xiàn)、敘事性用戶表現(xiàn)等。1.多媒體表現(xiàn)1）字符與文本表現(xiàn)2）圖像表現(xiàn)3）視頻表現(xiàn)4）聲音表現(xiàn)5）混合表現(xiàn)6）概念表現(xiàn)9.5.4用戶表現(xiàn)接口2.敘事表現(xiàn)敘事表現(xiàn)就是能將數(shù)據庫中有關的情節(jié)和任務組成一個故事，并表現(xiàn)出來。敘事表現(xiàn)依賴于數(shù)據庫中可用的內容和其所限定的注釋，故事可以用模板事先限定，也可以提供某種過濾機制。9.6基于內容的檢索與查詢9.6.1基于內容檢索概述9.6.2基于內容檢索系統(tǒng)的一般結構9.6.3多媒體內容分析9.6.4基于內容檢索的過程和指標9.6.5基于內容檢索系統(tǒng)的設計和實現(xiàn)9.6.6圖像的內容處理與基于內容檢索9.6.7音頻的內容處理與基于內容檢索9.6.8視頻的內容處理與基于內容檢索9.6.9基于內容檢索的展望9.6.1基于內容檢索概述

基于內容的多媒體檢索是對多媒體數(shù)據（如視頻、音頻流等）所蘊涵的物理和語義的內容進行計算機分析理解，以方便用戶查詢，其本質是對無序的多媒體數(shù)據流結構化，提取語義信息，保證多媒體內容能被快速檢索。1.基于內容的多媒體檢索原理與特點（1）根據媒體對象的語義和上下文聯(lián)系進行檢索。（2）使用人機交互方式查詢、檢索信息。（3）基于內容的檢索是一種近似匹配，逐步求精的檢索方法。（4）滿足用戶多層次的檢索要求。（5）大型數(shù)據庫的快速檢索。9.6.1基于內容檢索概述2.基于內容的多媒體檢索的技術1）信息模型和表示2）信息壓縮和恢復3）信息存儲管理4）多媒體同步技術5）多媒體特征提取技術6）匹配相似性檢索技術9.6.1基于內容檢索概述3.基于內容的多媒體檢索的應用基于內容檢索技術的應用領域非常廣泛，早期對罪犯面貌特征的識別和管理、指紋的識別和管理、全文信息檢索等。現(xiàn)在這種技術將擴展到任何的媒體和更廣泛的領域，涉及到多媒體數(shù)據庫、知識產權保護、數(shù)字圖書館、網絡多媒體搜索引擎、交互電視、藝術收藏和博物館管理、遙感和地球資源管理、遠程醫(yī)療、天氣預報以及軍事指揮系統(tǒng)等具體的應用。9.6.1基于內容檢索概述

目前國內外已開發(fā)出的基于內容檢索的原型系統(tǒng)比較著名的有以下一些：（1）QBIC系統(tǒng)。（2）Photobook系統(tǒng)。（3）CORE系統(tǒng)。（4）VisualSEEK系統(tǒng)。9.6.2基于內容檢索系統(tǒng)的一般結構基于內容檢索系統(tǒng)分為兩個子系統(tǒng)：特征抽取子系統(tǒng)和查詢子系統(tǒng)。下圖為多媒體數(shù)據庫中基于內容檢索系統(tǒng)的結構示意圖。9.6.2基于內容檢索系統(tǒng)的一般結構下圖為查詢方法的示意圖。9.6.2基于內容檢索系統(tǒng)的一般結構多媒體數(shù)據庫中基于內容檢索系統(tǒng)包括以下功能模塊：1.目標識別2.特征抽取3.數(shù)據庫4.查詢接口（1）交互輸入方式。（2）模板選擇輸入方式。（3）用戶提交特征樣板輸入方式。5.檢索引擎6.索引/過濾9.6.3多媒體內容分析對于多媒體數(shù)據的內容概念可以從下面幾個層次上來理解：概念級內容感知特感知特性邏輯關系信號特性特定領域的特征獲得媒體內容的方式可以是人工方式和自動方式。9.6.3多媒體內容分析多媒體內容的語義和多媒體內容的處理技術。1.多媒體內容語義1）文本2）圖像3）視頻4）聲音2.多媒體內容處理技術 多媒體內容處理過程如下頁圖所示。9.6.3多媒體內容分析9.6.4基于內容檢索的過程和指標1.多媒體分析的步驟多媒體數(shù)據的分析過程如下圖所示：其中分割的實現(xiàn)有自動分割和人工分割兩種方法。9.6.4基于內容檢索的過程和指標2.檢索過程（如下圖）

9.6.4基于內容檢索的過程和指標3.指標由于基于內容的檢索系統(tǒng)是采用相似性匹配算法實現(xiàn)的，檢索到的對象往往存在一定的誤差，這個誤差可以用查到率（Recall）和查準率（Precision）來衡量。 9.6.5基于內容檢索系統(tǒng)的設計和實現(xiàn)1.檢索的方法1）基于內容的文本檢索基于內容的文本檢索方法有布爾模型、概率模型和向量空間模型三種方法。2）基于內容的圖像檢索建立圖像的特征矢量為其索引。3）基于內容的視頻檢索視頻檢索的方法主要有三種：（1）基于關鍵幀的檢索。（2）基于運動的檢索。（3）瀏覽。9.6.5基于內容檢索系統(tǒng)的設計和實現(xiàn)4）基于內容的音頻檢索（1）賦值查詢。（2）示例查詢。（3）組織瀏覽查詢。2.Internet上靜態(tài)圖像的基于內容檢索的原型系統(tǒng)1）系統(tǒng)結構系統(tǒng)結構如下頁圖示。9.6.5基于內容檢索系統(tǒng)的設計和實現(xiàn)9.6.5基于內容檢索系統(tǒng)的設計和實現(xiàn)2）檢索查詢界面設計一個好的人機交互界面可以提高系統(tǒng)的檢索效率。系統(tǒng)界面結構分為檢索特征預覽、檢索控制參數(shù)和特征輸入區(qū)三個組成部分。界面設計如下頁圖示。特征輸入手段有：（1）操縱交互輸入方式，用戶通過操縱工具調整特征值。（2）模板選擇輸入方式特征。（3）瀏覽檢索。（正在研究）（4）樣本檢索。（正在研究）9.6.5基于內容檢索系統(tǒng)的設計和實現(xiàn)9.6.5基于內容檢索系統(tǒng)的設計和實現(xiàn)3）提交特征分析（1）主顏色（2）紋理（3）色調立方圖（4）彩色立方圖（5）顏色分布（6）輪廓（7）主題9.6.5基于內容檢索系統(tǒng)的設計和實現(xiàn)4）檢索關鍵技術本系統(tǒng)采用了兩種關鍵技術：（1）檢索表達。（2）快速檢索算法。3.QBIC（querybyimagecontent）系統(tǒng)1）QBIC系統(tǒng)概述

QBIC系統(tǒng)可以完成圖像、視頻的部分檢索操作。9.6.5基于內容檢索系統(tǒng)的設計和實現(xiàn)

系統(tǒng)以示例方式對以下內容進行查詢：（1）查找與用戶畫出的圖像輪廓和邊框相似的對象。（2）以圖像中特定的顏色和紋理模式進行查找。（3）查找物體的移動。（4）查找攝影機的操作。（5）其他圖形信息。2）數(shù)據庫生成3）快速搜索和索引

9.6.6圖像的內容處理與基于內容檢索基于內容的圖像檢索系統(tǒng)的體系結構如下圖所示。系統(tǒng)的核心是圖像特征數(shù)據庫。圖像特征的提取與表達是基于內容的圖像檢索技術的基礎。9.6.6圖像的內容處理與基于內容檢索1.顏色特征的提取基于顏色特征的圖像檢索主要解決三個問題：顏色的表示、顏色特征的提取和基于顏色的相似度量。顏色特征的提取和檢索主要利用顏色空間直方圖進行匹配?；陬伾卣鞯臋z索方法主要有互補顏色空間直方圖、直方圖交叉法、直方圖距離比較法、二次型距離算法等。9.6.6圖像的內容處理與基于內容檢索2.紋理特征的提取把圖像這種局部的不規(guī)則而宏觀有規(guī)律的特性稱為紋理。根據紋理的粗糙性、方向性和對比度三個參數(shù)，可以采用示例查詢圖像的方法。分析紋理的常用方法有基于傳統(tǒng)數(shù)學模型的共生矩陣法、K-L變換、紋理譜分析等方法和基于視覺模型的多分辨率分析、小波方法等。對紋理的檢索一般采用示例查詢方法QBE（querybyexample）方式，即從樣本集（即一套預先存儲的紋理圖像）中選擇所要查詢的紋理。9.6.6圖像的內容處理與基于內容檢索3.形狀特征的提取形狀特征有兩種表示方法：一種是輪廓特征；一種是區(qū)域特征。對形狀特征分析的基礎是圖像邊緣的提取。基于形狀的檢索既包括傳統(tǒng)意義上的基于二維形狀的檢索，也包括在三維圖像中的基于三維形狀的檢索。形狀特征的表達必須以對圖像中物體或區(qū)域的劃分為基礎。對應于形狀特征的兩種表示方法，最典型的方法分別是傅立葉形狀描述符和形狀無關矩。9.6.7音頻的內容處理與基于內容檢索

可以把音頻的內容分為三個級別，即最低層的物理樣本級、中間層的聲學特征級和最高層的語義級，如下圖所示。9.6.7音頻的內容處理與基于內容檢索1.基于語音技術的檢索

1）利用大詞匯語音識別技術進行檢索2）基于子詞單元進行檢索3）基于識別關鍵詞進行檢索4）基于說話人的語言辨別進行檢索2.音頻檢索1）聲音訓練和分類2）聽覺檢索3）音頻分割3.音樂檢索音樂檢索是利用節(jié)奏、音符、樂器等特征來檢索的。9.6.8視頻的內容處理與基于內容檢索視頻是一種動態(tài)圖像，是一組圖像按時間的有序連續(xù)表現(xiàn)，它的表示與圖像序列、時間關系有關。視頻數(shù)據可用幕