多媒體技術(shù)與通信上海大學(xué)通信與信息工程學(xué)院2014年10月多媒體技術(shù)與通信上海大學(xué)通信與信息工程學(xué)院第六章多媒體數(shù)據(jù)庫(kù)第六章多媒體數(shù)據(jù)庫(kù)提要6.1多媒體數(shù)據(jù)庫(kù)概述6.1.1數(shù)據(jù)管理方法的發(fā)展6.1.2多媒體數(shù)據(jù)庫(kù)的基本概念及特征6.1.3多媒體數(shù)據(jù)庫(kù)的相關(guān)技術(shù)6.2多媒體數(shù)據(jù)庫(kù)的實(shí)現(xiàn)方法6.2.1從關(guān)系數(shù)據(jù)模型發(fā)展多媒體數(shù)據(jù)庫(kù)6.2.2面向?qū)ο蟮臄?shù)據(jù)庫(kù)6.2.3分布式超媒體數(shù)據(jù)庫(kù)

6.2.4多媒體數(shù)據(jù)庫(kù)的體系結(jié)構(gòu)6.3多媒體信息的檢索和查詢6.3.1基本概念6.3.2基于內(nèi)容的檢索2022年11月22日3提要6.1多媒體數(shù)據(jù)庫(kù)概述2022年11月21日3提要6.4基于圖像內(nèi)容的檢索6.4.1基于顏色特征的檢索6.4.2基于形狀特征的檢索6.4.3基于紋理特征的檢索6.4.4基于視頻內(nèi)容的檢索6.5基于音頻內(nèi)容的檢索6.5.1基于語(yǔ)音技術(shù)的檢索6.5.2音頻檢索6.5.3音樂(lè)檢索6.6基于內(nèi)容檢索的系統(tǒng)實(shí)例2022年11月22日4提要6.4基于圖像內(nèi)容的檢索2022年11月21日46.1多媒體數(shù)據(jù)庫(kù)概述多媒體數(shù)據(jù)種類繁多，具有時(shí)間特性和版本概念如何對(duì)多媒體數(shù)據(jù)進(jìn)行組織和管理?產(chǎn)生了一種全新的數(shù)據(jù)庫(kù)--多媒體數(shù)據(jù)庫(kù)(MDB)2022年11月22日56.1多媒體數(shù)據(jù)庫(kù)概述多媒體數(shù)據(jù)種類繁多，具有時(shí)間特性6.1.1數(shù)據(jù)管理方法的發(fā)展數(shù)據(jù)管理經(jīng)歷了由文件直接存儲(chǔ)到數(shù)據(jù)庫(kù)管理系統(tǒng)的發(fā)展過(guò)程數(shù)據(jù)庫(kù)管理系統(tǒng)就是管理數(shù)據(jù)庫(kù)的軟件數(shù)據(jù)庫(kù)是指數(shù)據(jù)的匯集，數(shù)據(jù)以一定的組織形式存于存儲(chǔ)介質(zhì)上2022年11月22日66.1.1數(shù)據(jù)管理方法的發(fā)展數(shù)據(jù)管理經(jīng)歷了由文件直接存數(shù)據(jù)庫(kù)管理系統(tǒng)的7個(gè)功能提供高級(jí)的用戶接口查詢處理和優(yōu)化數(shù)據(jù)目錄管理并發(fā)控制恢復(fù)功能完整性約束檢查訪問(wèn)控制2022年11月22日7數(shù)據(jù)庫(kù)管理系統(tǒng)的7個(gè)功能提供高級(jí)的用戶接口2022年11月2數(shù)據(jù)庫(kù)管理系統(tǒng)的分類數(shù)據(jù)庫(kù)管理系統(tǒng)可分為以關(guān)系模型為代表的傳統(tǒng)數(shù)據(jù)庫(kù)管理系統(tǒng)關(guān)系模型基本上把對(duì)象看成二維表,統(tǒng)一標(biāo)準(zhǔn)的框架以面向?qū)ο竽Ｐ蜑榇淼姆莻鹘y(tǒng)數(shù)據(jù)庫(kù)管理系統(tǒng)面向?qū)ο蠹夹g(shù)以自然、直觀和科學(xué)的思維方式去看待、描述、定義和處理現(xiàn)實(shí)世界2022年11月22日8數(shù)據(jù)庫(kù)管理系統(tǒng)的分類數(shù)據(jù)庫(kù)管理系統(tǒng)可分為2022年11月216.1.2多媒體數(shù)據(jù)庫(kù)的基本概念及特征多媒體數(shù)據(jù)庫(kù)要處理的信息包括數(shù)值、字符、文本、圖形、圖像、聲音和視頻等對(duì)這些信息進(jìn)行管理、運(yùn)用和共享的數(shù)據(jù)庫(kù)就是多媒體數(shù)據(jù)庫(kù)

2022年11月22日96.1.2多媒體數(shù)據(jù)庫(kù)的基本概念及特征多媒體數(shù)據(jù)庫(kù)要處理的多媒體數(shù)據(jù)庫(kù)主要特點(diǎn)1.應(yīng)能表示多種媒體的數(shù)據(jù)2.多媒體數(shù)據(jù)庫(kù)應(yīng)能協(xié)調(diào)處理各種媒體數(shù)據(jù)，正確識(shí)別各種媒體數(shù)據(jù)在空間或時(shí)間上的關(guān)系3.應(yīng)能提供比傳統(tǒng)的DBMS更強(qiáng)的適合非格式化數(shù)據(jù)查詢的搜索功能，提供瀏覽(Browse)功能4.網(wǎng)絡(luò)功能

5.多媒體數(shù)據(jù)庫(kù)系統(tǒng)應(yīng)具有開(kāi)放功能，提供多媒體數(shù)據(jù)庫(kù)的應(yīng)用程序接口API。6.多媒體數(shù)據(jù)庫(kù)還應(yīng)提供事務(wù)(transaction)和版本(version)管理功能

2022年11月22日10多媒體數(shù)據(jù)庫(kù)主要特點(diǎn)1.應(yīng)能表示多種媒體的數(shù)據(jù)2022年16.1.3多媒體數(shù)據(jù)庫(kù)的相關(guān)技術(shù)多媒體數(shù)據(jù)庫(kù)的相關(guān)技術(shù)有以下一些：1．多媒體數(shù)據(jù)模型多媒體信息檢索依賴于多媒體信息的組織形式常見(jiàn)的多媒體對(duì)象是構(gòu)造型的復(fù)合對(duì)象

典型的數(shù)據(jù)模型有超文本模型(網(wǎng)狀模型)、文獻(xiàn)模型(層次模型)和信息元模型(層次模型)等2．?dāng)?shù)據(jù)的壓縮和還原壓縮方法要考慮到復(fù)雜性、實(shí)現(xiàn)速度以及壓縮質(zhì)量等問(wèn)題2022年11月22日116.1.3多媒體數(shù)據(jù)庫(kù)的相關(guān)技術(shù)多媒體數(shù)據(jù)庫(kù)的相關(guān)技術(shù)有多媒體數(shù)據(jù)庫(kù)的相關(guān)技術(shù)（續(xù)）3．存儲(chǔ)管理和存取方法大對(duì)象一般是分頁(yè)面進(jìn)行管理的引入基于內(nèi)容的檢索方法、矢量空間模型信息索引檢索技術(shù)、智能索引技術(shù)等4．用戶界面嵌入聲音和圖像等多媒體語(yǔ)言信息來(lái)操作多媒體數(shù)據(jù)庫(kù)5．分布式技術(shù)主要研究多媒體信息的處理和多用戶系統(tǒng)的協(xié)調(diào)6．多媒體數(shù)據(jù)的傳送技術(shù)存在一些問(wèn)題需要解決:數(shù)據(jù)量大，因此時(shí)延大大增加。解決方法一是增加網(wǎng)絡(luò)帶寬，二是改變多媒體信息傳送的路徑聲像同步問(wèn)題也是一個(gè)重要的問(wèn)題2022年11月22日12多媒體數(shù)據(jù)庫(kù)的相關(guān)技術(shù)（續(xù)）3．存儲(chǔ)管理和存取方法20226.2多媒體數(shù)據(jù)庫(kù)的實(shí)現(xiàn)方法數(shù)據(jù)模型是實(shí)現(xiàn)數(shù)據(jù)庫(kù)管理系統(tǒng)的基礎(chǔ)

數(shù)據(jù)模型分為3級(jí)概念數(shù)據(jù)模型概念數(shù)據(jù)模型是面向用戶、面向現(xiàn)實(shí)世界的,主要用來(lái)描述一個(gè)單位的概念化結(jié)構(gòu)物理數(shù)據(jù)模型物理數(shù)據(jù)模型不僅與DBMS有關(guān)，而且還與操作系統(tǒng)和硬件有關(guān)邏輯數(shù)據(jù)模型邏輯數(shù)據(jù)模型是用戶從數(shù)據(jù)庫(kù)所看到的數(shù)據(jù)模型，它與DBMS有關(guān)2022年11月22日136.2多媒體數(shù)據(jù)庫(kù)的實(shí)現(xiàn)方法數(shù)據(jù)模型是實(shí)現(xiàn)數(shù)據(jù)庫(kù)管理系6.2.1從關(guān)系數(shù)據(jù)模型發(fā)展多媒體數(shù)據(jù)庫(kù)實(shí)現(xiàn)多媒體數(shù)據(jù)庫(kù)最簡(jiǎn)單的方法是利用關(guān)系數(shù)據(jù)庫(kù)模型。關(guān)鍵是如何處理無(wú)格式的數(shù)據(jù),處理無(wú)格式數(shù)據(jù)的3種策略:(1)關(guān)系數(shù)據(jù)庫(kù)管理技術(shù)與操作系統(tǒng)中文件系統(tǒng)的功能相結(jié)合，實(shí)現(xiàn)對(duì)無(wú)格式數(shù)據(jù)的管理。只管理對(duì)無(wú)格式數(shù)據(jù)的引用，即文件名，而不是無(wú)格式數(shù)據(jù)本身缺點(diǎn)：要涉及操作系統(tǒng)的文件I／O，所以效率較低優(yōu)點(diǎn)：簡(jiǎn)單、易實(shí)現(xiàn)2022年11月22日146.2.1從關(guān)系數(shù)據(jù)模型發(fā)展多媒體數(shù)據(jù)庫(kù)實(shí)現(xiàn)多媒體數(shù)據(jù)處理無(wú)格式的數(shù)據(jù)的3種策略（續(xù)）(2)將無(wú)格式數(shù)據(jù)和關(guān)系元組中的格式化數(shù)據(jù)封裝在一起，形成一個(gè)完整的元組，存放在數(shù)據(jù)頁(yè)面或數(shù)據(jù)頁(yè)面組中缺點(diǎn)：系統(tǒng)較小，將增加實(shí)現(xiàn)的難度和系統(tǒng)開(kāi)銷優(yōu)點(diǎn)：將格式化數(shù)據(jù)與無(wú)格式化數(shù)據(jù)統(tǒng)一處理，實(shí)現(xiàn)了

管理上的一致，使系統(tǒng)更加緊湊2022年11月22日15處理無(wú)格式的數(shù)據(jù)的3種策略（續(xù)）(2)將無(wú)格式數(shù)據(jù)和關(guān)系元組處理無(wú)格式的數(shù)據(jù)的3種策略（續(xù)）(3)將元組中無(wú)格式數(shù)據(jù)分成兩部分，一部分是格式化數(shù)據(jù)本身，另一部分是對(duì)無(wú)格式數(shù)據(jù)的引用

優(yōu)點(diǎn)：資源分配使用較為合理，實(shí)現(xiàn)性能較好缺點(diǎn)：基于關(guān)系數(shù)據(jù)模型的多媒體DBMS，典型的有ORACLE 7.O、INGRES6.0、Informix-Online等。只能對(duì)字 段的存在進(jìn)行查詢，不能實(shí)現(xiàn)基于字段內(nèi)容的查詢

例如：清華紫光的ITbase、華中理工大學(xué)的MDBMS等2022年11月22日16處理無(wú)格式的數(shù)據(jù)的3種策略（續(xù)）(3)將元組中無(wú)格式數(shù)據(jù)分成6.2.2面向?qū)ο蟮臄?shù)據(jù)庫(kù)封裝性和可擴(kuò)充性是面向?qū)ο蠹夹g(shù)的精髓復(fù)雜性、多樣性又是多媒體數(shù)據(jù)及其處理的突出特征 決定了面向?qū)ο髷?shù)據(jù)庫(kù)技術(shù)是構(gòu)造多媒體數(shù)據(jù)庫(kù)的一種比較適宜的手段2022年11月22日176.2.2面向?qū)ο蟮臄?shù)據(jù)庫(kù)封裝性和可擴(kuò)充性是面向?qū)ο蠹?.2.2面向?qū)ο蟮臄?shù)據(jù)庫(kù)面向?qū)ο蠓椒ǖ幕咎卣?/p>

(1)對(duì)象把數(shù)據(jù)和有關(guān)操作封裝在一起，更好地實(shí)現(xiàn)了數(shù)據(jù)的抽象(2)面向?qū)ο蠓椒ǖ睦^承體現(xiàn)在對(duì)象繼承結(jié)構(gòu)上，下層對(duì)象繼承上層對(duì)象的特征，便于軟件的演化和擴(kuò)充(3)用消息將對(duì)象動(dòng)態(tài)鏈接在一起，并采用靈活的消息傳遞方式，便于在概念上體現(xiàn)并行和分布式(4)具有信息隱藏性。對(duì)象把實(shí)現(xiàn)細(xì)節(jié)隱藏在內(nèi)部，當(dāng)要對(duì)其功能做完善和擴(kuò)充而進(jìn)行修改時(shí)，影響僅限于該對(duì)象內(nèi)部，而不會(huì)對(duì)外界產(chǎn)生影響，易于軟件的構(gòu)造和擴(kuò)充2022年11月22日186.2.2面向?qū)ο蟮臄?shù)據(jù)庫(kù)面向?qū)ο蠓椒ǖ幕咎卣?026.2.3分布式超媒體數(shù)據(jù)庫(kù)分布式超媒體數(shù)據(jù)庫(kù)HDB系統(tǒng)是一種以超媒體信息管理技術(shù)為基礎(chǔ)的分布式系統(tǒng)，向用戶提供良好的人機(jī)交互方式。超媒體節(jié)點(diǎn)和鏈分別描述實(shí)體與實(shí)體間的聯(lián)系采用超媒體的瀏覽導(dǎo)航機(jī)制，瀏覽過(guò)濾功能典型的商業(yè)應(yīng)用是地理信息系統(tǒng)(GIS)2022年11月22日196.2.3分布式超媒體數(shù)據(jù)庫(kù)分布式超媒體數(shù)據(jù)庫(kù)HDB系6.2.4多媒體數(shù)據(jù)庫(kù)的體系結(jié)構(gòu)多媒體數(shù)據(jù)庫(kù)的體系結(jié)構(gòu)一般有以下幾種:(1)集中式結(jié)構(gòu)多媒體數(shù)據(jù)庫(kù)管理系統(tǒng)具有管理各種媒體的功能2022年11月22日20DBMS聲音文本圖像用戶6.2.4多媒體數(shù)據(jù)庫(kù)的體系結(jié)構(gòu)多媒體數(shù)據(jù)庫(kù)的體系結(jié)構(gòu)一多媒體數(shù)據(jù)庫(kù)的體系結(jié)構(gòu)（續(xù)）(2)聯(lián)邦式結(jié)構(gòu)由若干功能相同的集中式DBMS松散集成

全局用戶可以從任意一個(gè)節(jié)點(diǎn)登錄

2022年11月22日21DBMS聲音文本圖像用戶DBMS聲音文本圖像用戶DBMS聲音文本圖像用戶多媒體數(shù)據(jù)庫(kù)的體系結(jié)構(gòu)（續(xù)）(2)聯(lián)邦式結(jié)構(gòu)2022年11多媒體數(shù)據(jù)庫(kù)的體系結(jié)構(gòu)（續(xù)）(3)主從式結(jié)構(gòu)DBMS由一個(gè)主DBMS統(tǒng)一管理

2022年11月22日22DBMS聲音文本圖像用戶DBMSDBMSDBMS視頻DBMS多媒體數(shù)據(jù)庫(kù)的體系結(jié)構(gòu)（續(xù)）(3)主從式結(jié)構(gòu)2022年11多媒體數(shù)據(jù)庫(kù)的體系結(jié)構(gòu)（續(xù)）(4)客戶機(jī)/服務(wù)器結(jié)構(gòu)

客戶機(jī)請(qǐng)求/服務(wù)器響應(yīng)。從邏輯功能的角度來(lái)看，系統(tǒng)都可以分為用戶交互、數(shù)據(jù)編組和多媒體數(shù)據(jù)管理這三個(gè)層次：多媒體數(shù)據(jù)管理層主要完成多媒體數(shù)據(jù)庫(kù)的存儲(chǔ)管理和事務(wù)管理數(shù)據(jù)編組層實(shí)現(xiàn)由多媒體數(shù)據(jù)庫(kù)模式定義的時(shí)間同步和空間集成需求，對(duì)數(shù)據(jù)進(jìn)行組合和調(diào)度用戶交互層既為最終用戶服務(wù)，又為應(yīng)用程序員服務(wù)

用戶交互層和數(shù)據(jù)編組層由客戶機(jī)處理，多媒體數(shù)據(jù)管理層則由服務(wù)器來(lái)處理2022年11月22日23多媒體數(shù)據(jù)庫(kù)的體系結(jié)構(gòu)（續(xù)）(4)客戶機(jī)/服務(wù)器結(jié)構(gòu)202多媒體數(shù)據(jù)庫(kù)的體系結(jié)構(gòu)圖2022年11月22日24模式管理DB維護(hù)查詢?yōu)g覽聲音/圖像編輯查詢用戶接口用戶交互界面數(shù)據(jù)編輯數(shù)據(jù)編組層格式化數(shù)據(jù)管理非格式化數(shù)據(jù)管理離散媒體連續(xù)媒體多媒體數(shù)據(jù)管理層多媒體數(shù)據(jù)庫(kù)的體系結(jié)構(gòu)圖2022年11月21日24模式DB查6.3多媒體信息的檢索和查詢信息的查詢和檢索有兩大類基于表示的基于內(nèi)容的2022年11月22日256.3多媒體信息的檢索和查詢信息的查詢和檢索有兩大類26.3.1基本概念基于表示的檢索和查詢的數(shù)據(jù)類型和數(shù)據(jù)結(jié)構(gòu)有關(guān)，不需要對(duì)內(nèi)容作分析

基于內(nèi)容的檢索是指根據(jù)媒體對(duì)象的語(yǔ)義、特征進(jìn)行檢索2022年11月22日266.3.1基本概念基于表示的檢索和查詢的數(shù)據(jù)類型和數(shù)據(jù)6.3.2基于內(nèi)容的檢索基于內(nèi)容的檢索(ContentBasedRetrieval)就是指根據(jù)媒體和媒體對(duì)象的內(nèi)容語(yǔ)義及上下文聯(lián)系進(jìn)行檢索1．基于內(nèi)容的檢索的特點(diǎn)

(1)從媒體內(nèi)容中提取信息線索，突破了基于關(guān)鍵詞檢索局限

(2)提取特征的方法多種多樣例:形狀特征、顏色特征、紋理特征、輪廓特征等(3)大型數(shù)據(jù)庫(kù)的快速檢索

(4)基于內(nèi)容的檢索是一種近似匹配

2022年11月22日276.3.2基于內(nèi)容的檢索基于內(nèi)容的檢索(Content6.3.2基于內(nèi)容的檢索基于內(nèi)容的檢索可以利用圖像處理、語(yǔ)音信號(hào)處理、模式識(shí)別、計(jì)算機(jī)視覺(jué)等學(xué)科中的一些方法作為部分基礎(chǔ)技術(shù)基于內(nèi)容的檢索是一種信息檢索技術(shù)例如：用戶想買一輛黃色的自行車，選定了黃色和自行 車的樣式2022年11月22日286.3.2基于內(nèi)容的檢索基于內(nèi)容的檢索可以利用圖像處理、2．基于內(nèi)容檢索的技術(shù)基于格式化數(shù)據(jù)的內(nèi)容檢索利用基于關(guān)鍵字的檢索和全文本檢索以及基于文件模型等方法語(yǔ)音、圖像等非格式化數(shù)據(jù)的檢索和查詢，采用“依據(jù)實(shí)例查詢”(QueryByExample)的方法,分為以下幾種:(1)準(zhǔn)確實(shí)例檢索和查詢用戶給出的確切查詢實(shí)例,完全的實(shí)例查詢(2)模糊實(shí)例查詢依照這個(gè)例子查找與它相似的圖像(3)描繪示例檢索和查詢針對(duì)用戶給出的所需圖像的粗略結(jié)構(gòu)描述進(jìn)行處理2022年11月22日292．基于內(nèi)容檢索的技術(shù)基于格式化數(shù)據(jù)的內(nèi)容檢索利用基于關(guān)鍵6.4基于圖像內(nèi)容的檢索分為靜止圖像檢索和活動(dòng)視頻檢索

檢索的特征主要有顏色、紋理、草圖、形狀等2022年11月22日306.4基于圖像內(nèi)容的檢索分為靜止圖像檢索和活動(dòng)視頻檢索6.4.1基于顏色特征的檢索顏色是描述一幅圖像最簡(jiǎn)便而有效的特征直方圖的橫軸表示顏色等級(jí)，縱軸表示在某一個(gè)顏色等級(jí)上具有該顏色的像素在整幅圖像中所占的比例

以直方圖為特征的常用的匹配方法(1)直方圖交叉法(2)直接差值法(3)矢量距離法2022年11月22日316.4.1基于顏色特征的檢索顏色是描述一幅圖像最簡(jiǎn)便而用不同的方法對(duì)圖像進(jìn)行預(yù)處理，然后用直方圖進(jìn)行匹配，以滿足不同的檢索要求。用轉(zhuǎn)換后的直方圖計(jì)算的差值對(duì)應(yīng)于感知上的差別例如：HSV模型把彩色信號(hào)表示為3種屬性即色調(diào)(Hue)、飽和度(saturation)和亮度(Value)。將H、S、V三個(gè)分量按照人的感知進(jìn)行非等間隔量化，然后通過(guò)數(shù)學(xué)公式把HSV三維空間中的特征矢量轉(zhuǎn)換為一維空間中的特征矢量2022年11月22日32用不同的方法對(duì)圖像進(jìn)行預(yù)處理，然后用直方圖進(jìn)行匹配，以滿足不6.4.2基于形狀特征的檢索形狀是刻劃物體的本質(zhì)特征之一，從圖像中提取的目標(biāo)邊緣稱為輪廓?；谛螤钐卣鞯臋z索方法有兩種：

(1)分割圖像經(jīng)過(guò)邊緣提取后，得到目標(biāo)的輪廓線，針對(duì)這種輪廓線進(jìn)行形狀特征檢索(2)直接針對(duì)圖形尋找適當(dāng)?shù)氖噶刻卣饔糜跈z索算法難點(diǎn)在于尋找能夠檢索與大小、方向及扭曲伸縮無(wú)關(guān)的方法。同時(shí)采用3個(gè)特征作為形狀特征，即長(zhǎng)／短軸比、周長(zhǎng)／面積比、最近與最遠(yuǎn)點(diǎn)的連線間的夾角。2022年11月22日336.4.2基于形狀特征的檢索形狀是刻劃物體的本質(zhì)特征之6.4.3基于紋理特征的檢索習(xí)慣上把圖像中局部不規(guī)則而整體有規(guī)律的特性稱之為紋理。紋理特征主要有粗糙性、方向性和對(duì)比度等。

紋理分析方法可分為兩類:(1)統(tǒng)計(jì)方法用于分析像木紋、沙地、草坪等細(xì)致而不規(guī)則的物體(2)結(jié)構(gòu)方法適于像布料的印刷圖案或磚瓦等一類元素組成的紋理及排列比較規(guī)則的圖案紋理顏色也作為一個(gè)檢索特征,逐步逼近,以小圖像的形式全部顯示給用戶2022年11月22日346.4.3基于紋理特征的檢索習(xí)慣上把圖像中局部不規(guī)則而6.4.4基于視頻內(nèi)容的檢索基于內(nèi)容的視頻檢索系統(tǒng)(CBVRS)包含以下兩個(gè)模塊：(1)視頻數(shù)據(jù)庫(kù)生成模塊完成視頻源數(shù)據(jù)的生成、視頻數(shù)據(jù)的預(yù)處理及視頻特征庫(kù)的生成等(2)視頻查詢和檢索模塊該模塊將根據(jù)需要完成用戶指定的查詢和檢索任務(wù)視頻本身的層次化結(jié)構(gòu)則要求視頻檢索必須層次化進(jìn)行例如：用戶檢索鏡頭、視頻段、某些圖像幀，就對(duì)檢索提出了層次化的要求2022年11月22日356.4.4基于視頻內(nèi)容的檢索基于內(nèi)容的視頻檢索系統(tǒng)(C6.5基于音頻內(nèi)容的檢索音頻可以分為三種類型:(1)波形聲音(2)語(yǔ)音(3)音樂(lè)處理方法可以分為相應(yīng)的三種第一種是利用自動(dòng)語(yǔ)音識(shí)別技術(shù)，處理包含語(yǔ)音的音頻后兩種是利用更一般性的音頻分析處理

2022年11月22日366.5基于音頻內(nèi)容的檢索音頻可以分為三種類型:20226.5.1基于語(yǔ)音技術(shù)的檢索基于語(yǔ)音技術(shù)的檢索是利用語(yǔ)音處理技術(shù)檢索音頻信息(1)基于關(guān)鍵詞檢索(2)基于子詞單元檢索利用子詞(SubWord)索引單元，用戶的查詢首先被分解為子詞單元

(3)利用大詞匯語(yǔ)音識(shí)別技術(shù)檢索利用自動(dòng)語(yǔ)音識(shí)別(ASR)技術(shù)把語(yǔ)音轉(zhuǎn)換為文本，從而可以采用文本檢索方法進(jìn)行檢索4)基于說(shuō)話人的辨認(rèn)分割簡(jiǎn)單地辨別出說(shuō)話人話音的差別，而不是識(shí)別出說(shuō)的是什么

例如，分割和分析會(huì)議錄音2022年11月22日376.5.1基于語(yǔ)音技術(shù)的檢索基于語(yǔ)音技術(shù)的檢索是利用語(yǔ)6.5.2音頻檢索音頻檢索是以波形聲音為對(duì)象的檢索，統(tǒng)一用聲學(xué)特征來(lái)檢索，采用的是更一般性的聲學(xué)特性分析方法(1)聽(tīng)覺(jué)檢索例如，按時(shí)間片計(jì)算一組聽(tīng)覺(jué)感知特征：基音、響度、音調(diào)等，最終的特征矢量將是這些特征的統(tǒng)計(jì)值(2)聲音訓(xùn)練和分類通過(guò)訓(xùn)練來(lái)形成一個(gè)聲音類(3)音頻分割例如對(duì)電臺(tái)綜藝節(jié)目進(jìn)行分割，分割出語(yǔ)音、靜音、音樂(lè)、廣告聲和音樂(lè)背景上的語(yǔ)音等通過(guò)信號(hào)的聲學(xué)分析并查找聲音的轉(zhuǎn)變點(diǎn)就可以實(shí)現(xiàn)音頻的分割2022年11月22日386.5.2音頻檢索音頻檢索是以波形聲音為對(duì)象的檢索，統(tǒng)6.5.3音樂(lè)檢索利用音樂(lè)的音符和旋律等音樂(lè)特性來(lái)檢索音樂(lè)檢索利用的是諸如節(jié)奏、音符、樂(lè)器特征時(shí)間結(jié)構(gòu)的分析是基于振幅統(tǒng)計(jì)，得到現(xiàn)代音樂(lè)中的拍子。頻譜分析獲得音樂(lè)和聲的基本頻率，可以用這些基本頻率進(jìn)行音樂(lè)檢索2022年11月22日396.5.3音樂(lè)檢索利用音樂(lè)的音符和旋律等音樂(lè)特性來(lái)檢索6.6基于內(nèi)容檢索的系統(tǒng)實(shí)例2022年11月22日40自學(xué)6.6基于內(nèi)容檢索的系統(tǒng)實(shí)例2022年11月21日40本章總結(jié)多媒體數(shù)據(jù)庫(kù)的實(shí)現(xiàn)途徑有從關(guān)系數(shù)據(jù)模型發(fā)展多媒體數(shù)據(jù)庫(kù)、利用面向?qū)ο蠹夹g(shù)實(shí)現(xiàn)多媒體數(shù)據(jù)庫(kù)和利用分布式超媒體數(shù)據(jù)庫(kù)發(fā)展多媒體數(shù)據(jù)庫(kù)三種。

最簡(jiǎn)單的是利用關(guān)系數(shù)據(jù)庫(kù)模型，與當(dāng)前的數(shù)據(jù)庫(kù)應(yīng)用兼容，其關(guān)鍵是如何處理無(wú)格式的數(shù)據(jù)面向?qū)ο髷?shù)據(jù)模型語(yǔ)義豐富，描述能力強(qiáng)，并且可擴(kuò)充，是構(gòu)造多媒體數(shù)據(jù)庫(kù)的一種比較適宜的手段

分布式超媒體數(shù)據(jù)庫(kù)系統(tǒng)是一種以超媒體信息管理技術(shù)為基礎(chǔ)的分布式系統(tǒng)，向用戶提供良好的人機(jī)交互方式

2022年11月22日41本章總結(jié)多媒體數(shù)據(jù)庫(kù)的實(shí)現(xiàn)途徑有從關(guān)系數(shù)據(jù)模型發(fā)展多媒體數(shù)據(jù)本章總結(jié)多媒體信息的查詢和檢索有兩大類：基于表示的基于內(nèi)容的基于內(nèi)容的檢索是指根據(jù)媒體和媒體對(duì)象的內(nèi)容語(yǔ)義及上下文聯(lián)系進(jìn)行檢索。分為基于圖像內(nèi)容的檢索和基于音頻內(nèi)容的檢索。習(xí)題：簡(jiǎn)述多媒體數(shù)據(jù)庫(kù)的幾種實(shí)現(xiàn)方法。

基于內(nèi)容的檢索有哪些特點(diǎn)?

2022年11月22日42本章總結(jié)多媒體信息的查詢和檢索有兩大類：2022年11月21TheEndTheEnd多媒體技術(shù)與通信上海大學(xué)通信與信息工程學(xué)院2014年10月多媒體技術(shù)與通信上海大學(xué)通信與信息工程學(xué)院第六章多媒體數(shù)據(jù)庫(kù)第六章多媒體數(shù)據(jù)庫(kù)提要6.1多媒體數(shù)據(jù)庫(kù)概述6.1.1數(shù)據(jù)管理方法的發(fā)展6.1.2多媒體數(shù)據(jù)庫(kù)的基本概念及特征6.1.3多媒體數(shù)據(jù)庫(kù)的相關(guān)技術(shù)6.2多媒體數(shù)據(jù)庫(kù)的實(shí)現(xiàn)方法6.2.1從關(guān)系數(shù)據(jù)模型發(fā)展多媒體數(shù)據(jù)庫(kù)6.2.2面向?qū)ο蟮臄?shù)據(jù)庫(kù)6.2.3分布式超媒體數(shù)據(jù)庫(kù)

6.2.4多媒體數(shù)據(jù)庫(kù)的體系結(jié)構(gòu)6.3多媒體信息的檢索和查詢6.3.1基本概念6.3.2基于內(nèi)容的檢索2022年11月22日46提要6.1多媒體數(shù)據(jù)庫(kù)概述2022年11月21日3提要6.4基于圖像內(nèi)容的檢索6.4.1基于顏色特征的檢索6.4.2基于形狀特征的檢索6.4.3基于紋理特征的檢索6.4.4基于視頻內(nèi)容的檢索6.5基于音頻內(nèi)容的檢索6.5.1基于語(yǔ)音技術(shù)的檢索6.5.2音頻檢索6.5.3音樂(lè)檢索6.6基于內(nèi)容檢索的系統(tǒng)實(shí)例2022年11月22日47提要6.4基于圖像內(nèi)容的檢索2022年11月21日46.1多媒體數(shù)據(jù)庫(kù)概述多媒體數(shù)據(jù)種類繁多，具有時(shí)間特性和版本概念如何對(duì)多媒體數(shù)據(jù)進(jìn)行組織和管理?產(chǎn)生了一種全新的數(shù)據(jù)庫(kù)--多媒體數(shù)據(jù)庫(kù)(MDB)2022年11月22日486.1多媒體數(shù)據(jù)庫(kù)概述多媒體數(shù)據(jù)種類繁多，具有時(shí)間特性6.1.1數(shù)據(jù)管理方法的發(fā)展數(shù)據(jù)管理經(jīng)歷了由文件直接存儲(chǔ)到數(shù)據(jù)庫(kù)管理系統(tǒng)的發(fā)展過(guò)程數(shù)據(jù)庫(kù)管理系統(tǒng)就是管理數(shù)據(jù)庫(kù)的軟件數(shù)據(jù)庫(kù)是指數(shù)據(jù)的匯集，數(shù)據(jù)以一定的組織形式存于存儲(chǔ)介質(zhì)上2022年11月22日496.1.1數(shù)據(jù)管理方法的發(fā)展數(shù)據(jù)管理經(jīng)歷了由文件直接存數(shù)據(jù)庫(kù)管理系統(tǒng)的7個(gè)功能提供高級(jí)的用戶接口查詢處理和優(yōu)化數(shù)據(jù)目錄管理并發(fā)控制恢復(fù)功能完整性約束檢查訪問(wèn)控制2022年11月22日50數(shù)據(jù)庫(kù)管理系統(tǒng)的7個(gè)功能提供高級(jí)的用戶接口2022年11月2數(shù)據(jù)庫(kù)管理系統(tǒng)的分類數(shù)據(jù)庫(kù)管理系統(tǒng)可分為以關(guān)系模型為代表的傳統(tǒng)數(shù)據(jù)庫(kù)管理系統(tǒng)關(guān)系模型基本上把對(duì)象看成二維表,統(tǒng)一標(biāo)準(zhǔn)的框架以面向?qū)ο竽Ｐ蜑榇淼姆莻鹘y(tǒng)數(shù)據(jù)庫(kù)管理系統(tǒng)面向?qū)ο蠹夹g(shù)以自然、直觀和科學(xué)的思維方式去看待、描述、定義和處理現(xiàn)實(shí)世界2022年11月22日51數(shù)據(jù)庫(kù)管理系統(tǒng)的分類數(shù)據(jù)庫(kù)管理系統(tǒng)可分為2022年11月216.1.2多媒體數(shù)據(jù)庫(kù)的基本概念及特征多媒體數(shù)據(jù)庫(kù)要處理的信息包括數(shù)值、字符、文本、圖形、圖像、聲音和視頻等對(duì)這些信息進(jìn)行管理、運(yùn)用和共享的數(shù)據(jù)庫(kù)就是多媒體數(shù)據(jù)庫(kù)

2022年11月22日526.1.2多媒體數(shù)據(jù)庫(kù)的基本概念及特征多媒體數(shù)據(jù)庫(kù)要處理的多媒體數(shù)據(jù)庫(kù)主要特點(diǎn)1.應(yīng)能表示多種媒體的數(shù)據(jù)2.多媒體數(shù)據(jù)庫(kù)應(yīng)能協(xié)調(diào)處理各種媒體數(shù)據(jù)，正確識(shí)別各種媒體數(shù)據(jù)在空間或時(shí)間上的關(guān)系3.應(yīng)能提供比傳統(tǒng)的DBMS更強(qiáng)的適合非格式化數(shù)據(jù)查詢的搜索功能，提供瀏覽(Browse)功能4.網(wǎng)絡(luò)功能

5.多媒體數(shù)據(jù)庫(kù)系統(tǒng)應(yīng)具有開(kāi)放功能，提供多媒體數(shù)據(jù)庫(kù)的應(yīng)用程序接口API。6.多媒體數(shù)據(jù)庫(kù)還應(yīng)提供事務(wù)(transaction)和版本(version)管理功能

2022年11月22日53多媒體數(shù)據(jù)庫(kù)主要特點(diǎn)1.應(yīng)能表示多種媒體的數(shù)據(jù)2022年16.1.3多媒體數(shù)據(jù)庫(kù)的相關(guān)技術(shù)多媒體數(shù)據(jù)庫(kù)的相關(guān)技術(shù)有以下一些：1．多媒體數(shù)據(jù)模型多媒體信息檢索依賴于多媒體信息的組織形式常見(jiàn)的多媒體對(duì)象是構(gòu)造型的復(fù)合對(duì)象

典型的數(shù)據(jù)模型有超文本模型(網(wǎng)狀模型)、文獻(xiàn)模型(層次模型)和信息元模型(層次模型)等2．?dāng)?shù)據(jù)的壓縮和還原壓縮方法要考慮到復(fù)雜性、實(shí)現(xiàn)速度以及壓縮質(zhì)量等問(wèn)題2022年11月22日546.1.3多媒體數(shù)據(jù)庫(kù)的相關(guān)技術(shù)多媒體數(shù)據(jù)庫(kù)的相關(guān)技術(shù)有多媒體數(shù)據(jù)庫(kù)的相關(guān)技術(shù)（續(xù)）3．存儲(chǔ)管理和存取方法大對(duì)象一般是分頁(yè)面進(jìn)行管理的引入基于內(nèi)容的檢索方法、矢量空間模型信息索引檢索技術(shù)、智能索引技術(shù)等4．用戶界面嵌入聲音和圖像等多媒體語(yǔ)言信息來(lái)操作多媒體數(shù)據(jù)庫(kù)5．分布式技術(shù)主要研究多媒體信息的處理和多用戶系統(tǒng)的協(xié)調(diào)6．多媒體數(shù)據(jù)的傳送技術(shù)存在一些問(wèn)題需要解決:數(shù)據(jù)量大，因此時(shí)延大大增加。解決方法一是增加網(wǎng)絡(luò)帶寬，二是改變多媒體信息傳送的路徑聲像同步問(wèn)題也是一個(gè)重要的問(wèn)題2022年11月22日55多媒體數(shù)據(jù)庫(kù)的相關(guān)技術(shù)（續(xù)）3．存儲(chǔ)管理和存取方法20226.2多媒體數(shù)據(jù)庫(kù)的實(shí)現(xiàn)方法數(shù)據(jù)模型是實(shí)現(xiàn)數(shù)據(jù)庫(kù)管理系統(tǒng)的基礎(chǔ)

數(shù)據(jù)模型分為3級(jí)概念數(shù)據(jù)模型概念數(shù)據(jù)模型是面向用戶、面向現(xiàn)實(shí)世界的,主要用來(lái)描述一個(gè)單位的概念化結(jié)構(gòu)物理數(shù)據(jù)模型物理數(shù)據(jù)模型不僅與DBMS有關(guān)，而且還與操作系統(tǒng)和硬件有關(guān)邏輯數(shù)據(jù)模型邏輯數(shù)據(jù)模型是用戶從數(shù)據(jù)庫(kù)所看到的數(shù)據(jù)模型，它與DBMS有關(guān)2022年11月22日566.2多媒體數(shù)據(jù)庫(kù)的實(shí)現(xiàn)方法數(shù)據(jù)模型是實(shí)現(xiàn)數(shù)據(jù)庫(kù)管理系6.2.1從關(guān)系數(shù)據(jù)模型發(fā)展多媒體數(shù)據(jù)庫(kù)實(shí)現(xiàn)多媒體數(shù)據(jù)庫(kù)最簡(jiǎn)單的方法是利用關(guān)系數(shù)據(jù)庫(kù)模型。關(guān)鍵是如何處理無(wú)格式的數(shù)據(jù),處理無(wú)格式數(shù)據(jù)的3種策略:(1)關(guān)系數(shù)據(jù)庫(kù)管理技術(shù)與操作系統(tǒng)中文件系統(tǒng)的功能相結(jié)合，實(shí)現(xiàn)對(duì)無(wú)格式數(shù)據(jù)的管理。只管理對(duì)無(wú)格式數(shù)據(jù)的引用，即文件名，而不是無(wú)格式數(shù)據(jù)本身缺點(diǎn)：要涉及操作系統(tǒng)的文件I／O，所以效率較低優(yōu)點(diǎn)：簡(jiǎn)單、易實(shí)現(xiàn)2022年11月22日576.2.1從關(guān)系數(shù)據(jù)模型發(fā)展多媒體數(shù)據(jù)庫(kù)實(shí)現(xiàn)多媒體數(shù)據(jù)處理無(wú)格式的數(shù)據(jù)的3種策略（續(xù)）(2)將無(wú)格式數(shù)據(jù)和關(guān)系元組中的格式化數(shù)據(jù)封裝在一起，形成一個(gè)完整的元組，存放在數(shù)據(jù)頁(yè)面或數(shù)據(jù)頁(yè)面組中缺點(diǎn)：系統(tǒng)較小，將增加實(shí)現(xiàn)的難度和系統(tǒng)開(kāi)銷優(yōu)點(diǎn)：將格式化數(shù)據(jù)與無(wú)格式化數(shù)據(jù)統(tǒng)一處理，實(shí)現(xiàn)了

管理上的一致，使系統(tǒng)更加緊湊2022年11月22日58處理無(wú)格式的數(shù)據(jù)的3種策略（續(xù)）(2)將無(wú)格式數(shù)據(jù)和關(guān)系元組處理無(wú)格式的數(shù)據(jù)的3種策略（續(xù)）(3)將元組中無(wú)格式數(shù)據(jù)分成兩部分，一部分是格式化數(shù)據(jù)本身，另一部分是對(duì)無(wú)格式數(shù)據(jù)的引用

優(yōu)點(diǎn)：資源分配使用較為合理，實(shí)現(xiàn)性能較好缺點(diǎn)：基于關(guān)系數(shù)據(jù)模型的多媒體DBMS，典型的有ORACLE 7.O、INGRES6.0、Informix-Online等。只能對(duì)字 段的存在進(jìn)行查詢，不能實(shí)現(xiàn)基于字段內(nèi)容的查詢

例如：清華紫光的ITbase、華中理工大學(xué)的MDBMS等2022年11月22日59處理無(wú)格式的數(shù)據(jù)的3種策略（續(xù)）(3)將元組中無(wú)格式數(shù)據(jù)分成6.2.2面向?qū)ο蟮臄?shù)據(jù)庫(kù)封裝性和可擴(kuò)充性是面向?qū)ο蠹夹g(shù)的精髓復(fù)雜性、多樣性又是多媒體數(shù)據(jù)及其處理的突出特征 決定了面向?qū)ο髷?shù)據(jù)庫(kù)技術(shù)是構(gòu)造多媒體數(shù)據(jù)庫(kù)的一種比較適宜的手段2022年11月22日606.2.2面向?qū)ο蟮臄?shù)據(jù)庫(kù)封裝性和可擴(kuò)充性是面向?qū)ο蠹?.2.2面向?qū)ο蟮臄?shù)據(jù)庫(kù)面向?qū)ο蠓椒ǖ幕咎卣?/p>

(1)對(duì)象把數(shù)據(jù)和有關(guān)操作封裝在一起，更好地實(shí)現(xiàn)了數(shù)據(jù)的抽象(2)面向?qū)ο蠓椒ǖ睦^承體現(xiàn)在對(duì)象繼承結(jié)構(gòu)上，下層對(duì)象繼承上層對(duì)象的特征，便于軟件的演化和擴(kuò)充(3)用消息將對(duì)象動(dòng)態(tài)鏈接在一起，并采用靈活的消息傳遞方式，便于在概念上體現(xiàn)并行和分布式(4)具有信息隱藏性。對(duì)象把實(shí)現(xiàn)細(xì)節(jié)隱藏在內(nèi)部，當(dāng)要對(duì)其功能做完善和擴(kuò)充而進(jìn)行修改時(shí)，影響僅限于該對(duì)象內(nèi)部，而不會(huì)對(duì)外界產(chǎn)生影響，易于軟件的構(gòu)造和擴(kuò)充2022年11月22日616.2.2面向?qū)ο蟮臄?shù)據(jù)庫(kù)面向?qū)ο蠓椒ǖ幕咎卣?026.2.3分布式超媒體數(shù)據(jù)庫(kù)分布式超媒體數(shù)據(jù)庫(kù)HDB系統(tǒng)是一種以超媒體信息管理技術(shù)為基礎(chǔ)的分布式系統(tǒng)，向用戶提供良好的人機(jī)交互方式。超媒體節(jié)點(diǎn)和鏈分別描述實(shí)體與實(shí)體間的聯(lián)系采用超媒體的瀏覽導(dǎo)航機(jī)制，瀏覽過(guò)濾功能典型的商業(yè)應(yīng)用是地理信息系統(tǒng)(GIS)2022年11月22日626.2.3分布式超媒體數(shù)據(jù)庫(kù)分布式超媒體數(shù)據(jù)庫(kù)HDB系6.2.4多媒體數(shù)據(jù)庫(kù)的體系結(jié)構(gòu)多媒體數(shù)據(jù)庫(kù)的體系結(jié)構(gòu)一般有以下幾種:(1)集中式結(jié)構(gòu)多媒體數(shù)據(jù)庫(kù)管理系統(tǒng)具有管理各種媒體的功能2022年11月22日63DBMS聲音文本圖像用戶6.2.4多媒體數(shù)據(jù)庫(kù)的體系結(jié)構(gòu)多媒體數(shù)據(jù)庫(kù)的體系結(jié)構(gòu)一多媒體數(shù)據(jù)庫(kù)的體系結(jié)構(gòu)（續(xù)）(2)聯(lián)邦式結(jié)構(gòu)由若干功能相同的集中式DBMS松散集成

全局用戶可以從任意一個(gè)節(jié)點(diǎn)登錄

2022年11月22日64DBMS聲音文本圖像用戶DBMS聲音文本圖像用戶DBMS聲音文本圖像用戶多媒體數(shù)據(jù)庫(kù)的體系結(jié)構(gòu)（續(xù)）(2)聯(lián)邦式結(jié)構(gòu)2022年11多媒體數(shù)據(jù)庫(kù)的體系結(jié)構(gòu)（續(xù)）(3)主從式結(jié)構(gòu)DBMS由一個(gè)主DBMS統(tǒng)一管理

2022年11月22日65DBMS聲音文本圖像用戶DBMSDBMSDBMS視頻DBMS多媒體數(shù)據(jù)庫(kù)的體系結(jié)構(gòu)（續(xù)）(3)主從式結(jié)構(gòu)2022年11多媒體數(shù)據(jù)庫(kù)的體系結(jié)構(gòu)（續(xù)）(4)客戶機(jī)/服務(wù)器結(jié)構(gòu)

客戶機(jī)請(qǐng)求/服務(wù)器響應(yīng)。從邏輯功能的角度來(lái)看，系統(tǒng)都可以分為用戶交互、數(shù)據(jù)編組和多媒體數(shù)據(jù)管理這三個(gè)層次：多媒體數(shù)據(jù)管理層主要完成多媒體數(shù)據(jù)庫(kù)的存儲(chǔ)管理和事務(wù)管理數(shù)據(jù)編組層實(shí)現(xiàn)由多媒體數(shù)據(jù)庫(kù)模式定義的時(shí)間同步和空間集成需求，對(duì)數(shù)據(jù)進(jìn)行組合和調(diào)度用戶交互層既為最終用戶服務(wù)，又為應(yīng)用程序員服務(wù)

用戶交互層和數(shù)據(jù)編組層由客戶機(jī)處理，多媒體數(shù)據(jù)管理層則由服務(wù)器來(lái)處理2022年11月22日66多媒體數(shù)據(jù)庫(kù)的體系結(jié)構(gòu)（續(xù)）(4)客戶機(jī)/服務(wù)器結(jié)構(gòu)202多媒體數(shù)據(jù)庫(kù)的體系結(jié)構(gòu)圖2022年11月22日67模式管理DB維護(hù)查詢?yōu)g覽聲音/圖像編輯查詢用戶接口用戶交互界面數(shù)據(jù)編輯數(shù)據(jù)編組層格式化數(shù)據(jù)管理非格式化數(shù)據(jù)管理離散媒體連續(xù)媒體多媒體數(shù)據(jù)管理層多媒體數(shù)據(jù)庫(kù)的體系結(jié)構(gòu)圖2022年11月21日24模式DB查6.3多媒體信息的檢索和查詢信息的查詢和檢索有兩大類基于表示的基于內(nèi)容的2022年11月22日686.3多媒體信息的檢索和查詢信息的查詢和檢索有兩大類26.3.1基本概念基于表示的檢索和查詢的數(shù)據(jù)類型和數(shù)據(jù)結(jié)構(gòu)有關(guān)，不需要對(duì)內(nèi)容作分析

基于內(nèi)容的檢索是指根據(jù)媒體對(duì)象的語(yǔ)義、特征進(jìn)行檢索2022年11月22日696.3.1基本概念基于表示的檢索和查詢的數(shù)據(jù)類型和數(shù)據(jù)6.3.2基于內(nèi)容的檢索基于內(nèi)容的檢索(ContentBasedRetrieval)就是指根據(jù)媒體和媒體對(duì)象的內(nèi)容語(yǔ)義及上下文聯(lián)系進(jìn)行檢索1．基于內(nèi)容的檢索的特點(diǎn)

(1)從媒體內(nèi)容中提取信息線索，突破了基于關(guān)鍵詞檢索局限

(2)提取特征的方法多種多樣例:形狀特征、顏色特征、紋理特征、輪廓特征等(3)大型數(shù)據(jù)庫(kù)的快速檢索

(4)基于內(nèi)容的檢索是一種近似匹配

2022年11月22日706.3.2基于內(nèi)容的檢索基于內(nèi)容的檢索(Content6.3.2基于內(nèi)容的檢索基于內(nèi)容的檢索可以利用圖像處理、語(yǔ)音信號(hào)處理、模式識(shí)別、計(jì)算機(jī)視覺(jué)等學(xué)科中的一些方法作為部分基礎(chǔ)技術(shù)基于內(nèi)容的檢索是一種信息檢索技術(shù)例如：用戶想買一輛黃色的自行車，選定了黃色和自行 車的樣式2022年11月22日716.3.2基于內(nèi)容的檢索基于內(nèi)容的檢索可以利用圖像處理、2．基于內(nèi)容檢索的技術(shù)基于格式化數(shù)據(jù)的內(nèi)容檢索利用基于關(guān)鍵字的檢索和全文本檢索以及基于文件模型等方法語(yǔ)音、圖像等非格式化數(shù)據(jù)的檢索和查詢，采用“依據(jù)實(shí)例查詢”(QueryByExample)的方法,分為以下幾種:(1)準(zhǔn)確實(shí)例檢索和查詢用戶給出的確切查詢實(shí)例,完全的實(shí)例查詢(2)模糊實(shí)例查詢依照這個(gè)例子查找與它相似的圖像(3)描繪示例檢索和查詢針對(duì)用戶給出的所需圖像的粗略結(jié)構(gòu)描述進(jìn)行處理2022年11月22日722．基于內(nèi)容檢索的技術(shù)基于格式化數(shù)據(jù)的內(nèi)容檢索利用基于關(guān)鍵6.4基于圖像內(nèi)容的檢索分為靜止圖像檢索和活動(dòng)視頻檢索

檢索的特征主要有顏色、紋理、草圖、形狀等2022年11月22日736.4基于圖像內(nèi)容的檢索分為靜止圖像檢索和活動(dòng)視頻檢索6.4.1基于顏色特征的檢索顏色是描述一幅圖像最簡(jiǎn)便而有效的特征直方圖的橫軸表示顏色等級(jí)，縱軸表示在某一個(gè)顏色等級(jí)上具有該顏色的像素在整幅圖像中所占的比例

以直方圖為特征的常用的匹配方法(1)直方圖交叉法(2)直接差值法(3)矢量距離法2022年11月22日746.4.1基于顏色特征的檢索顏色是描述一幅圖像最簡(jiǎn)便而用不同的方法對(duì)圖像進(jìn)行預(yù)處理，然后用直方圖進(jìn)行匹配，以滿足不同的檢索要求。用轉(zhuǎn)換后的直方圖計(jì)算的差值對(duì)應(yīng)于感知上的差別例如：HSV模型把彩色信號(hào)表示為3種屬性即色調(diào)(Hue)、飽和度(saturation)和亮度(Value)。將H、S、V三個(gè)分量按照人的感知進(jìn)行非等間隔量化，然后通過(guò)數(shù)學(xué)公式把HSV三維空間中的特征矢量轉(zhuǎn)換為一維空間中的特征矢量2022年11月22日75用不同的方法對(duì)圖像進(jìn)行預(yù)處理，然后用直方圖進(jìn)行匹配，以滿足不6.4.2基于形狀特征的檢索形狀是刻劃物體的本質(zhì)特征之一，從圖像中提取的目標(biāo)邊緣稱為輪廓?；谛螤钐卣鞯臋z索方法有兩種：

(1)分割圖像經(jīng)過(guò)邊緣提取后，得到目標(biāo)的輪廓線，針對(duì)這種輪廓線進(jìn)行形狀特征檢索(2)直接針對(duì)圖形尋找適當(dāng)?shù)氖噶刻卣饔糜跈z索算法難點(diǎn)在于尋找能夠檢索與大小、方向及扭曲伸縮無(wú)關(guān)的方法。同時(shí)采用3個(gè)特征作為形狀特征，即長(zhǎng)／短軸比、周長(zhǎng)／面積比、最近與最遠(yuǎn)點(diǎn)的連線間的夾角。2022年11月22日766.4.2基于形狀特征的檢索形狀是刻劃物體的本質(zhì)特征之6.4.3基于紋理特征的檢索習(xí)慣上把圖像中局部不規(guī)則而整體有規(guī)律的特性稱之為紋理。紋理特征主要有粗糙性、方向性和對(duì)比度等。

紋理分析方法可分為兩類:(1)統(tǒng)計(jì)方法用于分析像木紋、沙地、草坪等細(xì)致而不規(guī)則的物體(2)結(jié)構(gòu)方法適于像布料的印刷圖案或磚瓦等一類元素組成的紋理及排列比較規(guī)則的圖案紋理顏色也作為一個(gè)檢索特征,逐步逼近,以小圖像的形式全部顯示給用戶2022年11月22日776.4.3基于紋理特征的檢索習(xí)慣上把圖像中局部不規(guī)則而6.4.4基于視頻內(nèi)容的檢索基于內(nèi)容的視頻檢索系統(tǒng)(CBVRS)包含以下兩個(gè)模塊