多媒體技術(shù)與應(yīng)用第一章問題1、什么是多媒體？2、關(guān)鍵特性有哪些？3、日常中我們是如何利用多媒體的？4、多媒體可應(yīng)用于？5、掌握課后的思考題！…日常中我們是如何利用多媒體的？多媒體可應(yīng)用于？美國MITMediaLab（麻省理工學(xué)院媒體實驗室）的學(xué)生普拉納夫研究的驚人的技術(shù):

/v_show/id_XMTQxNzY2MDUy.html新技術(shù)讓日常物體變成視覺麥克風(fēng)/sites/ccf/nry.jsp?contentId=2815401641444百度李彥宏：未來五年語音圖片搜索將超過文字:/2014-09/04/c_1112359704.htm中科院開發(fā)人臉識別系統(tǒng)在線支付刷臉/internet/87/38958587.shtml2011.12—2012.12中國網(wǎng)民對各類與多媒體技術(shù)相關(guān)的網(wǎng)絡(luò)應(yīng)用使用率(CNNIC)

多媒體概述多媒體元素多媒體信息的數(shù)據(jù)壓縮多媒體系統(tǒng)多媒體技術(shù)第一章多媒體基本概念媒體與多媒體

媒體分類多媒體的關(guān)鍵特性1.1多媒體概述媒體：是指傳播信息的介質(zhì)。準(zhǔn)確的說，媒體又稱媒質(zhì)或媒介，是信息表示、信息傳遞和信息存儲的載體。傳統(tǒng)的媒體：報紙、雜志、廣播、電樞、電影等；新媒體：網(wǎng)絡(luò)媒體、IPTV、電子雜志、移動媒體等；計算機領(lǐng)域，媒體包含兩重含義：存儲信息的實體（媒質(zhì)）傳遞信息的載體（媒介）——多媒體計算機技術(shù)中媒體的含義。1.1.1媒體與多媒體多媒體20世紀(jì)80年代創(chuàng)造的英文詞MM:Multimedia=multiple+media是指將多個不同但相互關(guān)聯(lián)的媒體綜合集成在一起而產(chǎn)生的一種傳播、存儲和表現(xiàn)信息的全新載體。多媒體信息多媒體技術(shù)多媒體經(jīng)常作為多媒體技術(shù)的同義詞。多媒體信息處理技術(shù)——音頻信息處理、圖像信息處理等。1、多媒體是信息交流和傳播的媒體，從這個意義上與電視、報紙…等功能一樣。2、多媒體信息都是以數(shù)字形式而不是模擬信號的形式存儲和傳播的。3、多媒體是人-機交互式媒體。補充：流媒體：指視頻、聲音和數(shù)據(jù)從源端同時向目的地傳輸，它可以作為連續(xù)實時流在目的地被接收。是一種新的媒體傳送方式，而非一種新的媒體。超媒體：超媒體除了使用文本外，還使用圖形、圖像、聲音、動畫或影視片斷等多種媒體來表示信息，這些媒體之間也是用超級鏈接組織的，它們直接的鏈接也是錯綜復(fù)雜的。多媒體定義中需要明確的按承載信息的方式來劃分感覺媒體：能直接作用于人的感官，使人產(chǎn)生感覺的媒體。如聲音、圖像、氣味、味道等表示媒體：用于數(shù)據(jù)交換的編碼，是感覺媒體數(shù)字化后的表現(xiàn)形式。如條形碼、文本編碼、圖像編碼、聲音編碼等顯示媒體：感覺媒體與電信號之間轉(zhuǎn)換用的媒體，分為輸入顯示媒體（鍵盤、鼠標(biāo)、話筒、攝像機、掃描儀等）和輸出顯示媒體（顯示器、音箱、打印機、投影儀）1.1.2媒體分類存儲媒體：又稱存儲介質(zhì)，用來存放表示媒體的媒體，如磁盤、磁帶、光盤、內(nèi)存等傳輸媒體：將表示媒體由一處傳送到另一處的物理載體，如雙絞線、光纖和無線傳輸介質(zhì)等核心：感覺媒體和表示媒體信息存在和表示的形式存儲器輸出設(shè)備CPU輸入設(shè)備表示媒體存儲媒體顯示媒體顯示媒體感覺媒體感覺媒體傳輸媒體表示媒體計算機中五種媒體的關(guān)系按計算機處理數(shù)據(jù)的形式來劃分文本、聲音、圖形、圖像、動畫和視頻從人機交互的角度來劃分視覺、聽覺、觸覺、嗅覺和味覺信息載體的多樣化信息載體的集成性信息載體的交互性1.1.3多媒體的關(guān)鍵特性單選：流媒體技術(shù)的主要特點是：____

A：下載視頻后再播放

B：邊下載視頻邊播放

C：實時視頻通訊

D：實時視頻壓縮填空：媒體信息都是以____形式式存儲和傳播的.多選：按照承載信息的方式分類，媒體分為____(A)感覺媒體(B)表示媒體(C)聽覺媒體(D)視覺媒體(E)顯示媒體(F)存儲媒體(G)觸覺媒體(H)傳輸媒體判斷：多媒體技術(shù)，即是計算機交互式綜合處理多媒體信息--文本、圖形、圖像和聲音，使多種信息建立邏輯連接，集成為一個系統(tǒng)并具有交互性。練習(xí):B數(shù)字a,b,e,f,h對文本圖形圖像聲音動畫視頻1.2多媒體元素文本文件非格式化文本文件，如“.txt”文件；格式化文本文件，如“.doc”文件。微機中ASCII編碼GB-2312編碼計算機獲取文字的方法鍵盤、手寫、語音、OCR1.2.1文本圖形一般指由計算機繪制的畫面如直線、矩形、圓、圓弧、任意曲線和圖表等，機械結(jié)構(gòu)圖、建筑結(jié)構(gòu)圖都是典型的組合圖形。圖形文件只記錄生成圖的算法和圖上的某些特征點，因此又稱為矢量圖。計算機中常用的圖形文件

SWF、DXF、SVG…1.2.2圖形圖像是指由輸入設(shè)備捕捉的實際場景畫面，或以數(shù)字化形式存儲的任意畫面，它用數(shù)字來描述像素點、強度和顏色。 靜止的圖像就象一個矩陣，由一些排成行列的點組成，這些點稱之為像素點，這類圖像又稱為位圖。計算機中常用的圖像文件

BMP、GIF、JPG…1.2.3圖像位圖由像素組成、而矢量圖由矢量線組成。矢量圖可以無限放大，而且不會失真。而位圖則不能。位圖可以表現(xiàn)的色彩比較多.而矢量圖則相對較少。矢量圖更多的用于工程作圖中，比如說ACD。而位圖更多的應(yīng)用在作圖中，比如PS。矢量圖和位圖的區(qū)別聲音是一種物體震動產(chǎn)生的波 按照其頻率的不同，可分為次聲波（頻率低于20Hz）、超聲波（頻率高于20kHz）和可聽聲波（頻率在20Hz與20kHz之間），可聽聲波也稱為音頻波。常用的聲音文件

WAV、MID、MP31.2.4聲音動畫是動態(tài)圖畫。實質(zhì)是一幅幅靜態(tài)圖像的連續(xù)播放，一幅靜態(tài)圖像稱為一幀。計算機設(shè)計動畫方法有兩種造型動畫、幀動畫。常用的動畫文件

GIF、FLI/FLC、SWF1.2.5動畫將若干幅有聯(lián)系的圖像畫面（幀）連續(xù)播放便形成了視頻 視頻的每一幀，實際上就是一幅靜態(tài)圖像，多幅圖像連續(xù)播放（電影的播放速度是24幀／秒），對于人眼就會產(chǎn)生圖像“動”的效果。計算機中主要的視頻文件

AVI、MPG、ASF1.2.6視頻多媒體數(shù)據(jù)壓縮概述數(shù)據(jù)壓縮技術(shù)基礎(chǔ)數(shù)據(jù)壓縮方法多媒體數(shù)據(jù)壓縮標(biāo)準(zhǔn)1.3多媒體信息的數(shù)據(jù)壓縮多媒體信息的數(shù)據(jù)量冗余的基本概念數(shù)據(jù)冗余的種類1.3.1多媒體數(shù)據(jù)壓縮概述聲音數(shù)據(jù)量=（采樣頻率×量化位數(shù)×聲道數(shù)×聲音持續(xù)時間）／8采樣頻率滿足采樣定理。電話話音（1小時）(8k×8×1×3600)/8=28125(KB)≈27.47(MB)CD音樂(44.1k×16×2×3600)/8=635040(KB)≈620(MB)5.1聲道（44.1k×16×5.1×3600）/8=1581398(KB)≈1544(MB) ≈1.5(GB)多媒體信息的數(shù)據(jù)量1K是千M是兆G是吉咖T是太拉

8bit(位)=1Byte(字節(jié))

1024Byte(字節(jié))=1KB

1024KB=1MB

1024MB=1GB

1024GB=1TB

靜態(tài)圖像數(shù)據(jù)量=（垂直方向分辨率×水平方向分辨率×顏色深度）／8真彩色位圖圖像分辨率為640×480，顏色數(shù)為16777216（24bit)：

(640×480×24)／8=900(KB)相機(如NikonD200)拍攝的照片圖像分辨率為3882×2592，顏色深度為24位：

(3882×2592×24)／8≈29479(KB)≈28.8(MB)多媒體信息的數(shù)據(jù)量2動態(tài)視頻數(shù)據(jù)量=（分辨率×顏色深度）×幀頻×播放時間／8 彩電PAL制式幀頻為25，每幀畫面為625行，寬高比為4:3，每秒數(shù)據(jù)量：((625×4/3)×625×24)×25／8≈38147(KB)≈37.25(MB)需要的傳輸帶寬為312.5Mbps；每小時的數(shù)據(jù)量約為131GB；在650MB的光盤中只能存放不到18秒的視頻。高清晰度電視（HDTV）分辨率為1920×1080，幀頻為30，每秒數(shù)據(jù)量為：(1920×1080×24)×30／8=182250(KB)≈177.98(MB)需要的傳輸帶寬為1423.8Mbps；每小時的數(shù)據(jù)量約為626GB。多媒體信息的數(shù)據(jù)量3多媒體信息的數(shù)據(jù)量=信息量＋冗余數(shù)據(jù)量多媒體信息的數(shù)據(jù)冗余主要體現(xiàn)在兩個方面冗余的具體表現(xiàn)是相同或相似信息的重復(fù)無法傳遞或播出的信號，這部分信號的數(shù)據(jù)可以被壓縮剔除（1、精度和帶寬的限制；2、人們感知的限制等。）冗余的基本概念空間冗余：是態(tài)靜圖象存在的最主要的一種冗余。時間冗余：是運動圖像中經(jīng)常包含的冗余。空間冗余和時間冗余被稱為統(tǒng)計冗余。結(jié)構(gòu)冗余：知識冗余視覺冗余：Mpeg聽覺冗余：mp3編碼冗余數(shù)據(jù)冗余的種類熵的概念量化數(shù)據(jù)壓縮技術(shù)的性能指標(biāo)1.3.2數(shù)據(jù)壓縮技術(shù)基礎(chǔ)信息熵 用來表示一條信息中真正需要編碼的信息量，即該信息數(shù)據(jù)壓縮的理論極限。信源S的熵定義為：

H(s)=∑pilog2(1/pi) pi是符號Si在S中出現(xiàn)的概率；

log2(1/pi)表示包含在Si中的信息量，也就是編碼Si所需要的位數(shù)。 例如一幅灰度圖像采用256級灰度，如果一個像素點取值每一個灰度級的概率均為pi=1／256，則每一個灰度級的編碼需要8個二進制位，即每一個像素點就需要8位編碼表示。熵的概念熵計算實例有一幅100個像素組成的灰度圖像，灰度共有5級，分別用符號A、B、C、D和E表示，100個像素中各級灰度的像素數(shù)如下：灰度級灰度A灰度B灰度C灰度D灰度E像素個數(shù)

502510105如果用3個二進制位表示5個等級的灰度值，也就是每個像素用3位表示，編碼這幅圖像總共需要300位；按照香農(nóng)理論，這幅圖像的熵為：

H(s)=(50/100)log2(100/50)+(25/100)log2(100/25)+(10/100)log2(100/10)+(10/100)log2(100/10)+(5/100)log2(100/5) ≈1.88(bit)

這就是說每個符號用1.88位表示，100個像素需用188位。量化模擬信號到數(shù)字信號的轉(zhuǎn)化（A/D轉(zhuǎn)換）包含采樣和量化兩個步驟采樣：用有限個離散量來代替無限的連續(xù)模擬量聲音：時間軸上的離散化圖像：空間區(qū)域的離散化量化：對模擬量確定一組量化級并確定其代表值，每個量化級覆蓋一定的取值空間，所有量化級覆蓋整個有效取值區(qū)間。將模擬量的采樣值與這些量化級比較，落在某個量化級空間上，就用這個量化級的代表值作為采樣點的量化結(jié)果。聲音：幅度值的量化表示圖像：灰度值的量化表示音頻采樣頻率圖像分辨率音頻量化位數(shù)/量化級顏色深度/像素深度采樣率（Hz）：每秒鐘的采樣次數(shù)，如16kHZ幀率（framespersecond,fps）：每秒鐘視頻幀的個數(shù)電影：24fpsPAL制式：25fpsNTSC制式：30fps比特率（bitspersecond,bps）:每秒鐘媒體數(shù)據(jù)所使用的比特位數(shù)音頻：采樣率×量化位數(shù)視頻：幀率×每幅圖像的比特數(shù)圖像分辨率對圖像質(zhì)量的影響265x180133x9066x4533x22采樣定理：在進行模擬/數(shù)字信號的轉(zhuǎn)換過程中，當(dāng)采樣頻率fs.max大于信號中，最高頻率fmax的2倍時，即：fs.max>=2fmax,則采樣之后的數(shù)字信號完整地保留了原始信號中的信息；采樣定理又稱奈奎斯特定理。

量化采樣率與比特率比特率=采樣率*采樣精度（量化位數(shù)）量化處理：實際是數(shù)據(jù)壓縮編碼的過程。頻帶(Hz)帶寬(kHz)采樣頻率(kHz)量化位數(shù)聲道數(shù)比特率(kbps)電話200~32003.081遠(yuǎn)程會議50~70007.0161數(shù)字音頻光盤20~2000020.0162數(shù)字音頻帶20~2000020.016281644.148.0642561411.21536顏色深度對圖像質(zhì)量的影響256灰度級16灰度級8灰度級4灰度級量化處理標(biāo)量量化：一維量化，一個采樣點對應(yīng)一個量化結(jié)果典型PCM:均勻量化.矢量量化：多維量化將若干個標(biāo)量數(shù)據(jù)組構(gòu)成一個矢量，然后在矢量空間給以整體量化，從而壓縮了數(shù)據(jù)而不損失多少信息信息壓縮比（大小）壓縮后多媒體信息的質(zhì)量（質(zhì)量）壓縮和解壓縮的速度（速度）數(shù)據(jù)壓縮處理的硬件和軟件開銷（成本）數(shù)據(jù)壓縮技術(shù)的性能指標(biāo)根據(jù)解碼后數(shù)據(jù)是否能夠完全無損地恢復(fù)原始數(shù)據(jù)來進行劃分無損壓縮：行程編碼、哈夫曼（Huffman）編碼、算術(shù)編碼和LZW編碼等。壓縮比：2-5倍之