1多媒體技術2課程主要內容（36課時）第1章多媒體技術概述(4課時)第2章聲音處理(4課時)第3章圖形與圖像處理(6課時)第4章視頻處理(4課時)第5章動畫制作(6課時)第6章多媒體作品制作(6課時)第7章流媒體(2課時)總結復習、學生考查作品演示檢查(4課時)本課程考核方式為考查。以考查作品成績和平時成績相結合進行綜合評定，最終成績由以下四部分組成：

考查作品成績70％；平時檢測成績15％；上課考勤占15％（缺勤達點名次數的1/3者，此項成績以零分計算）。課程考核方式4考查內容及考查作品提交方法考查內容為本課程所有實驗整合后實驗作品，要求具體內容不得雷同。將各次實驗作品整合到一個PPT或FLASH作品中，并以“學號（尾3位）+姓名”命名作品。由學習委員收集后，打包發(fā)送到老師郵箱。5實驗內容（16課時）實驗1聲音獲取與處理及合成(2課時)實驗2圖像素材采集、圖像處理與編輯(4課時)實驗3視頻編輯(2課時)實驗4簡單Flash動畫制作(4課時)實驗5簡單Authorware多媒體作品制作(4課時)6第1章

多媒體技術概述1.1多媒體及多媒體技術基本概念1.2多媒體數據壓縮技術1.3多媒體硬件技術和軟件技術1.4多媒體技術的發(fā)展1.5多媒體技術的應用學習目標：掌握多媒體、多媒體技術的相關概念掌握數據壓縮技術的相關概念，了解常用的音頻和視頻壓縮編碼方法了解多媒體技術的應用領域核心概念：媒體；多媒體信息；超文本；多媒體技術；數據壓縮781.1多媒體及多媒體技術基本概念多媒體技術是計算機技術和社會需求相結合的產物。多媒體信息處理功能已成為當前個人計算機的標準配置。參照愛因斯坦能量公式，當今信息環(huán)境(E)可表示為：

E=mC2其中，m—多媒體，C—計算機，C—通信9媒體定義媒體(Media)→多媒體（Multimedia）媒體的含義媒介：指存儲信息的實體，如磁盤、光盤；媒質：指傳遞信息的載體，如數字、文字、聲音、圖形等；多媒體技術中的媒體，是指信息的載體，是人們?yōu)榱吮磉_思想或感情所使用的手段、方法或工具，體現(xiàn)為信息的表現(xiàn)形式和傳遞方式。10多媒體定義多媒體廣義指的是能傳播文字、聲音、圖形、圖像、動畫和視頻等多種類型信息的手段、方式或載體。狹義指在計算機控制下把文字、聲音、圖形、圖像、動畫和視頻等多種類型的信息混合在一起交流傳播的手段、方式或載體，如因特網等。11媒體分類按國際電報電話咨詢委員會（CCITT）標準，媒體分為五類：感覺媒體：能直接作用于人們的感覺器官，使人們產生直接感覺，幫助人們感知周圍世界的媒體。表示媒體：為了傳送感覺媒體而人為研究出來的媒體，是使用計算機對信息的表示方法的描述。顯示媒體：通信中實現(xiàn)電信號和感覺媒體之間轉換功能的媒體，通常指能夠輸入或輸出信息的工具和設備。12媒體分類顯示媒體：通信中實現(xiàn)電信號和感覺媒體之間轉換功能的媒體，通常指能夠輸入或輸出信息的工具和設備。存儲媒體：用于存放某種信息數據的載體。如紙張、磁帶、磁盤、光盤等保存表示媒體的介質（軟盤、硬盤、光盤等）。傳輸媒體：用于傳輸信息數據的媒體。如光纖、電纜、微波無線鏈路、紅外無線鏈路等傳輸信息數據的物理載體。13媒體的特性通常媒體有以下幾個主要特性。

1.重現(xiàn)力:指媒體不受時間、空間的限制，能將記錄、存儲的內容隨時重新使用的能力。不同媒體的重現(xiàn)能力是不同的，如實時的廣播與電視瞬間即逝，難以重現(xiàn)；錄音、錄像與電影媒體能將記錄存儲的信息反復重放使用；幻燈、投影與計算機課件也能根據教師與學習者的需求反復重現(xiàn)。

2.表現(xiàn)力:指各類媒體表現(xiàn)客觀事物的時間、空間、聲音、顏色以及運動特征的能力。由于信息不是事物本身而是事物的表征，而不同媒體用不同的符號去表征或描述事物，因而對事物運動狀態(tài)與規(guī)律具有不同的表現(xiàn)力。

14媒體的特性3.傳播力:指媒體把各種符號形態(tài)的信息傳遞到一定空間范圍內再現(xiàn)的能力，有無限接觸和有限接觸之分。如計算機網絡和有線電視系統(tǒng)能將信息傳送到更廣闊的范圍，而幻燈、投影、錄音、錄像等只能在有限的教學場所播放等。4.參與性:指在應用媒體時使用者參與活動的機會?？煞譃樾袨閰⑴c和感情參與。如電影、電視、廣播等媒體，具有較強的表現(xiàn)力與感染力，容易引起情感上的反應，從而激發(fā)人們感情上的參與；而多媒體計算機的交互作用，能使人們根據本人的需要去控制行為進程，因此，它是一種行為與感情上參與程度高的媒體。15媒體的特性5.可控性：指使用者對媒體操縱控制的難易程度。像幻燈、投影、錄音、錄像及計算機媒體等比較容易操縱，而對于廣播、電視，只能按電臺播出的時間去視聽，不易操縱。16多媒體信息和多媒體技術多媒體信息：集文本、圖形、圖像、動畫、音頻、視頻為一體的綜合媒體信息。具有數據量巨大、數據類型多、不同數據類型之間區(qū)別大、數據輸入和輸出復雜等特點。多媒體技術：通過計算機對文字、數據、圖形、圖像、動畫和聲音等多種媒體元素信息進行綜合處理和管理，使用戶可以通過多種感官與計算機進行實時信息交互的技術。多媒體技術將多種類型的媒體元素（文本、圖形、圖像、音頻、動畫、視頻）綜合在一起，建立彼此間的邏輯連接，并能支持交互式操作。17媒體元素按照媒體的物理性能分類，媒體可分為：光學投影類媒體，主要通過光學放大元件，把透明或不透明的圖片、標本、實物放大投射到銀幕上，以呈現(xiàn)教學信息。如幻燈機和幻燈片、投影器和投影片等。

電聲類媒體，能將聲音信號轉化為音頻電信號和磁信號，并記錄、傳輸、放大、播放的媒體。如擴音機、收音機、錄音機、激光唱機和唱片、錄音帶等。18多媒體技術的主要特征1.多樣性：指信息媒體的多樣性，體現(xiàn)在信息采集或生成、傳輸、存儲、處理和顯現(xiàn)的過程中，涉及多種感知媒體、表示媒體、傳輸媒體、存儲媒體或呈現(xiàn)媒體，或者多個信源或信宿的交互作用。2.集成性：以計算機為中心能夠對多種信息媒體進行獲取、存儲、組織與合成。主要表現(xiàn)在多媒體信息的集成，以及操作這些媒體信息的工具和設備集成兩個方面。

3.交互性：多媒體應用系統(tǒng)中人與系統(tǒng)之間的相互控制，可以實現(xiàn)人對信息的主動選擇和控制。19多媒體技術的主要特征4.協(xié)同性：指多媒體通信終端上顯示的圖像、聲音和文字必須以同步方式工作。各種媒體之間的協(xié)調以及時間、空間和內容方面的協(xié)調是多媒體的關鍵技術之一。5.實時性：在多媒體系統(tǒng)中聲音與活動的視頻圖像、動畫之間的同步特性。聲音、活動圖像和視頻都強調實時性，多媒體系統(tǒng)必須提供同步和實時處理的能力，能夠實時地反映他們之間的聯(lián)系。20多媒體技術的主要特征6.非線性：不同于傳統(tǒng)循序性的讀寫模式，多媒體技術借助超鏈接的方法，以一種更靈活、更具變化的方式呈現(xiàn)內容。7.使用便捷性：支持用戶按照自己的需要、興趣、任務要求、偏愛和認知特點來使用信息，用戶能夠任意選擇圖、文、聲等信息表現(xiàn)形式21多媒體技術相關概念超文本：是一種采用超鏈接的方法將各種不同空間的文字信息組織在一起的網狀文本，可視為由若干信息結點和表示信息節(jié)點之間相關性的鏈構成的一個具有一定邏輯結構和語義關系的非線性網絡。超媒體：采用超文本方式的非線性網狀結構對塊狀多媒體信息（包括文本、圖形、圖像、動畫、聲音、視頻等）進行組織和管理的技術。22多媒體技術相關概念流媒體：又叫流式媒體，指采用流式傳輸的方式在Internet播放的媒體格式。實際上，流媒體并非一種新的媒體，而是指一種將視頻、音頻和相關媒體數據流同時從網絡服務器端（發(fā)送端）向網絡客戶端（接收端）傳輸的方式。該方式具有連續(xù)、實時的特性。23多媒體技術相關概念多媒體系統(tǒng)：指能夠對數值、文本、圖形、圖像動畫、聲音和視頻等多媒體元素信息進行采集、編輯存儲、播放、同步和變換等處理的計算機系統(tǒng)，包括多媒體硬件系統(tǒng)和多媒體軟件系統(tǒng)。24多媒體技術相關概念虛擬現(xiàn)實：綜合應用計算機圖像處理、模擬與仿真、傳感、顯示系統(tǒng)等技術和設備，以模擬仿真的方式，通過計算機生成逼真的三維視覺、聽覺和觸覺等感覺，給用戶提供一個真實反映操作對象變化與相互作用的三維圖像環(huán)境，從而構成一個虛擬世界；用戶使用各種特殊裝置將自己“投射”到該環(huán)境中，并操作和控制環(huán)境。25多媒體技術相關概念虛擬現(xiàn)實技術具有如下基本特征：（1）多感知性（視覺、聽覺、觸覺、味覺和嗅覺感知）（2）沉浸感（臨場感）（3）交互性（4）構想性（不僅可以再現(xiàn)真實存在的環(huán)境，也可隨意構想客觀世界不存在的、甚至是不可能發(fā)生的環(huán)境）261.2多媒體數據壓縮技術原始多媒體信息數據中除有用信息外，還包含的大量無用信息——數據冗余。多媒體數據壓縮技術的核心是，在保證一定質量的前提下，盡可能減少多媒體信息中的數據冗余，利用最短的時間和最小的空間，傳輸和存儲最多的多媒體信息數據。27數據冗余的種類多媒體信息中的數據冗余一般有以下6種：1.空間冗余：圖像中同一種色彩區(qū)域的相鄰像素的色彩信息相同，具有色彩信息相關性，產生數據冗余。2.時間冗余：前后兩幅相鄰圖像有很多相同之處，存在有很大的相關性，產生時間冗余。3.信息熵冗余（編碼冗余）：信息熵是指一組數據所攜帶的信息量。數據編碼過程中，碼元長度對應信息出現(xiàn)概率，但碼元長度按概率對應的數據量往往大于信息量，由此產生了信息熵冗余。28數據冗余的種類4.結構冗余：某些圖像存在結構上的一致，構成了圖像數據結構冗余。5.知識冗余：圖像理解與某些知識有很大的相關性。如人臉的圖像有固定的結構，這個結構規(guī)律是我們所熟知的，這就是知識冗余。6.視覺、聽覺冗余：因人眼對色差信號（如亮度和色度的差別、高亮度區(qū)和非高亮度區(qū)差別、邊緣和非邊緣區(qū)別）的變化不敏感，所以，圖像變化在許可的閾值范圍內，允許在數據壓縮和量化過程中引入噪聲。29數據壓縮概念數據壓縮處理包括編碼和解碼兩個過程。編碼就是為了達到某種目的（如減少數據量）而將原始數據進行某種變換的過程。解碼是編碼的逆過程。根據解碼后的數據與原始數據是否一致，數據壓縮方法可分兩類：無損壓縮和有損壓縮（壓縮會引起一些信息損失，解壓縮后的數據與原來的數據有所不同，但不會讓人對原始資料表達的信息產生誤解）。30常用的壓縮編碼算法1.預測編碼算法：根據離散信號之間存在的關聯(lián)性，利用信號的過去值對信號現(xiàn)在值進行編碼，達到數據壓縮的目的。如差分脈碼調制DPCM算法、自適應差分脈碼調制ADPCM算法等。2.變換編碼算法:先對信號用某種函數進行變換，從一種信號域交換到另一種信號域，再對變化后的信號進行編碼。變換編碼方法主要包括：離散傅里葉變換。31常用的壓縮編碼算法3.統(tǒng)計編碼算法:利用消息出現(xiàn)概率的分布特性來進行數據壓縮編碼。為了減少信息數據符號出現(xiàn)概率不同而產生的信息熵冗余，對出現(xiàn)概率大的符號用短的碼字表示，反之則用長碼字表示，從而提高碼字符號的平均信息量。統(tǒng)計編碼是一種無損編碼。4.子帶編碼SBC算法:根據人的感官對時頻組合信號敏感程度的不同進行數據壓縮編碼，用某種方法將輸入信號劃分成不同頻段（時段）上的子信號，根據各子信號的特性分別編碼。對信號中重要部分分配較多的碼字，反之分配較少的碼字32常用的壓縮編碼算法5.行程編碼算法:最早開發(fā)的最簡單數據壓縮方法，尤其適用于0、1成片出現(xiàn)的數據壓縮。當數據中0出現(xiàn)較多時，對0的持續(xù)長度進行編碼，讓1保持不變，反之亦然。6.結構編碼算法:求出圖像中的邊界輪廓、紋理等結構特征，然后保存這些結構特征及參數信息。解碼時根據結構和參數信息進行合成，恢復出原圖像。7.基于知識的編碼算法:對于人臉等可用規(guī)則描述的圖像，先利用人們已知的知識形成規(guī)則庫，并用一些參數描述圖像的變化，再聯(lián)合使用參數和模型來實現(xiàn)圖像的編碼和解碼。33音頻數據壓縮編碼技術音頻壓縮技術可分為三類：基于語音波形預測的編碼方法：根據人耳的聽覺特性，利用抽樣和量化來表示音頻信號的波形，使編碼后的信號與原始信號的波形盡可能一致的編碼方法。常用的算法包括PCM、DPCM、ADPCM、子帶編碼SBC等。基于參數的編碼方法：一種壓縮比更高，能夠對傳碼率進行大壓縮的技術。采用該方法通信時，發(fā)送端只需將相關參數進行編碼、發(fā)送，在接收端則可根據這些參數重建信號。線性預測編碼LPC是一種非常重要的參數編碼方法。34音頻數據壓縮編碼技術混合編碼方法：結合波形編碼和參數編碼兩種方法的優(yōu)點。既利用語音生成模型，通過對模型中的參數進行編碼，減少波形編碼中被編碼對象的動態(tài)范圍或數目；又使編碼的過程產生接近原始語音波形的合成語音，以保留說話人的各種自然特征，提高了合成語音質量。目前普遍使用的時域合成分析AbS編譯碼器就是基于混合編碼方法的編碼器。35圖像及視頻數據壓縮編碼技術圖像及視頻數據壓縮技術可劃分為兩代：基于像素的第一代圖像編碼技術：核心在于，如何給一個基于一定分割方式（如8*8像素）得到的圖像消息序列分配合適的碼字?；趫D像內容及人類視覺系統(tǒng)特性的第二代圖像編碼技術：核心在于，按照怎樣的方式結合人眼的視覺特性獲得圖像消息序列。36典型的圖像及視頻數據壓縮編碼方法1.預測編碼方法：分為幀內預測編碼（多用差分脈沖編碼調制法DPCM）和幀間預測編碼（根據序列圖像幀間在時間上的強相關性減少幀序列內圖像信號的冗余，運動補償法是常用的幀間預測編碼方法）。2.正交變換方法：圖像信號的能量集中在低頻端，如果將圖像信號通過傅里葉變換或Z變換等變換到頻域后，只要對頻域空間量化器進行非均勻比特分配，即對高能量區(qū)分配較多的比特數，低能量區(qū)分配較少的比特數，就可獲得較高的壓縮比。目前廣泛應用的有快速傅里葉變換、代數分解及矩陣分解等多種快速算法的離散余弦變換DCT方法。37典型的圖像及視頻數據壓縮編碼方法3.空間-時間域變換方法：預測編碼與變換相結合的混合編碼方法。4.算術編碼方法：一種無損壓縮編碼方法，其基本原理是：信息用0到1之間的一個間隔（范圍）來表示被處理信息中的一個字符。這個間隔的大?。淳幋a間隔）取決于信息符號的概率。信息中的符號越多，編碼表示的間隔就越小，表示這一間隔所需的二進制位數就越多。信息源中連續(xù)的符號，根據某一模式生成概率的大小來減小范圍，出現(xiàn)概率大的符號比出現(xiàn)概率小的符號減小的范圍少。38典型的圖像及視頻數據壓縮編碼方法5.模型基圖像序列的編碼方法：第二代圖像編碼技術。該方法中，在發(fā)送端，圖像分析模塊利用已知的模型分析輸入圖像，提取圖像緊湊和必要的描述信息，得到一些數據量不大的模型參數。在接收端，通過同樣的臉部三維模型，利用傳送過來的被估計和量化后的臉部運動參數，就能重建“原來”的圖像。重建的圖像可以十分逼真。6．分形圖像編碼方法

：利用圖像中一些重要特征（如直邊緣和平坦區(qū)域都是縮放變換時不變化的量等），通過粗尺度圖像特征逼近精細圖像特征。39典型的圖像及視頻數據壓縮編碼方法7．小波變換編碼方法：正交變換方法中，對整個時間軸進行處理，完全沒利用頻帶時間信息，使得高頻分量被丟棄，導致重建的圖像產生“邊緣”效應，圖像邊界變得模糊不清。為了減除“邊緣”效應，可改用能夠充分利用頻帶的時間信息的小波變換來代替正交變換。小波變換時，先用時頻窗口對圖像信號進行劃分，對頻帶的不同部分可以用不同的窗寬來分析。對低頻信號，采用寬時間、窄頻率窗小波，以得到高的頻率分辨率；對高頻信號則采用窄時間、寬頻率窗小波，以得到高的時間分辨率。采用高頻分量采用逐漸精細的時域取樣步長的方法，對圖像邊緣等細節(jié)進行高效編碼。401.3多媒體硬件技術和軟件技術硬件技術：包括計算機硬件、聲音/視頻處理器、多種媒體輸入/輸出設備及信號轉換裝置、通信傳輸設備及接口裝置等技術。專用芯片技術（固定功能的芯片、可編程的數字信號處理器芯片）。輸入輸出技術（改變媒體表現(xiàn)形式的媒體變換技術、語音識別及觸摸屏媒體識別技術、信息進行更進一步的分析處理和理解信息內容的媒體理解技術、語音合成器等把低維信息表示映像到高維的模式空間的綜合技術。411.3多媒體硬件技術和軟件技術軟件技術：包括多媒體操作系統(tǒng)、多媒體素材采集與制作技術、多媒體編輯與創(chuàng)作工具、多媒體數據庫技術421.4多媒體技術的發(fā)展20世紀80年代初，麻省理工學院成立媒體實驗室，從事有關多媒體信息處理的理論與技術研究。1984年，Apple公司推出的Macintosh微機引入位圖概念來處理圖形圖像，并使用了窗口和圖標作為用戶接口。改善后的圖形用戶界面（GraphicalUserInterface，GUI）受到普遍歡迎，鼠標作為交互輸入設備的應用更是大大方便了用戶操作。位圖概念的提出，標志著多媒體技術的誕生。隨后幾年間，多媒體技術得到大力發(fā)展。43發(fā)展簡史1985年，美國Commodore公司推出了世界上第一臺具有影視與動畫功能的、真正的多媒體系統(tǒng)Amiga。同年，美國微軟公司推出了Windows這一個具有多媒體功能且用戶界面友好的窗口操作系統(tǒng)。1986年，Philips和Sony聯(lián)合推出了CD-I系統(tǒng)，它把各種多媒體信息以數字化的形式存放在650MB的CD-ROM上，用戶可通過讀取光盤中的內容來進行播放。44發(fā)展簡史1987年，美國RCA公司推出了DVI系統(tǒng)，它以計算機技術為基礎，用標準光盤來存儲和檢索靜止圖像、活動圖像、聲音和其它數據。同年，Apple公司引入了“超級卡（Hypercard）”，使Macintosh微機成為用戶可以方便使用的、能處理多種媒體信息的機器。1989年，Intel/IBM把DVI芯片裝在IBMPS/2微機上，宣布將DVI技術開發(fā)成一種普及化商品ActionMedia750，其軟件支持為AVSS（AudioVideoSupportSystem）。45發(fā)展簡史20世紀90年代，為了使多媒體技術和眾多相關設備具有更好的通用性和兼容性，人們開始制定一系列的技術標準和設備標準，并不斷更新和發(fā)展這些標準。1990年，Philips等14家廠商組成多媒體市場協(xié)會。1991年，第六屆國際多媒體和CD-ROM大會宣布CD-ROM/XA標準，填補了原有標準在音頻方面的不足。同年，Intel/IBM推出ActionMedia750Ⅱ及AVK（AudioVideoKernel）。同年，微軟召開多媒體開發(fā)者會議，制定出MPC1.0版技術規(guī)范。46發(fā)展簡史1992年，Intel和IBM共同研制的DVIActionMedia750II在Comdex博覽會上榮獲了最佳多媒體產品獎和最佳展示獎。同年，靜止圖像壓縮標準JPEG成為數字圖像壓縮的國際標準。隨后，動態(tài)圖像壓縮標準MPEG和語音信息壓縮標準H.26X等多媒體計算機及技術標準逐漸被建立。1993年，美國貝爾大西洋公司并購美國電訊傳播公司，為發(fā)展新型CATV、開發(fā)多媒體信息服務、實現(xiàn)“信息高速公路”起了巨大的推動作用。同年，國際標準化組織／國際電子學委員會正式采納MPEG-1標準，用于運動圖像和伴音進行編碼。47發(fā)展簡史1994年，第1屆WWW大會首次提出虛擬現(xiàn)實建模語言標準。1995年，微軟正式公布了32位的微機操作系統(tǒng)Windows95。同年，美國ProgressiveNetworks公司推出了聲音播放軟件RealAudio，標志著流