模式識(shí)別

PatternRecognition課程教材2《模式識(shí)別》

張向榮馮婕劉芳焦李成西安電子科技大學(xué)出版社第一章緒論第二章統(tǒng)計(jì)決策方法第三至第四章分類方法第五至第六章特征選擇/提取方法第七章神經(jīng)網(wǎng)絡(luò)第八至第十章現(xiàn)代模式識(shí)別課程參考書IEEETrans.OnPatternAnalysisandMachineIntelligence(TPAMI)《模式識(shí)別與人工智能》，科學(xué)出版社，自動(dòng)化學(xué)會(huì)主辦，季刊背景知識(shí)概率論；線性代數(shù)（矩陣計(jì)算）；學(xué)習(xí)要求掌握基本概念，了解理論內(nèi)容；考試形式總學(xué)時(shí)：40+16，講授40，實(shí)驗(yàn)16；課程分為：講授+學(xué)生展示+實(shí)驗(yàn)上機(jī)；考試：平時(shí)成績(jī)40%（出勤率，平時(shí)作業(yè)，課堂展示，上機(jī)課）+考試成績(jī)60%；相關(guān)期刊5文獻(xiàn)查找6文獻(xiàn)查找作者個(gè)人主頁7文獻(xiàn)查找網(wǎng)址：33/dbNavList.jspx8文獻(xiàn)閱讀第一章

模式識(shí)別概論1.1什么是模式識(shí)別1.2模式識(shí)別的基本概念1.3模式識(shí)別系統(tǒng)（基本框架）1.4模式識(shí)別的歷史與現(xiàn)狀1.5模式識(shí)別方法1.6模式識(shí)別應(yīng)用領(lǐng)域第一章

模式識(shí)別概論1.1什么是模式識(shí)別1.2模式識(shí)別的基本概念1.3模式識(shí)別系統(tǒng)（基本框架）1.4模式識(shí)別的歷史與現(xiàn)狀1.5模式識(shí)別方法1.6模式識(shí)別應(yīng)用領(lǐng)域1.1什么是模式識(shí)別？模式識(shí)別的定義

Patternrecognition

isthestudyofhow

machines

canobservetheenvironment,learnto

distinguishpatterns

ofinterestfromtheirbackground,andmakesoundandreasonable

decisions

aboutthecategoriesofthepatterns.

——AnilK.Jain，MichiganStateUniversity

/~jain/

Ref:AnilK.Jainetal.StatisticalPatternRecognition：AReview.IEEETrans.onpatternanalysisandmachineintelligence.2000,22(1):4-3712目標(biāo)識(shí)別（人臉識(shí)別）：人在環(huán)顧四周的時(shí)候，可以認(rèn)出周圍的物體是桌子，椅子；能認(rèn)出你的同學(xué)是張三還是李四；語音識(shí)別：聽到聲音，能夠區(qū)分出是汽車?yán)冗€是火車鳴笛，是貓叫還是人在說話，是誰在說話；文本分類：通過閱讀書籍，可以看出哪些屬于藝術(shù)類書籍，哪些屬于體育類書籍；圖像、視頻識(shí)別：看到圖像和視頻，可以立刻反映出來是動(dòng)物的圖片，或者講述動(dòng)物生活習(xí)性的視頻；人類所具備的這些認(rèn)知能力非常的平常，但如何讓計(jì)算機(jī)來模擬人的智能，可以同人類一樣具備這種認(rèn)知，學(xué)習(xí)這種模式識(shí)別能力是這門課關(guān)注的問題。1.1什么是模式識(shí)別？1.1什么是模式識(shí)別？人的模式識(shí)別過程：剛出生的小朋友，你不斷地給他灌輸知識(shí)反復(fù)訓(xùn)練他，比如，介紹一個(gè)動(dòng)物，介紹這種動(dòng)物的一些主要的特征，叫聲，外形，顏色等，來反復(fù)地讓他加深印象，下一次見到可以認(rèn)出這種動(dòng)物；機(jī)器的模式識(shí)別過程：如果讓機(jī)器識(shí)別一個(gè)動(dòng)物，需要將動(dòng)物的抽象特征提取出一些機(jī)器可以識(shí)別的符號(hào)、向量，作為機(jī)器的輸入；然后，建立一個(gè)模型（分類器），讓機(jī)器識(shí)別出來這是貓，這種動(dòng)物是狗；這里面就是模式識(shí)別的兩個(gè)核心：特征提取和分類器設(shè)計(jì)，這門課也主要圍繞這兩大模塊進(jìn)行。因?yàn)槊恳环N數(shù)據(jù)，每一種應(yīng)用，都有各自的特點(diǎn)，所以要根據(jù)不同的應(yīng)用，設(shè)計(jì)相應(yīng)的特征提取方法和相應(yīng)的分類器模型。14DeepBlue深藍(lán)是美國IBM公司生產(chǎn)的一臺(tái)超級(jí)國際象棋電腦，重1270公斤，有32個(gè)大腦（微處理器），每秒鐘可以計(jì)算2億步。"深藍(lán)”輸入了一百多年來優(yōu)秀棋手的對(duì)局兩百多萬局。1997年5月11日，“深藍(lán)”超級(jí)電腦戰(zhàn)勝了人類有史以來最偉大的國際象棋大師卡斯帕羅夫。這場(chǎng)舉世矚目的人機(jī)大戰(zhàn)以計(jì)算機(jī)取勝而落下帷幕。深藍(lán)算法的核心是基于暴力窮舉：生成所有可能的走法，然后執(zhí)行盡可能深的搜索，并不斷對(duì)局面進(jìn)行評(píng)估，嘗試找出較佳走法。包括走棋模塊，評(píng)估模塊，以及搜索控制器。1.1什么是模式識(shí)別？正在與深藍(lán)下棋的卡斯帕羅夫1.1什么是模式識(shí)別？16Watson2011年，IBMWatson參加綜藝節(jié)目危險(xiǎn)邊緣（Jeopardy）來測(cè)試它的能力，Watson贏得了第一筆獎(jiǎng)金100萬美元。它包括語音的識(shí)別，語義的理解，還有對(duì)答系統(tǒng)。首先需要語音的識(shí)別，他需要識(shí)別出，你說的是人工智能四個(gè)字，然后需要理解問題，因?yàn)檎Z料庫中的問題未必和主持人完全匹配，最后需要在語料庫中找到相應(yīng)的答案。1.1什么是模式識(shí)別？17小度小度機(jī)器人誕生于百度自然語言處理部。依托于百度強(qiáng)大的人工智能，集成了自然語言處理、對(duì)話系統(tǒng)、語音視覺等技術(shù)；2014年9月16日，小度機(jī)器人現(xiàn)身江蘇衛(wèi)視《芝麻開門》：40道涉及音樂，影視，歷史，文學(xué)類型的題目全部答對(duì)；2017年1月，小度參加江蘇衛(wèi)視《最強(qiáng)大腦》第四季；1.1什么是模式識(shí)別？AlphaGo由谷歌（Google）旗下DeepMind公司開發(fā)。2016年3月，

AlphaGo與圍棋世界冠軍、職業(yè)九段選手李世石比賽并獲勝；2016年末2017年初，該程序在中國棋類網(wǎng)站上以“大師”（Master）為注冊(cè)帳號(hào)與中日韓數(shù)十位圍棋高手進(jìn)行快棋對(duì)決，連續(xù)60局無一敗績(jī)。2017年5月，戰(zhàn)勝中國選手柯潔戰(zhàn)勝。2017年10月，發(fā)布AlphaGoZero。核心技術(shù)：深度學(xué)習(xí)+強(qiáng)化學(xué)習(xí)AlphaGo1.1什么是模式識(shí)別？1.1什么是模式識(shí)別？什么是模式？模板匹配提取車的輪廓、顏色，這個(gè)屬于來自圖像本身的底層特征；用底層特征來抽象到這種輪廓這種顏色的車身，它有幾個(gè)車輪，上升到了中層特征；有車身和四個(gè)車輪的這種物體，上升到汽車這樣一個(gè)語義的層次。語義就是人類賦予它的一個(gè)定義，這是高層特征。識(shí)別的過程是從底層，逐漸抽象到高層，這樣的一個(gè)過程。其中，汽車作為物體的一個(gè)類別屬性，根據(jù)底層特征，抽象到中層特征，從而獲取物體的類別屬性，就是一個(gè)模式分類的過程。1.1什么是模式識(shí)別？車身車輪車型顏色底層中層汽車高層品牌什么是模式？廣義地說，存在于時(shí)間和空間中可觀察的物體，如果我們可以區(qū)別它們是否相同或是否相似，都可以稱之為模式。狹義地說，模式是對(duì)感興趣的客體的定量的或結(jié)構(gòu)的描述。模式的直觀特性:可觀察性可區(qū)分性相似性1.1什么是模式識(shí)別？什么是模式？模式識(shí)別的目的：利用計(jì)算機(jī)對(duì)物體（模式）進(jìn)行分類，在錯(cuò)誤概率最小的條件下，使識(shí)別的結(jié)果盡量與客觀物體相符合。Y=F(X)X的定義域取自特征集

Y的值域?yàn)轭悇e的標(biāo)號(hào)集

F是模式識(shí)別的判別方法1.1什么是模式識(shí)別？什么是識(shí)別？第一章

模式識(shí)別概論1.1什么是模式識(shí)別1.2模式識(shí)別的基本概念1.3模式識(shí)別系統(tǒng)（基本框架）1.4模式識(shí)別的歷史與現(xiàn)狀1.5模式識(shí)別方法1.6模式識(shí)別應(yīng)用領(lǐng)域一個(gè)例子：鱸魚和鮭魚識(shí)別問題：某魚類制品罐頭廠需將傳送帶上的鱸魚和鮭魚進(jìn)行區(qū)分，以便于后續(xù)對(duì)鱸魚和鮭魚進(jìn)行分別處理并裝罐。Seabass：鱸魚Salmon：鮭魚1.2模式識(shí)別的基本概念一個(gè)例子：鱸魚和鮭魚識(shí)別1.2模式識(shí)別的基本概念1.需要將魚輸入到計(jì)算機(jī)，我們搭建一個(gè)攝像機(jī)，然后拍攝很多魚的圖片收集起來；2.由于在傳送帶上，攝像機(jī)拍照，有背景，也有可能很多魚交疊在一起，所以要進(jìn)行一個(gè)預(yù)處理；3.需要對(duì)魚的圖像進(jìn)行特征提??；比如，長(zhǎng)度、光澤、寬度、鰭的數(shù)目與形狀等；4.設(shè)計(jì)分類器，對(duì)鱸魚和鮭魚進(jìn)行分類。1.2模式識(shí)別的基本概念一個(gè)例子：鱸魚和鮭魚識(shí)別傳感器：攝像頭預(yù)處理：統(tǒng)一光照、統(tǒng)一焦距，去除背景，分割…特征提?。洪L(zhǎng)度，亮度，重量，鰭的數(shù)目…輸入（測(cè)量）：重量，長(zhǎng)度，寬度，光澤度（亮還是暗）鰭數(shù)目設(shè)計(jì)分類器：線性？非線性？特征選擇：長(zhǎng)度

從長(zhǎng)度上選一個(gè)閾值很難區(qū)分Salmon：鮭魚Seabass：鱸魚1.2模式識(shí)別的基本概念特征選擇：亮度錯(cuò)誤率仍然較高1.2模式識(shí)別的基本概念1.如果單一特征不能產(chǎn)生一個(gè)滿意的結(jié)果，我們可以考慮融合多種特征；

2.光澤度與寬度(二維特征)，描述魚的數(shù)據(jù)----模式

1.2模式識(shí)別的基本概念光澤度寬度特征選擇：光澤度+寬度1.2模式識(shí)別的基本概念問題1：是不是特征越多越好？二維特征的分類結(jié)果看起來好于一維特征；我們可以考慮加入更多的特征來進(jìn)一步提高分類效果，比如背鰭的頂角，嘴的位置等等；1.特征越多，測(cè)量的代價(jià)就越多；

2.加入冗余或低辨別力的特征，反而可能會(huì)帶來負(fù)面影響；

3.特征越多，模型就越復(fù)雜，分類邊界也越復(fù)雜，容易過擬合。1.2模式識(shí)別的基本概念問題1：訓(xùn)練樣本的完美分類面是不是最好的？分類器設(shè)計(jì)的核心目標(biāo)是實(shí)現(xiàn)對(duì)未知樣本的正確分類，也就是要有好的推廣能力。一個(gè)過于復(fù)雜的決策界面一般來說不太可能有好的推廣能力，它過擬合了個(gè)別少量的訓(xùn)練樣本。這些訓(xùn)練樣本沒有真正地反映數(shù)據(jù)的真實(shí)分布。結(jié)論：我們必須在訓(xùn)練樣本的分類正確率和推廣能力之間權(quán)衡以得到滿意的設(shè)計(jì)。1.2模式識(shí)別的基本概念非線性分類面圖中的判決面是對(duì)訓(xùn)練樣本的分類性能和分界面復(fù)雜度的一個(gè)折中，可以解決這種線性不可分問題。避免過擬合的方法：避免過于復(fù)雜的分類面。樣本（sample）：一類事物的一個(gè)具體體現(xiàn)，所研究對(duì)象的一個(gè)個(gè)體，也稱模式。樣本集（sampleset）：若干樣本的集合。類或類別（class）：在所有樣本上定義的一個(gè)子集，處于同一類的樣本在我們所關(guān)心的性質(zhì)上是不可區(qū)分的，即具有相同的模式，也稱模式類。

特征（feature）：用于表征樣本的觀測(cè)信息，通常是數(shù)值表示的，有時(shí)也稱為屬性（attribute）；如果是高維則稱為特征向量，樣本的特征（向量）構(gòu)成了特征空間，每個(gè)樣本是特征空間中的一個(gè)點(diǎn)。1.2模式識(shí)別的基本概念已知樣本（knownsample）：事先知道類別標(biāo)號(hào)的樣本（訓(xùn)練樣本）。未知樣本（unknownsample）：類別標(biāo)號(hào)未知但特征已知的樣本（待識(shí)別的樣本，測(cè)試樣本）。一般來說，模式識(shí)別必須經(jīng)歷如下的過程：1.2模式識(shí)別的基本概念1.2模式識(shí)別的基本概念模式空間特征空間類型空間在模式空間里，每個(gè)樣本模式都是一個(gè)點(diǎn)，點(diǎn)的位置由該模式在各維上的測(cè)量值確定。對(duì)模式空間里的各坐標(biāo)元素進(jìn)行綜合分析，以提取最能揭示樣本屬性的特征，這些特征就構(gòu)成特征空間。根據(jù)適當(dāng)?shù)呐袥Q規(guī)則，把特征空間里的樣本區(qū)分成不同的類型，從而把特征空間塑造成了類型空間。由特征空間到類型空間所需要的操作就是分類判決。特征提取分類決策模式識(shí)別過程：

從物理上可以覺察到的世界，通過模式空間、特征空間到類型空間，經(jīng)歷了模式采集、特征提取和選擇、以及分類決策等過程，這就是一個(gè)完整的模式識(shí)別過程。模式識(shí)別：是從樣本到類別的映射1.2模式識(shí)別的基本概念第一章

模式識(shí)別概論1.1什么是模式識(shí)別1.2模式識(shí)別的基本概念1.3模式識(shí)別系統(tǒng)（基本框架）1.4模式識(shí)別的歷史與現(xiàn)狀1.5模式識(shí)別方法1.6模式識(shí)別應(yīng)用領(lǐng)域模式識(shí)別系統(tǒng)傳感器(Sensing)：信號(hào)采集分割(Segmentation)：使模式之間相互獨(dú)立，互不重疊，依靠圖象處理技術(shù)。特征提取(Featureextraction)

可判別特征平移、旋轉(zhuǎn)和尺度變換不變性特征分類(Classification)：由特征向量確定對(duì)象所屬的類別。后處理(PostProcessing)：利用“上下文”先驗(yàn)信息提高分類性能。1.3模式識(shí)別系統(tǒng)39預(yù)處理特征測(cè)量分類器預(yù)處理特征提取/選擇學(xué)習(xí)待識(shí)模式(數(shù)據(jù))訓(xùn)練模式(樣本集)訓(xùn)練過程識(shí)別過程1.3模式識(shí)別系統(tǒng)收集數(shù)據(jù)（collectdata）：收集足夠的代表性樣本特征選擇（choosefeatures）：確定哪個(gè)目標(biāo)的屬性可以區(qū)別不同的目標(biāo)選擇模型(choosemodel)：選擇分類器模型，確定分類原理和機(jī)理訓(xùn)練分類器(trainclassifier)：確定分類器參數(shù)分類器評(píng)估(evaluateclassifier)：估計(jì)可能的誤差率模式識(shí)別系統(tǒng)設(shè)計(jì)的五個(gè)步驟:1.3模式識(shí)別系統(tǒng)分類器的學(xué)習(xí)和適應(yīng)：給定一般模型或分類器的形式，利用樣本(例子)去學(xué)習(xí)或估計(jì)模型的未知參數(shù)。有監(jiān)督學(xué)習(xí)(Supervisedlearning)：已知訓(xùn)練樣本集中每個(gè)輸入樣本的類別標(biāo)記和分類代價(jià)，尋找能降低總體代價(jià)的方向。已知分類情況，計(jì)算各類在特征空間的分布，然后對(duì)未知樣本進(jìn)行分類.無監(jiān)督學(xué)習(xí)(Unsupervisedlearning)：樣本的類別標(biāo)記和分類代價(jià)未知，由聚類器形成“聚類”(clusters)或者“自然組織(naturalgroupings)”。事先不知有多少類，有哪些類，只能根據(jù)樣本間的相似性進(jìn)行聚合。1.3模式識(shí)別系統(tǒng)第一章

模式識(shí)別概論1.1什么是模式識(shí)別1.2模式識(shí)別的基本概念1.3模式識(shí)別系統(tǒng)（基本框架）1.4模式識(shí)別的歷史與現(xiàn)狀1.5模式識(shí)別方法1.6模式識(shí)別應(yīng)用領(lǐng)域1929年GustavTauschek(奧地利)利用光學(xué)和機(jī)械手段發(fā)明了閱讀機(jī)，能夠閱讀0-9的數(shù)字，在德國獲得了光學(xué)字符識(shí)別的專利。20世紀(jì)30年代Fisher提出統(tǒng)計(jì)分類理論,奠定了統(tǒng)計(jì)模式識(shí)別的基礎(chǔ)。統(tǒng)計(jì)模式識(shí)別發(fā)展很快，但由于被識(shí)別的模式愈來愈復(fù)雜，特征也愈來愈多，出現(xiàn)“維數(shù)災(zāi)難”問題。20世紀(jì)40年代電子計(jì)算機(jī)興起，由于計(jì)算機(jī)運(yùn)算速度的迅猛發(fā)展，統(tǒng)計(jì)模式識(shí)別的“維數(shù)災(zāi)難”問題得到一定克服。統(tǒng)計(jì)模式識(shí)別仍是模式識(shí)別的主要理論。1.4模式識(shí)別的歷史與現(xiàn)狀20世紀(jì)50年代人工智能興起。喬姆斯基（Chemsky）提出形式語言理論，用數(shù)學(xué)方法研究自然語言（如英語）和人工語言（如程序設(shè)計(jì)語言）的產(chǎn)生方式、一般性質(zhì)和規(guī)則。由于統(tǒng)計(jì)方法不能表示和分析模式的結(jié)構(gòu)，20世紀(jì)70年代以后結(jié)構(gòu)和句法模式識(shí)別方法受到關(guān)注。尤其是美籍華人付京蓀提出句法結(jié)構(gòu)模式識(shí)別理論，在20世紀(jì)70-80年代受到了廣泛的關(guān)注。但是，句法模式識(shí)別中的基元提取和文法推斷（學(xué)習(xí)）問題直到現(xiàn)在還沒有很好的解決，因而沒有太多的實(shí)際應(yīng)用。1.4模式識(shí)別的歷史與現(xiàn)狀20世紀(jì)80年代，BP算法的重新發(fā)現(xiàn)和成功應(yīng)用推動(dòng)了人工神經(jīng)網(wǎng)絡(luò)的研究熱潮。神經(jīng)網(wǎng)絡(luò)方法與統(tǒng)計(jì)學(xué)習(xí)方法相比具有不依賴概率模型、參數(shù)自學(xué)習(xí)、泛化能力強(qiáng)等優(yōu)點(diǎn)。20世紀(jì)90年代，支撐矢量機(jī)（SVM）的提出吸引了模式識(shí)別領(lǐng)域?qū)π颖窘y(tǒng)計(jì)學(xué)習(xí)理論和核方法（KernelMethods）的關(guān)注。與神經(jīng)網(wǎng)絡(luò)相比，SVM通過優(yōu)化一個(gè)泛化誤差界限，自動(dòng)確定一個(gè)最優(yōu)的分類器結(jié)構(gòu)，具有更好的泛化能力。核方法的引入使統(tǒng)計(jì)方法從線性空間推廣到高維非線性空間。（經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化-結(jié)構(gòu)風(fēng)險(xiǎn)最小化）1.4模式識(shí)別的歷史與現(xiàn)狀21世紀(jì)以來：蓬勃發(fā)展時(shí)期統(tǒng)計(jì)學(xué)習(xí)理論越來越多地用于解決具體的模式識(shí)別和模型選擇問題新的概率密度估計(jì)、特征選擇、特征變換、聚類算法不斷提出模式識(shí)別領(lǐng)域和機(jī)器學(xué)習(xí)領(lǐng)域的互相滲透模式識(shí)別系統(tǒng)大規(guī)模用于實(shí)際問題Ref：劉成林,談鐵牛.模式識(shí)別研究進(jìn)展.中科院自動(dòng)化所,模式識(shí)別重點(diǎn)實(shí)驗(yàn)室1.4模式識(shí)別的歷史與現(xiàn)狀發(fā)展趨勢(shì)半監(jiān)督學(xué)習(xí)（Semi-supervisedLearning）：利用少量的標(biāo)注樣本和大量的未標(biāo)注樣本進(jìn)行訓(xùn)練和分類

增量學(xué)習(xí)（IncrementalLearning）：樣本逐步積累時(shí),學(xué)習(xí)精度也要隨之提高

遷移學(xué)習(xí)（TransferLearning）：將從一個(gè)環(huán)境中學(xué)到的知識(shí)用來幫助新環(huán)境中的學(xué)習(xí)任務(wù)

主動(dòng)學(xué)習(xí)（ActiveLearning）：根據(jù)已標(biāo)記樣本集合，找到未標(biāo)記樣本的子集，主動(dòng)提出標(biāo)記請(qǐng)求，學(xué)習(xí)器之外的某個(gè)系統(tǒng)對(duì)這些未標(biāo)記進(jìn)行標(biāo)記后，加入標(biāo)記樣本中，進(jìn)行下一次迭代

……1.4模式識(shí)別的歷史與現(xiàn)狀第一章

模式識(shí)別概論1.1什么是模式識(shí)別1.2模式識(shí)別的基本概念1.3模式識(shí)別系統(tǒng)（基本框架）1.4模式識(shí)別的歷史與現(xiàn)狀1.5模式識(shí)別方法1.6模式識(shí)別應(yīng)用領(lǐng)域模板匹配法統(tǒng)計(jì)方法結(jié)構(gòu)方法(句法方法)神經(jīng)網(wǎng)絡(luò)方法1.5模式識(shí)別的方法模板匹配首先對(duì)每個(gè)類別建立一個(gè)或多個(gè)模板輸入樣本和數(shù)據(jù)庫中每個(gè)類別的模板進(jìn)行比較，求相關(guān)或距離根據(jù)相關(guān)性或距離大小進(jìn)行決策優(yōu)點(diǎn)：直接、簡(jiǎn)單缺點(diǎn)：適應(yīng)性差形變模板1.5模式識(shí)別的方法統(tǒng)計(jì)方法根據(jù)訓(xùn)練樣本，建立決策邊界(decisionboundary)統(tǒng)計(jì)決策理論——根據(jù)每一類總體的概率分布決定決策邊界判別式分析方法——給出帶參數(shù)的決策邊界，根據(jù)某種準(zhǔn)則，由訓(xùn)練樣本決定“最優(yōu)”的參數(shù)本課程的重點(diǎn)內(nèi)容1.5模式識(shí)別的方法句法方法許多復(fù)雜的模式可以分解為簡(jiǎn)