神經(jīng)網(wǎng)絡(luò)講義第一頁(yè)，共十七頁(yè)，編輯于2023年，星期三6/12/2023內(nèi)容安排一、生物神經(jīng)元結(jié)構(gòu)二、人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)第二頁(yè)，共十七頁(yè)，編輯于2023年，星期三6/12/2023一生物神經(jīng)元結(jié)構(gòu)Whatyouseeinthepicture?第三頁(yè)，共十七頁(yè)，編輯于2023年，星期三6/12/2023生物神經(jīng)元示意圖一生物神經(jīng)元第四頁(yè)，共十七頁(yè)，編輯于2023年，星期三6/12/2023神經(jīng)元的相互連接第五頁(yè)，共十七頁(yè)，編輯于2023年，星期三6/12/2023生物神經(jīng)網(wǎng)絡(luò)的模型化——人工神經(jīng)網(wǎng)絡(luò)

什么是人工神經(jīng)網(wǎng)絡(luò)？T.Koholen的定義：“人工神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡(jiǎn)單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對(duì)真實(shí)世界物體所作出的交互反應(yīng)?！?/p>

第六頁(yè)，共十七頁(yè)，編輯于2023年，星期三6/12/2023二、人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)人工神經(jīng)元模型常見響應(yīng)函數(shù)人工神經(jīng)網(wǎng)絡(luò)典型結(jié)構(gòu)第七頁(yè)，共十七頁(yè)，編輯于2023年，星期三6/12/2023通用模型求和操作響應(yīng)函數(shù)人工神經(jīng)元模型

第八頁(yè)，共十七頁(yè)，編輯于2023年，星期三6/12/2023人工神經(jīng)元模型

響應(yīng)函數(shù)的基本作用控制輸入對(duì)輸出的激活作用對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換將可能無(wú)限域的輸入變換成指定的有限范圍內(nèi)的輸出第九頁(yè)，共十七頁(yè)，編輯于2023年，星期三6/12/2023(a)閾值單元(b)線性單元(c)(d)非線性單元：Sigmoid函數(shù)

常見神經(jīng)元響應(yīng)函數(shù)第十頁(yè)，共十七頁(yè)，編輯于2023年，星期三6/12/2023常見神經(jīng)元響應(yīng)函數(shù)人工神經(jīng)元的響應(yīng)函數(shù)第十一頁(yè)，共十七頁(yè)，編輯于2023年，星期三6/12/2023人工神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)大腦神經(jīng)網(wǎng)絡(luò)系統(tǒng)之所以具有思維認(rèn)識(shí)等高級(jí)功能，是由于它是由無(wú)數(shù)個(gè)神經(jīng)元相互連接而構(gòu)成的一個(gè)極為龐大而復(fù)雜的神經(jīng)網(wǎng)絡(luò)系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)也是一樣，單個(gè)神經(jīng)元的功能是很有限的，只有用許多神經(jīng)元按一定規(guī)則連接構(gòu)成的神經(jīng)網(wǎng)絡(luò)才具有強(qiáng)大的功能。神經(jīng)元的模型確定之后，一個(gè)神經(jīng)網(wǎng)絡(luò)的特性及能力主要取決于網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及學(xué)習(xí)方法。第十二頁(yè)，共十七頁(yè)，編輯于2023年，星期三6/12/20231．前向網(wǎng)絡(luò)網(wǎng)絡(luò)的結(jié)構(gòu)如圖a所示。網(wǎng)絡(luò)中的神經(jīng)元是分層排列的，每個(gè)神經(jīng)元只與前一層的神經(jīng)元相連接。最上一層為輸出層，隱含層的層數(shù)可以是一層或多層。前向網(wǎng)絡(luò)在神經(jīng)網(wǎng)絡(luò)中應(yīng)用很廣泛，例如，感知器就屬于這種類型。2．從輸出到輸入有反饋的前向網(wǎng)絡(luò)網(wǎng)絡(luò)的結(jié)構(gòu)如圖b所示。網(wǎng)絡(luò)的本身是前向型的，與前一種不同的是從輸出到輸入有反饋回路。人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成第十三頁(yè)，共十七頁(yè)，編輯于2023年，星期三6/12/2023第十四頁(yè)，共十七頁(yè)，編輯于2023年，星期三6/12/2023人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成3．層內(nèi)互連前向網(wǎng)絡(luò)網(wǎng)絡(luò)的結(jié)構(gòu)如圖c所示。通過層內(nèi)神經(jīng)元之間的相互連接，可以實(shí)現(xiàn)同一層神經(jīng)元之間橫向抑制或興奮的機(jī)制，從而限制層內(nèi)能同時(shí)動(dòng)作的神經(jīng)數(shù)，或者把層內(nèi)神經(jīng)元分為若干組，讓每組作為一個(gè)整體來(lái)動(dòng)作。一些自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)就屬于這種類型。第十五頁(yè)，共十七頁(yè)，編輯于2023年，星期三6/12/2023人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成4．互連網(wǎng)絡(luò)網(wǎng)絡(luò)的結(jié)構(gòu)如圖d所示?；ミB網(wǎng)絡(luò)有局部互連和全互連兩種。全互連網(wǎng)絡(luò)中的每個(gè)神經(jīng)元都與其他神經(jīng)元相連。局部互連是指互連只是局部的，有些神經(jīng)元之間沒有連接關(guān)系。Hopfield網(wǎng)絡(luò)和Boltzmann