[15]。本論文選擇V-A二維情緒模型開(kāi)展研究。圖2.1情緒誘發(fā)方式及選擇目前的情緒誘發(fā)源有：音樂(lè)片段、文字、表情圖片、視頻，這幾種誘發(fā)源包括了單個(gè)感官刺激和多個(gè)感官結(jié)合的刺激?；谇叭说难芯?，我們可以得知，使用視頻片段作為誘發(fā)情緒的素材是更好的選擇。在觀看視頻的時(shí)候，受試者的聽(tīng)覺(jué)和視覺(jué)同時(shí)受到刺激，并且人們的共情能力使得他們可以對(duì)視頻里的故事感同身受，從而使誘發(fā)情緒的效果更為深入持久(余哲瀚,葉慧玲,2019)。為了使實(shí)驗(yàn)效果更加顯著，本論文采用了以mv為情緒誘發(fā)源的DEAP數(shù)據(jù)集。作者對(duì)于上述結(jié)果進(jìn)行了反復(fù)校驗(yàn)與比對(duì)，尤其是與同行結(jié)論進(jìn)行了細(xì)致的比對(duì)與剖析，以確保所得結(jié)果的穩(wěn)定性和可靠性。在與同行研究的對(duì)比中，作者注意到，盡管在具體成果的表述形式上可能存在些微不同，但核心結(jié)論和趨勢(shì)均保持一致，這進(jìn)一步增強(qiáng)了本研究結(jié)論的可信度。特別地，作者深入探討了與方佳佳教授在相關(guān)主題研究中的結(jié)論的異同，通過(guò)這種對(duì)比與分析，不僅深化了對(duì)研究主題的理解，也為后續(xù)研究提供了寶貴的借鑒和啟示，為研究的深化和創(chuàng)新提供了重要幫助。DEAP是由國(guó)外幾所知名大學(xué)的科研人員共同實(shí)驗(yàn)得到的，是在情緒識(shí)別研究領(lǐng)域得到廣泛應(yīng)用的一個(gè)經(jīng)典的公開(kāi)數(shù)據(jù)庫(kù)。在這類環(huán)境里探討研究人員首先利用last.fm網(wǎng)站強(qiáng)大的功能找到適合做情緒采集的音樂(lè)視頻，然后招募到32名志愿者，在告知其實(shí)驗(yàn)注意事項(xiàng)后，給他們佩戴上檢測(cè)生理信號(hào)的儀器，而后志愿者們分別需要觀看40個(gè)帶有不同情緒觸發(fā)點(diǎn)時(shí)長(zhǎng)為1分鐘的mv，其中有22名志愿者在實(shí)驗(yàn)過(guò)程中的面部視頻被公開(kāi)(曾慶霖,溫若蘭,2022)。在觀看的過(guò)程中，受試者要從效價(jià)、喚醒程度、喜愛(ài)程度、熟悉程度、支配程度5個(gè)維度對(duì)視頻內(nèi)容進(jìn)行打分，在這種情況里展開(kāi)以便后續(xù)的情緒識(shí)別工作的開(kāi)展。實(shí)驗(yàn)首先使用512HZ的頻率采集生理信號(hào)，然后以128HZ的頻率對(duì)采得的信號(hào)進(jìn)行二次采樣以方便后來(lái)的學(xué)者使用，采集通道共有40個(gè)，其中，前32個(gè)通道用來(lái)采集腦電信號(hào)，其余的8個(gè)通道用來(lái)采集皮電信號(hào)、肌電信號(hào)和眼電信號(hào)等外周生理信號(hào)(蔡文博,潘秋燕,2023)。處理好的文件有40個(gè)mat文件和40個(gè)bat文件，與40位受試者一一對(duì)應(yīng)，這兩種文件分別用matlab和python打開(kāi)。前述結(jié)果在一定程度上支撐了本文預(yù)先構(gòu)建的理論體系。現(xiàn)有的研究成果分析與理論預(yù)期保持了高度一致，驗(yàn)證了理論模型中提出的機(jī)制的有效性。詳細(xì)來(lái)說(shuō)，研究發(fā)現(xiàn)關(guān)鍵變量間的關(guān)聯(lián)趨勢(shì)與模型預(yù)測(cè)相符，這不僅增強(qiáng)了理論體系的可靠性，也為進(jìn)一步探究該領(lǐng)域的復(fù)雜關(guān)系提供了實(shí)證支撐。另外，結(jié)果的相符性表明理論模型中考慮的影響因素及其相互作用是合理的，對(duì)把握研究現(xiàn)象的本質(zhì)具有重要意義。此外，這一驗(yàn)證環(huán)節(jié)也為后續(xù)研究指明了道路，即在已驗(yàn)證有效的理論體系下，可以更加深入地挖掘未被充分研究的因素，或把模型拓展到更廣泛的場(chǎng)景中進(jìn)行驗(yàn)證和優(yōu)化。從中不難發(fā)現(xiàn)文件里面是兩個(gè)叫做dada和labels的矩陣，data的規(guī)模是40＊40*8064，這三個(gè)維度代表的意思分別是40個(gè)一分鐘的視頻，40個(gè)采集生理信號(hào)的通道，8064個(gè)采樣點(diǎn)(袁浩淼,薛雅菲,2021)。8064是由63*128得到的，63代表正式采樣前的3秒基線時(shí)間加上60秒的音樂(lè)視頻時(shí)間，128是復(fù)采樣的頻率。labels是一個(gè)40*4的矩陣，兩個(gè)維度的含義是40個(gè)音樂(lè)短片和志愿者基于四個(gè)維度對(duì)視頻內(nèi)容的打分。本章小結(jié)本章介紹了情緒模型的分類，概述了情緒誘發(fā)方式，并且說(shuō)明了本論文使用的情緒模型及生理情緒數(shù)據(jù)庫(kù)，而后詳細(xì)闡釋了DEAP數(shù)據(jù)集。

生理信號(hào)及其特征提取EEG信號(hào)基礎(chǔ)知識(shí)腦電圖（EEG）描述了大腦皮層中腦神經(jīng)細(xì)胞產(chǎn)生的電生理活動(dòng)。我們可以通過(guò)腦電圖來(lái)監(jiān)測(cè)生理活動(dòng)和疾病信息，從這些因素可以推測(cè)相比于一些其他類型的疾病檢查方式，通過(guò)腦電圖來(lái)檢測(cè)疾病不會(huì)對(duì)人造成任何創(chuàng)傷和疼痛(金啟超,陶麗娜,2020)。一般來(lái)說(shuō)，獲得腦電圖的方式是將患者的頭皮與精密的腦電采集設(shè)備相連，設(shè)備上的電極片會(huì)自動(dòng)記錄下腦電細(xì)胞的生理活動(dòng),然后通過(guò)傳輸線將這種信號(hào)發(fā)送到電腦系統(tǒng)上，電腦將微弱的電位信號(hào)進(jìn)行放大并顯示在屏幕上。概括來(lái)說(shuō)，腦電圖就是一個(gè)橫坐標(biāo)為時(shí)間，縱坐標(biāo)為大腦皮層電位的二維坐標(biāo)圖(石澤凱,韓雅琴,2019)。ECG在很多領(lǐng)域都有著廣泛的應(yīng)用。在臨床醫(yī)學(xué)上，醫(yī)生可以通過(guò)腦電波的特征來(lái)診斷出病人是否患有癲癇，癲癇的放電是不規(guī)律的，即使是在未發(fā)病期間，腦電圖也會(huì)顯示異常，從而達(dá)到提前預(yù)判的效果，根據(jù)現(xiàn)有背景及時(shí)地采取治療措施，腦電圖還可以輔助醫(yī)生對(duì)已經(jīng)確診的癲癇患者的藥物服用進(jìn)行指導(dǎo)。此外，腦電圖還可用于診斷精神類疾病、通過(guò)檢測(cè)出中樞神經(jīng)系統(tǒng)的病變而判斷出中毒(章思遠(yuǎn),林玉潔,2022)；考慮到理論與實(shí)踐間的差異，本文進(jìn)行了深入的分析與必要的調(diào)整。為確保理論模型能更貼近實(shí)際操作，我們不僅嚴(yán)謹(jǐn)?shù)赝茖?dǎo)和驗(yàn)證了理論框架，還深入實(shí)踐，通過(guò)多元化的研究方法等渠道，廣泛收集了行業(yè)內(nèi)的第一手資料。這些實(shí)踐數(shù)據(jù)幫助我們識(shí)別并理解理論模型在實(shí)際應(yīng)用中可能面臨的挑戰(zhàn)與偏差。在此基礎(chǔ)上，我們引入了修正迭代優(yōu)化機(jī)制，構(gòu)建了適應(yīng)性更強(qiáng)的研究流程，并據(jù)此修正和完善了當(dāng)前成果，提高了其預(yù)測(cè)準(zhǔn)確性和實(shí)用性，確保了研究結(jié)果的可靠性和泛化性。通過(guò)這些綜合考量，本文不僅加深了對(duì)研究主題的理解，也為相關(guān)領(lǐng)域的研究者和從業(yè)者提供了更具操作性和指導(dǎo)意義的理論支撐和實(shí)踐參考。在工程上，由于人在處于不同狀態(tài)時(shí)的腦電活動(dòng)不同，研究者們基于提取出腦電特征進(jìn)行分類識(shí)別來(lái)實(shí)現(xiàn)特定的控制作用的理念提出了腦機(jī)接口的概念，根據(jù)這種情形其中最廣為人知的應(yīng)用是為了幫助聽(tīng)覺(jué)、視覺(jué)和肢體運(yùn)動(dòng)能力等受損的人們而制造出來(lái)的人體植入設(shè)備(譚家輝,肖美琳,2023)；另外，由于大腦皮層主要負(fù)責(zé)人體的認(rèn)知和情感功能，其中大腦皮層中的頂葉被證明與人際交往、情感、自我意識(shí)等有關(guān)，所以腦電圖在情緒識(shí)別領(lǐng)域也有著不可撼動(dòng)的地位。EEG信號(hào)的特征提取理論知識(shí)腦電特征的劃分：腦電信號(hào)的特征根據(jù)是否考慮大腦不同區(qū)域之間的聯(lián)系可以分為兩大類:單導(dǎo)聯(lián)特征和導(dǎo)聯(lián)間特征(林偉明,付靜嫻,2021)。單導(dǎo)聯(lián)特征又可以分為四個(gè)維度。時(shí)域表現(xiàn)一個(gè)函數(shù)或者信號(hào)隨著時(shí)間的變化，處在這個(gè)局面下最常見(jiàn)的形式就是二維坐標(biāo)系的曲線圖。腦電信號(hào)的時(shí)域特征包括腦電波的統(tǒng)計(jì)學(xué)特征(例如方差、最大最小值、平均值等)、功率、高階過(guò)零分析等，雖然在所有維度的特征中時(shí)域特征最常用也最容易獲得，但存在一定的局限性，無(wú)法完整表現(xiàn)信號(hào)的特征，所以一般都搭配其他種類的特征來(lái)使用。頻域用來(lái)描述信號(hào)隨著頻率變化的某種特性，在此情景內(nèi)發(fā)生腦電波有5個(gè)頻率區(qū)間(徐建平,姜柳青,2020):4-8?的是Theta波、8-13?的是Alpha波、13-30?的是Beta波、大于30?的是Gamma波，不同頻率的腦電波有不同的應(yīng)用。頻域特征有功率譜密度、微分熵、差分熵等。時(shí)頻域特征結(jié)合了時(shí)域和頻域的優(yōu)點(diǎn)。在這場(chǎng)景里非線性動(dòng)力學(xué)特征包括熵、李雅普諾夫指數(shù)、盒子維等(高啟超,岳麗娜,2019)。導(dǎo)聯(lián)間特征中最常用的是空間域特征，空間域特征是指腦電信號(hào)特征在大腦的不同區(qū)域表現(xiàn)各異，在這類環(huán)境里探討且研究表明大腦通道之間的相關(guān)性與情緒也有著很大的相關(guān)性?？臻g域特征又包括了空頻域和電極組合兩種類型的特征。本論文中用到的特征是空間域特征、時(shí)域特征和頻域特征(馬文博,張浩淼,2022)?？焖俑道锶~變換：我們要用的腦電信號(hào)是在時(shí)域中得到的，時(shí)間域通往頻率域的公路是傅里葉變換，然后我們將變換后的信號(hào)分為頻率不同的波段，從而提取頻域特征。由于腦電信號(hào)是非連續(xù)信號(hào)，要采用離散傅里葉變換（DFT），如公式3.1所示(葉偉明,陳靜嫻,2020)。 X(k)=n=0N?1x由于離散傅里葉變換本身的計(jì)算量太大，無(wú)法保證數(shù)據(jù)及時(shí)地得到處理，因此引入了快速傅里葉變換（FFT），從中不難發(fā)現(xiàn)如公式3.2所示。FFT大大節(jié)省了計(jì)算量，提高了運(yùn)算速度，在數(shù)據(jù)處理中得到了廣泛的應(yīng)用。 Xk=n=0皮爾森相關(guān)系數(shù)：本論文使用空間域特征主要是為了研究不同腦電通道的關(guān)聯(lián)性對(duì)于情緒數(shù)據(jù)的影響，首先需要通過(guò)皮爾森相關(guān)系數(shù)求兩通道之間的相關(guān)性，如公式3.3所示(方建平,楊柳青,2021)。 Pearson=i=1該系數(shù)的變化范圍從-1到+1，負(fù)數(shù)代表絕對(duì)負(fù)相關(guān)，正數(shù)代表絕對(duì)正相關(guān)，當(dāng)該系數(shù)值為0時(shí)不能說(shuō)無(wú)相關(guān)關(guān)系，只是沒(méi)有線性關(guān)系(白啟超,孫麗娜,2019)。相比于其他相關(guān)性表征指標(biāo)，皮爾森相關(guān)系數(shù)可以通過(guò)具體的數(shù)字更為精確地描述出兩個(gè)變量之間的相關(guān)性。特征提取我們的整個(gè)情緒識(shí)別選擇在python環(huán)境下進(jìn)行，首先來(lái)配置代碼運(yùn)行的環(huán)境。將anaconda和pycharm搭配使用，在這種情況里展開(kāi)在安裝和配置的過(guò)程中要注意兩點(diǎn):cuda和pytorch的版本一定要兼容，具體怎樣搭配我們可以在pytorch官網(wǎng)上找到相關(guān)信息(任澤凱,吳雅琴,2023)；安裝pytorch包時(shí)官網(wǎng)自帶的包下載較慢，可以將鏈接地址改為清華鏡像的下載地址。由于我們要使用圖卷積神經(jīng)網(wǎng)絡(luò)模型來(lái)實(shí)現(xiàn)情緒識(shí)別，而圖卷積網(wǎng)絡(luò)的輸入必須是圖結(jié)構(gòu)，所以我們需要把數(shù)據(jù)處理成圖，從中不難發(fā)現(xiàn)圖有四個(gè)要素(洪思遠(yuǎn),馮玉潔,2021):節(jié)點(diǎn)、節(jié)點(diǎn)特征，邊、邊特征。我們首先使用DEAPDataset.py和Electrodes.py來(lái)將這四個(gè)要素提取出來(lái)，再調(diào)用Pytorchgeometric庫(kù)來(lái)完成數(shù)據(jù)處理的工作。Pytorchgeometric是為處理圖網(wǎng)絡(luò)而生的數(shù)據(jù)庫(kù)。第一步，提取節(jié)點(diǎn)。本論文中要考慮單個(gè)腦電通道的特征和它們彼此之間的關(guān)聯(lián)性，所以選取全部的32個(gè)腦電通道作為圖結(jié)構(gòu)中的節(jié)點(diǎn)。第二步，提取節(jié)點(diǎn)特征。本論文中使用了三種提取結(jié)點(diǎn)特征的方法：第一種:最簡(jiǎn)單地，我們可以直接將DEAP在時(shí)域中采集到的腦電信號(hào)作為點(diǎn)特征使用。我們將40個(gè)dada矩陣中的三秒基線時(shí)間去除，最后一個(gè)維度由8064變成了60＊128=7680。第二種:第一種方法直接使用7680個(gè)采樣點(diǎn)上的電壓值，缺點(diǎn)在于數(shù)據(jù)量龐大使得數(shù)據(jù)處理的工作繁雜，而且含有大量無(wú)關(guān)信息。因此，從這些因素可以推測(cè)我們想到要通過(guò)提取這些數(shù)據(jù)的均值，標(biāo)準(zhǔn)差，最大值，最小值等9個(gè)統(tǒng)計(jì)學(xué)特征作為結(jié)點(diǎn)特征來(lái)減少工作量，但這樣數(shù)據(jù)量有過(guò)小，不具有代表性，可能會(huì)遺漏一些重要信息。為確保研究結(jié)論的可復(fù)制性和普及性，本研究采取了多項(xiàng)措施，旨在加強(qiáng)研究的嚴(yán)謹(jǐn)性和普適性。從研究策劃到數(shù)據(jù)收集、解析，每一步都嚴(yán)格遵循科學(xué)方法論，力求標(biāo)準(zhǔn)化與透明化。在規(guī)劃階段，明確界定了研究目標(biāo)與變量，以保證研究的邏輯清晰與可操作性。同時(shí)，運(yùn)用多種數(shù)據(jù)來(lái)源及收集手段，增加數(shù)據(jù)的多樣性和代表性，避免單一數(shù)據(jù)源可能帶來(lái)的片面性。通過(guò)詳盡的研究日志、數(shù)據(jù)收集分析流程的描述，以及清晰的研究結(jié)果可視化呈現(xiàn)，有助于研究成果的廣泛傳播。兩種方法折中一下，我們將7086個(gè)數(shù)據(jù)分為10組，分別提取他們的9個(gè)統(tǒng)計(jì)學(xué)特征，最后再加上整體的9個(gè)統(tǒng)計(jì)學(xué)特征，一共是10＊9+9=99個(gè)特征作為結(jié)點(diǎn)特征(夏家輝,許美琳,2020)。第三種：已有研究表明，腦電信號(hào)在不同頻率的波段表現(xiàn)不同，相應(yīng)地，情緒變化也不同，因此我們考慮提取頻域特征作為結(jié)點(diǎn)特征。根據(jù)這種情形我們先以一個(gè)腦電通道為例，首先對(duì)8064個(gè)采樣點(diǎn)的數(shù)據(jù)采用FFT得到頻域數(shù)據(jù)，將頻域中的8064個(gè)數(shù)據(jù)分為5個(gè)不同的頻段，定義一個(gè)window-size為256，由于采樣頻率為128Hz，所以時(shí)間窗為2s。定義步長(zhǎng)為16即0.125s，每向前滑動(dòng)0.125s，取前方2s處的數(shù)據(jù)作為結(jié)點(diǎn)特征。原始數(shù)據(jù)中的63秒要減去2s的時(shí)間窗變?yōu)?1s，由于步長(zhǎng)是0.128s，所以1s內(nèi)可以向前滑動(dòng)8次，而且數(shù)據(jù)被分成了5個(gè)頻段，一個(gè)通道最終得到的數(shù)據(jù)量是61＊8＊5=2440個(gè)。每個(gè)通道的結(jié)點(diǎn)特征提取方法一致(侯俊松,呂秀梅,2019)。第三步，提取邊和邊特征并構(gòu)建鄰接矩陣。我們采用兩種方法來(lái)構(gòu)建鄰接矩陣。第一種:創(chuàng)建一個(gè)32*32的矩陣，里面所有的數(shù)都代表32個(gè)腦電通道兩兩之間的距離。設(shè)定閾值為0.7，在此情景內(nèi)發(fā)生當(dāng)某一個(gè)數(shù)小于這個(gè)閾值時(shí)，就認(rèn)為這個(gè)數(shù)值所在的行和列代表兩個(gè)腦電通道是彼此相連的，在這場(chǎng)景里此時(shí)他們的關(guān)聯(lián)性也越強(qiáng)(唐維翰,莫曉萱,2022)。矩陣的對(duì)角線上旳值代表某個(gè)通道與自身的關(guān)聯(lián)性，因此對(duì)角線上的值應(yīng)該全部為1，即關(guān)聯(lián)性最強(qiáng)。我們將鄰接矩陣中有關(guān)系的通道定義為邊，矩陣中的每一個(gè)值定義為邊特征。第二種:采用皮爾森相關(guān)系數(shù)計(jì)算兩兩通道的相關(guān)性從而構(gòu)建鄰接矩陣。具體地，我們通過(guò)調(diào)用corrcoef()函數(shù)來(lái)計(jì)算皮爾森相關(guān)系數(shù)，再確定閾值為0.5，當(dāng)兩通道之間的皮爾森相關(guān)系數(shù)大于0.5時(shí)我們認(rèn)為兩通道具有相關(guān)性，邊和邊特征的定義與方法一相同(唐維翰,莫曉萱,2022)。上述三個(gè)步驟選好了節(jié)點(diǎn)，節(jié)點(diǎn)特征，邊和邊特征。也就是說(shuō)已經(jīng)具備了圖的四個(gè)基本要素。接下來(lái)就要利用PyTorchgeometric庫(kù)的torch_geometric.data.Data數(shù)據(jù)類，一個(gè)Data對(duì)象常用的屬性包括四部分，data.x:代表節(jié)點(diǎn)的特征矩陣。data.edge_index：在這類環(huán)境里探討一般是由COO格式存儲(chǔ)的邊，是一個(gè)2*n的矩陣，n為邊數(shù)，第一行為邊的起點(diǎn)，第二行為邊的終點(diǎn)。data.edge_attr：邊特征矩陣，用來(lái)存儲(chǔ)邊特征。data.y:存儲(chǔ)目標(biāo)labels。本章小結(jié)本章首先介紹了所用信號(hào)的背景知識(shí)，然后對(duì)特征提取所運(yùn)用的理論知識(shí)作了說(shuō)明，最后詳細(xì)闡述了特征提取的準(zhǔn)備工作、注意事項(xiàng)和特征提取用到的幾種方法。

情緒識(shí)別理論知識(shí)現(xiàn)存情緒識(shí)別的方法經(jīng)典的機(jī)器學(xué)習(xí)方法主要利用大量的實(shí)驗(yàn)數(shù)據(jù)來(lái)優(yōu)化算法，需要在特征提取后使用分類器進(jìn)行情緒識(shí)別，在這種情況里展開(kāi)而最近幾年興起的深度學(xué)習(xí)方法是機(jī)器學(xué)習(xí)方法的一個(gè)變種，可以將原始信號(hào)直接輸入網(wǎng)絡(luò)模型中，實(shí)現(xiàn)了端到端的學(xué)習(xí)模式(宋一帆,蘇婉婷,2023)。目前提出的深度學(xué)習(xí)方法主要包括自動(dòng)編碼器和各種網(wǎng)絡(luò)。本論文中采用了GCN輔以LSTM來(lái)完成工作。GCN以前的卷積神經(jīng)網(wǎng)絡(luò)只能解決歐式空間中的問(wèn)題，例如文本、語(yǔ)音等常見(jiàn)的具有規(guī)則空間排列結(jié)構(gòu)的數(shù)據(jù)，但是在日常的數(shù)據(jù)處理中，存在著大量非歐式空間的信息，例如電商交易中的各類信息和社交網(wǎng)絡(luò)中復(fù)雜的人際關(guān)系(楊宏宇,胡冰清,2021)。通過(guò)觀察可以發(fā)現(xiàn)，這些不規(guī)則的信息同時(shí)具有點(diǎn)特征和結(jié)構(gòu)特征，從中不難發(fā)現(xiàn)以社交網(wǎng)絡(luò)為例，每個(gè)人都有自己的愛(ài)好、性格、職業(yè)等獨(dú)有信息，也有與其他人之間的聯(lián)系這種共有信息，這與圖結(jié)構(gòu)的定義相吻合(吳志剛,周敏華,2020)。本研究得出的結(jié)論與張福含、蘇天等學(xué)者的研究相吻合，這進(jìn)一步證明了本研究方法論與理論框架的同行支持，提升了結(jié)論的可靠性和有效性。張福含與蘇天等人在該領(lǐng)域享有較高聲譽(yù)，本研究與其結(jié)論的一致性表明了所采用的研究方法和數(shù)據(jù)分析手段在探索類似問(wèn)題時(shí)具有一定的普遍性和科學(xué)性。這一一致性增強(qiáng)了相關(guān)領(lǐng)域現(xiàn)有理論體系的穩(wěn)定性。這種跨研究的共識(shí)對(duì)于鞏固和深化本研究對(duì)該領(lǐng)域的理解，推動(dòng)后續(xù)理論發(fā)展以及跨地域、跨文化研究具有重要影響，有助于形成更全面、系統(tǒng)的知識(shí)框架。因此有學(xué)者提出了一種新的變體:圖卷積神經(jīng)網(wǎng)絡(luò)，解決了非歐式空間信息無(wú)法處理的難題。圖卷積神經(jīng)網(wǎng)絡(luò)從維度上可以分為兩種：一類是頻域又可以稱作譜域，還有一類就是空間域的圖卷積。本論文中使用的是空間域的圖卷積神經(jīng)網(wǎng)絡(luò)。它是一種改良版本。從它的前身開(kāi)始講起，GNN的實(shí)現(xiàn)流程是聚合、更新和循環(huán)。以圖4.1為例，A結(jié)點(diǎn)的特征不僅包括自身的特征，還包括與它的鄰居結(jié)點(diǎn)之間的關(guān)系特征，聚合是指將鄰居結(jié)點(diǎn)的特征按照與目標(biāo)結(jié)點(diǎn)之間關(guān)系的密切程度以某種計(jì)算方式折算到目標(biāo)結(jié)點(diǎn)的總特征中。從這些因素可以推測(cè)聚合之后，A結(jié)點(diǎn)的特征由原來(lái)的自身特征更新為復(fù)合特征。根據(jù)需要，我們可以進(jìn)行N層GNN操作，也就是循環(huán)(鄭風(fēng)亮,宋雨涵,2019)。在GNN中遺留的問(wèn)題是聚合環(huán)節(jié)中兩個(gè)結(jié)點(diǎn)之間的密切程度的計(jì)算方法，GCN解決了這個(gè)問(wèn)題。該結(jié)果與預(yù)期一致，且與前輩構(gòu)建的成熟架構(gòu)基本吻合，本文不僅驗(yàn)證了階段性研究成果的實(shí)效性，還進(jìn)一步穩(wěn)固了該領(lǐng)域的理論根基。這一發(fā)現(xiàn)為本文的基礎(chǔ)研究提供了強(qiáng)有力的實(shí)證依據(jù)，也彰顯了已有理論框架的廣泛適用性和穩(wěn)定性。通過(guò)對(duì)比分析，當(dāng)前研究中的數(shù)據(jù)點(diǎn)與先前文獻(xiàn)的關(guān)鍵結(jié)論相呼應(yīng)，加深了本文對(duì)該領(lǐng)域內(nèi)在機(jī)理的理解，為后續(xù)研究者在此基礎(chǔ)上進(jìn)行更深入的挖掘和創(chuàng)新打開(kāi)了大門。此外，結(jié)果的一致性還意味著本文在方法論上的選擇是恰當(dāng)?shù)模瑸楹罄m(xù)類似方法的研究樹(shù)立了典范。若聚合選擇平均聚合，形象地來(lái)說(shuō)，朋友們的平均工資就是我們的工資，但如果我們只認(rèn)識(shí)馬云，他的工資水平必然比我們高出許多倍，GCN基于平均法添加了度的限制作用去避免這種誤差的產(chǎn)生(馮子淳,梁雪晴,2022)。根據(jù)這種情形度是指與目標(biāo)結(jié)點(diǎn)通過(guò)一條邊直接連起來(lái)的結(jié)點(diǎn)數(shù)。以圖4.2為例，A結(jié)點(diǎn)的鄰居節(jié)點(diǎn)只有B結(jié)點(diǎn)，A的度為1，B的度為10，按照公式4.1即GCN的表達(dá)式，根號(hào)下的第一個(gè)量代表A的度，第二個(gè)代表B的度，B對(duì)于A造成的影響不至于太大。 Y=j(1,1,1,1)(1,1,1,1)(4,4,4,4)DCEAB(2,2,2,2)(3,3,3,3)(5,5,5,5)圖4.1圖4.2LSTM普通的神經(jīng)網(wǎng)絡(luò)只能處理單個(gè)沒(méi)有關(guān)聯(lián)的數(shù)據(jù)，當(dāng)輸入是序列數(shù)據(jù)即輸入之間存在某種關(guān)聯(lián)時(shí)，可以用循環(huán)神經(jīng)網(wǎng)絡(luò)RNN來(lái)處理，然而RNN存在兩個(gè)問(wèn)題。首先，RNN在結(jié)構(gòu)上是共享了輸入的數(shù)據(jù)和權(quán)值，處在這個(gè)局面下很容易出現(xiàn)剃度爆炸和消失的問(wèn)題(蔣安邦,謝詩(shī)雅,2023)；其次，當(dāng)兩個(gè)有關(guān)聯(lián)的數(shù)據(jù)之間的距離較遠(yuǎn)時(shí)，RNN無(wú)法很好地處理它們之間的關(guān)聯(lián)性。為了解決長(zhǎng)距離的序列數(shù)據(jù)的處理問(wèn)題，學(xué)者們提出了LSTM，主要通過(guò)激活函數(shù)來(lái)控制長(zhǎng)距離序列中數(shù)據(jù)之間的關(guān)聯(lián)性的記憶和遺忘。LSTM的具體結(jié)構(gòu)如圖4.3所示。圖4.3識(shí)別過(guò)程圖卷積神經(jīng)網(wǎng)絡(luò)模型由于我們?cè)趯?duì)數(shù)據(jù)進(jìn)行特征提取時(shí)考慮了時(shí)域、頻域和空間域特征，因此針對(duì)三種特征構(gòu)建的模型也略有不同(褚云濤,潘夢(mèng)琪,2021)?？偟膩?lái)說(shuō)，本論文構(gòu)建的圖卷積神經(jīng)網(wǎng)絡(luò)模型都是由4個(gè)模塊組成，結(jié)構(gòu)如圖4.4所示。圖4.4當(dāng)輸入的結(jié)點(diǎn)特征采用第一種方法時(shí)，第一層的輸入通道輸入數(shù)據(jù)為32＊7680，這些數(shù)據(jù)進(jìn)入到圖卷積層完成了特征提取，圖卷積層之后會(huì)加一個(gè)relu函數(shù)，relu函數(shù)有一個(gè)與它的功能相符合的別名(呂智強(qiáng),魏欣怡,2020):線性修正單元，加入該函數(shù)使模型能夠更好地?cái)M合數(shù)據(jù)，顯著提高模型訓(xùn)練中的梯度下降算法的運(yùn)算速度。由于數(shù)據(jù)較少，容易發(fā)生過(guò)擬合，這時(shí)候需要添加一層dropout，將參數(shù)設(shè)置為0.3。為保障上述結(jié)論的可靠性，本論文從多個(gè)層面進(jìn)行了深入的探討與核實(shí)。我們采用了多種渠道的高質(zhì)量數(shù)據(jù)，并通過(guò)嚴(yán)格的篩選與整理步驟，確保了數(shù)據(jù)的準(zhǔn)確性與信賴度。這些數(shù)據(jù)涉及多種變量和影響因素，為研究的綜合分析提供了穩(wěn)固的基礎(chǔ)。在研究方法方面，本文運(yùn)用了多種先進(jìn)的統(tǒng)計(jì)與分析技術(shù)，旨在全面且公正地評(píng)估所研究的問(wèn)題，從不同角度揭示數(shù)據(jù)所隱藏的規(guī)律和關(guān)系。通過(guò)綜合這些方法，我們得以更深入地理解所研究現(xiàn)象的本質(zhì)機(jī)理。這時(shí)的數(shù)據(jù)變成了32＊5000。之后是全局池化層，在此情景內(nèi)發(fā)生對(duì)上一層輸出的特征進(jìn)行分類和篩選，在本論文中，池化的對(duì)象包括圖和結(jié)點(diǎn)(陶哲瀚,葉慧玲,2019)。經(jīng)過(guò)全局池化后，數(shù)據(jù)變?yōu)?＊5000。由于我們使用的是基于時(shí)間序列的結(jié)點(diǎn)特征，所以下一層使用LSTM來(lái)對(duì)信息進(jìn)行運(yùn)算。在這場(chǎng)景里最后經(jīng)過(guò)全連接層，變?yōu)橐粋€(gè)1＊1的預(yù)測(cè)值。當(dāng)輸入另外兩種類型的特征時(shí)，只是參數(shù)有所不同。模型的訓(xùn)練過(guò)程由DEAP數(shù)據(jù)處理得到的圖結(jié)構(gòu)作為模型的輸入量，并設(shè)置好訓(xùn)練提前停止。本論文中，將前面提到三種結(jié)點(diǎn)特征，兩種邊特征兩兩搭配得到共六種組合，第一種組合針對(duì)四個(gè)維度訓(xùn)練出四種模型進(jìn)行擬合(溫慶霖,曾若蘭,2022)。圖4.5-4.8所示為以時(shí)間序列的腦電信號(hào)作為結(jié)點(diǎn)特征，皮爾森相關(guān)系數(shù)作為邊特征時(shí)四個(gè)維度的loss和acc的變化情況。Loss,acc,epoch,batch-size圖4.5valence維度Loss,acc,epoch,batch-size圖4.6arousal維度圖4.7dominance維度圖4.8liking維度為了節(jié)省運(yùn)算時(shí)間，其余的五種組合我們只訓(xùn)練valence維度上的神經(jīng)網(wǎng)絡(luò)模型。選取時(shí)間序列的腦電信號(hào)作為節(jié)點(diǎn)特征時(shí)，距離作為邊特征時(shí)，生成的準(zhǔn)確率如圖4.9所示。圖4.9valenceacc2提取時(shí)間序列的腦電信號(hào)的統(tǒng)計(jì)特征作為節(jié)點(diǎn)特征時(shí)，在這類環(huán)境里探討距離作為邊特征時(shí)，生成的準(zhǔn)確率圖像如圖4.10所示。圖4.10valenceacc3提取時(shí)間序列的腦電信號(hào)的統(tǒng)計(jì)特征作為節(jié)點(diǎn)特征時(shí)，皮爾遜系數(shù)作為邊特征時(shí)，生成的準(zhǔn)確率圖像如圖4.11所示。圖4.11valenceacc4選取腦電頻域特征作為節(jié)點(diǎn)特征時(shí)，距離作為邊特征時(shí)，生成的準(zhǔn)確率圖像如圖4.12所示。圖4.12valenceacc5選取腦電頻域特征作為節(jié)點(diǎn)特征時(shí)，皮爾遜系數(shù)作為邊特征時(shí)，生成的準(zhǔn)確率圖像如圖4.13所示。圖4.13valenceacc6本章小結(jié)本章在理論知識(shí)部分首先歸納了目前存在的情緒識(shí)別方法，然后介紹了圖卷積神經(jīng)網(wǎng)絡(luò)產(chǎn)生的背景和內(nèi)在的邏輯，其次概述了長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的意義。在實(shí)驗(yàn)部分，先后闡述了圖卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)搭建和訓(xùn)練過(guò)程。結(jié)果與分析交叉驗(yàn)證建模之前首先需要把DEAP的數(shù)據(jù)集進(jìn)行劃分，訓(xùn)練集用來(lái)訓(xùn)練一個(gè)模型，所以要占最大的比重(薛宇峰,馬思敏,2021)。驗(yàn)證集用來(lái)尋找模型的最優(yōu)配置參數(shù)，當(dāng)模型的性能達(dá)到最優(yōu)時(shí)，需要一個(gè)全新的數(shù)據(jù)集去測(cè)試模型的性能是否可以達(dá)到預(yù)期效果，即測(cè)試集只在最終評(píng)價(jià)模型時(shí)出現(xiàn)。驗(yàn)證集要使用很多次，在這種情況里展開(kāi)用來(lái)調(diào)節(jié)超參數(shù)、監(jiān)督過(guò)擬合行為的發(fā)生，與模型最終的性能息息相關(guān)，而測(cè)試集只作為一個(gè)評(píng)估的工具，與模型的最終性能無(wú)關(guān)。如果把這三種數(shù)據(jù)集比作考試，訓(xùn)練集可以看成放學(xué)后的課后習(xí)題練習(xí)，驗(yàn)證集可以看成每周的周考測(cè)試，測(cè)試集可以看成期末考試。交叉驗(yàn)證的本質(zhì)目的就是提高模型的準(zhǔn)確率。從中不難發(fā)現(xiàn)它主要的功能是把所有數(shù)據(jù)分成不同的數(shù)據(jù)組合，并對(duì)模型進(jìn)行驗(yàn)證。有著操作容易，且能有效的預(yù)防過(guò)擬合的優(yōu)點(diǎn)。過(guò)擬合的模型對(duì)于新添加的數(shù)據(jù)的適應(yīng)能力較差，不利于在全新的環(huán)境中使用。還可以提高對(duì)數(shù)據(jù)的利用率，從這些因素可以推測(cè)它通過(guò)多種不同的拆分方案，可以對(duì)數(shù)據(jù)更有效的利用。在分析干擾項(xiàng)與誤差來(lái)源的過(guò)程中，本文進(jìn)行了詳盡而系統(tǒng)的研究。初步識(shí)別了可能對(duì)研究結(jié)果產(chǎn)生顯著影響的干擾因素，包括樣本偏差、數(shù)據(jù)誤差、遺漏變量以及時(shí)間延遲等。針對(duì)這些潛在干擾因素，本文進(jìn)行了深入的探討，并嘗試通過(guò)理論推導(dǎo)與實(shí)證分析來(lái)量化其影響程度。為了控制樣本偏差，本文注重提升樣本的代表性和廣泛性，并通過(guò)專家咨詢來(lái)評(píng)估樣本選擇對(duì)結(jié)論可靠性的影響，力求全面考慮可能影響研究結(jié)果的各項(xiàng)因素。簡(jiǎn)單交叉驗(yàn)證就是最常見(jiàn)的方法(林梓浩,袁子琪,2021)。S-折交叉驗(yàn)證是把數(shù)據(jù)分為相同大小的s份，每次都會(huì)隨機(jī)選擇一份來(lái)作為驗(yàn)證集，其他的作為訓(xùn)練集。不斷重復(fù)上述過(guò)程，設(shè)置好停止條件得到效果最好的模型。留一交叉驗(yàn)證法是第二種方法的特例，就是把數(shù)據(jù)分的份數(shù)最多，每份數(shù)據(jù)量最小的情況，即S=N。Bootstrapping是運(yùn)用了概率學(xué)的知識(shí)，最終的數(shù)據(jù)集中可能有的數(shù)據(jù)會(huì)重復(fù)，有的數(shù)據(jù)會(huì)遺失。通過(guò)概率知識(shí)，大概會(huì)有36%的數(shù)據(jù)會(huì)缺失。雖然避免了過(guò)擬合，但是由于數(shù)據(jù)的缺失量過(guò)大，極少使用該方法。本論文中通過(guò)調(diào)用sklearn中的train_test_split()函數(shù)來(lái)實(shí)現(xiàn)簡(jiǎn)單交叉驗(yàn)證。評(píng)估指標(biāo)本論文中使用分類問(wèn)題的評(píng)估指標(biāo)。對(duì)于分類問(wèn)題，又可以劃分為單項(xiàng)和綜合的評(píng)估指標(biāo)。由于評(píng)估指標(biāo)要基于混淆矩陣來(lái)定義，所以我們先來(lái)了解一下混淆矩陣的概念?；煜仃嚦Ｓ糜诰葴y(cè)試，較為經(jīng)典的是“性別判斷”這問(wèn)題，模型的輸出總共有以下四種情況(李博,王浩淼,2022):實(shí)際性別是男性，且模型預(yù)測(cè)結(jié)果是男性；根據(jù)現(xiàn)有背景實(shí)際性別是男性，且模型預(yù)測(cè)結(jié)果是女性；實(shí)際性別是女性，且模型預(yù)測(cè)出來(lái)是女性；實(shí)際性別是女性，且模型預(yù)測(cè)結(jié)果是男性。這四種情形分別表示為TP，F(xiàn)P，F(xiàn)N，TN。準(zhǔn)確度的計(jì)算方法見(jiàn)下面的公式。這個(gè)指標(biāo)雖然最為常用，但本身存在著漏洞。如果某一類樣本占比特別大，當(dāng)我們將所有樣本的預(yù)測(cè)值采用統(tǒng)一結(jié)果，即將預(yù)測(cè)結(jié)果全部設(shè)為為占比大的那類樣本，那么準(zhǔn)確率也會(huì)特別大，這種樣本失衡會(huì)導(dǎo)致準(zhǔn)確率作廢(張偉明,陳靜嫻,2020)。 ACC=TP+TNTP+TN+FP+FN精確率表示的是所有預(yù)測(cè)為男性的結(jié)果中，實(shí)際為男性的樣本所占的比重。 P=TPTP+FP召回率表示實(shí)際為男性的樣本中預(yù)測(cè)結(jié)果也是男性的樣本所占的比重。 R=TPTP+FN本論文中采用準(zhǔn)確度ACC作為模型的評(píng)估指標(biāo)，對(duì)于分類問(wèn)題的三個(gè)綜合評(píng)估指標(biāo)此處不再贅述。實(shí)驗(yàn)結(jié)果分析首先針對(duì)采用相同的結(jié)點(diǎn)特征和邊特征的四個(gè)維度的準(zhǔn)確率進(jìn)行對(duì)比，以時(shí)間序列的腦電信號(hào)為結(jié)點(diǎn)特征，處在這個(gè)局面下皮爾森相關(guān)系數(shù)為邊特征訓(xùn)練出來(lái)的網(wǎng)絡(luò)模型，喚醒度的準(zhǔn)確率為75%，效價(jià)的準(zhǔn)確率為83%，支配度的準(zhǔn)確率為78%，喜愛(ài)度的準(zhǔn)確率為72%，顯而易見(jiàn)，該模型在效價(jià)維度上的準(zhǔn)確率最高(劉建平,楊柳青,2021)。之后對(duì)六種特征組合訓(xùn)練出的模型在同一維度即效價(jià)維度上的準(zhǔn)確率的對(duì)比進(jìn)行分析。表5.1為實(shí)驗(yàn)結(jié)果。當(dāng)結(jié)點(diǎn)特征為定值時(shí)，可以看出以皮爾森相關(guān)系數(shù)作為邊特征得到的情緒識(shí)別準(zhǔn)確率更高，在此情景內(nèi)發(fā)生因此我們可以得出結(jié)論:兩通道之間的皮爾森相關(guān)系數(shù)比它們之間的距離更適合用來(lái)衡量?jī)赏ǖ赖南嚓P(guān)性(趙啟超,孫麗娜,2019)；當(dāng)邊特征不變時(shí)，使用不同結(jié)點(diǎn)特征得到的識(shí)別準(zhǔn)確率的關(guān)系是:時(shí)間序列的腦電特征<腦電的統(tǒng)計(jì)學(xué)特征<頻域特征，其中以頻域特征作為結(jié)點(diǎn)特征更容易獲得較高的準(zhǔn)確率?？偠灾?，邊特征和結(jié)點(diǎn)特征的選取與基于EEG信號(hào)的情緒識(shí)別的準(zhǔn)確率直接相關(guān)。節(jié)點(diǎn)特征邊特征時(shí)間序列統(tǒng)計(jì)學(xué)特征頻域特征距離73.23%76.45%92.53%皮爾森相關(guān)系數(shù)75.12%83.03%93.21%表5.15.4本章小結(jié)本章首先介紹了交叉驗(yàn)證的含義以及交叉驗(yàn)證的類型和優(yōu)缺點(diǎn)，而后選用了簡(jiǎn)單交叉驗(yàn)證來(lái)提高模型的準(zhǔn)確率。其次說(shuō)明了模型評(píng)估指標(biāo)的選擇。最后對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了詳細(xì)的分析并得出了一些結(jié)論。

總結(jié)與展望總結(jié)本論文基于DEAP的數(shù)據(jù)完成了情緒識(shí)別的工作，并取得了較高的識(shí)別率。以下是本論文的工作總結(jié):圖卷積神經(jīng)網(wǎng)絡(luò)在情緒識(shí)別領(lǐng)域的普適性更強(qiáng)，而處理數(shù)據(jù)時(shí)LSTM在長(zhǎng)序列中表現(xiàn)更好，因此本論文確定使用圖卷積神經(jīng)網(wǎng)絡(luò)結(jié)合LSTM構(gòu)建情緒識(shí)別的模型。根據(jù)腦電信號(hào)的特點(diǎn)選取了時(shí)域、頻域和空間域三個(gè)維度的特征，其中使用傅里葉變換來(lái)進(jìn)行時(shí)頻轉(zhuǎn)換。在這類環(huán)境里探討圖卷積神經(jīng)網(wǎng)絡(luò)模型的輸入必須是圖結(jié)構(gòu)，因此提取出原始數(shù)據(jù)中圖結(jié)構(gòu)的四個(gè)要素，并設(shè)計(jì)了不同的實(shí)施方法。搭建神經(jīng)網(wǎng)絡(luò)模型，然后設(shè)置好參數(shù)，將三種點(diǎn)特征，兩種邊特征兩兩搭配得到六種組合，得到組合一的四個(gè)維度的模型在loss和acc上的變化情況。之后的五個(gè)組合分別只訓(xùn)練效價(jià)維度上的模型，得到它們的準(zhǔn)確率的變化圖像。采用簡(jiǎn)單交叉驗(yàn)證來(lái)提高模型的準(zhǔn)確率，研究得到幾個(gè)結(jié)論:維度、結(jié)點(diǎn)特征和邊特征的選取都與識(shí)別的準(zhǔn)確率直接相關(guān)，其中：四個(gè)維度中效價(jià)維度上識(shí)別準(zhǔn)確率最高；兩種結(jié)點(diǎn)特征中選取皮爾森相關(guān)系數(shù)更容易獲得較高的識(shí)別準(zhǔn)確率；對(duì)時(shí)域特征進(jìn)行處理得到的特征比起原始特征可以得到更精確的結(jié)果，而頻域特征比時(shí)域特征的識(shí)別效果更好。展望雖然本論文以頻域特征為結(jié)點(diǎn)特征，皮爾森相關(guān)系數(shù)為邊特征識(shí)別情緒的準(zhǔn)確率達(dá)到了90%以上，但是整個(gè)實(shí)施流程并不是最優(yōu)的方案。還可以改進(jìn)的地方有:在處理長(zhǎng)序列數(shù)據(jù)的網(wǎng)絡(luò)的選取上，我們可以考慮用GRU代替LSTM，GRU是最近幾年提出的循環(huán)神經(jīng)網(wǎng)絡(luò)的一個(gè)變種，它不僅兼容了LSTM的優(yōu)點(diǎn)，還比LSTM的參數(shù)更少，執(zhí)行效率更高。在特征提取上，可以嘗試采用微分熵作為頻域特征或許能得到更高的準(zhǔn)確率。參考文獻(xiàn)方瑤瑤,蔡俊杰等.基于灰色關(guān)聯(lián)法的生理信號(hào)與情緒關(guān)聯(lián)度研究[J].計(jì)算機(jī)工程與應(yīng)用,2022,57(11):168-172.杜浩宇,田靈兒等.基于3D分層卷積融合的多模態(tài)生理信號(hào)情緒識(shí)別[J].智能科學(xué)與技術(shù)學(xué)報(bào),2023,3(01):76-84.林梓浩,袁子琪.基于心電和脈搏信號(hào)的情緒