基于機(jī)器學(xué)習(xí)的蒸發(fā)波導(dǎo)預(yù)測研究目錄人工智能及其發(fā)展深度學(xué)習(xí)基本知識基于機(jī)器學(xué)習(xí)的蒸發(fā)波導(dǎo)預(yù)測研究1.人工智能及其發(fā)展人工智能概念的提出1956年，幾個計(jì)算機(jī)科學(xué)家相聚在達(dá)特茅斯會議，提出“人工智能”概念什么是智能人工智能像人一樣思考有頭腦的機(jī)器(Haugeland,1985)合理地思考使感知、推理和行動成為可能的計(jì)算(Winston，1992)像人一樣行動研究如何使計(jì)算機(jī)能做那些目前人比計(jì)算機(jī)更擅長的事情(Rich和Knight,1991)合理地行動計(jì)算智能以及研究智能Agent的設(shè)計(jì)(Poole等人,1998)機(jī)器學(xué)習(xí)：一種實(shí)現(xiàn)智能的方式機(jī)器學(xué)習(xí)最基本的做法，是使用算法來解析數(shù)據(jù)、從中學(xué)習(xí)，然后對真實(shí)世界中的事件做出決策和預(yù)測。與傳統(tǒng)方法不同，機(jī)器學(xué)習(xí)是用大量的數(shù)據(jù)來“訓(xùn)練”，通過各種算法從數(shù)據(jù)中學(xué)習(xí)如何完成任務(wù)。機(jī)器學(xué)習(xí)直接來源于早期的人工智能領(lǐng)域，傳統(tǒng)的算法包括決策樹、聚類、貝葉斯分類、支持向量機(jī)等等。從學(xué)習(xí)方法上來分，機(jī)器學(xué)習(xí)算法可以分為監(jiān)督學(xué)習(xí)（如分類問題）、無監(jiān)督學(xué)習(xí)（如聚類問題）、半監(jiān)督學(xué)習(xí)、集成學(xué)習(xí)、深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)應(yīng)用：指紋識別、人臉識別深度學(xué)習(xí)：一種實(shí)現(xiàn)機(jī)器學(xué)習(xí)的技術(shù)深度學(xué)習(xí)本質(zhì)上是基于機(jī)器學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)而來，其基本思路是采用多層神經(jīng)網(wǎng)絡(luò)加強(qiáng)擬合能力。2006年以后，隨著互聯(lián)網(wǎng)數(shù)據(jù)量級指數(shù)級發(fā)展、結(jié)合GPU計(jì)算能力的發(fā)展以及對神經(jīng)網(wǎng)絡(luò)領(lǐng)域努力研究的學(xué)者的共同作用下，深度學(xué)習(xí)重新進(jìn)入人們的視野。應(yīng)用：語音識別、自然語言處理、機(jī)器視覺三者的區(qū)別和聯(lián)系人工智能機(jī)器學(xué)習(xí)深度學(xué)習(xí)人工智能：創(chuàng)造一種可以理解和模擬人類智能和智能行為及其規(guī)律的機(jī)器（Knowledge

Bases）機(jī)器學(xué)習(xí)：人工智能的一個分支，也是現(xiàn)階段人工智能研究的主要手段之一。它致力于研究如何通過計(jì)算的手段，利用經(jīng)驗(yàn)來改善系統(tǒng)自身的性能（Support

Vector

Machine）深度學(xué)習(xí)：機(jī)器學(xué)習(xí)的一個子類，通過多個隱藏層達(dá)到深度的效果，可以更好地提取特征并進(jìn)行學(xué)習(xí)（Mutilayer

perceptron）機(jī)器學(xué)習(xí)方法可作為海洋大數(shù)據(jù)分析的有力手段傳統(tǒng)研究海洋科學(xué)的方法是通過對具體過程如：潮汐、洋流、波浪等進(jìn)行物理背景的研究，建立相應(yīng)的物理模型。海洋大數(shù)據(jù)本身就蘊(yùn)含了足夠多的物理過程的信息與規(guī)律，通過數(shù)據(jù)科學(xué)手段如機(jī)器學(xué)習(xí)、深度學(xué)習(xí)，可以從海量數(shù)據(jù)中提取潛在規(guī)律。隨著數(shù)據(jù)科學(xué)理論的進(jìn)步，由數(shù)據(jù)驅(qū)動的海洋科學(xué)研究將會蓬勃發(fā)展2.深度學(xué)習(xí)基本概念神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)組合函數(shù)(Combination

Function)在輸入層之后的網(wǎng)絡(luò)里，每個神經(jīng)元的功能都是將上一層產(chǎn)生的向量通過自身的函數(shù)生成一個標(biāo)量值，這個標(biāo)量值就成為下一層神經(jīng)元的網(wǎng)絡(luò)輸入變量。這種在網(wǎng)絡(luò)中間將向量映射為標(biāo)量的函數(shù)就被稱為組合函數(shù)。常用的組合函數(shù)包括線性組合函數(shù)、基于歐式空間距離的函數(shù)等。激活函數(shù)(Activation

Function)大多數(shù)神經(jīng)元都將一維向量的網(wǎng)絡(luò)輸入變量通過一個函數(shù)映射為另外一個一維向量的數(shù)值，這個函數(shù)稱為激活函數(shù)，其產(chǎn)生的值就被稱為激活狀態(tài)。除了輸出層外，這些激活函數(shù)通常將一個實(shí)數(shù)域上的值映射到一個有限域中，因此也被稱為“坍縮函數(shù)”激活函數(shù)的作用是為網(wǎng)絡(luò)引入非線性變化來增強(qiáng)其函數(shù)表達(dá)能力。常用激活函數(shù)有ReLu、Logistic

Sigmoid、雙曲正切函數(shù)等(1)(2)(3)Logistic

Sigmoid函數(shù)與雙曲正切函數(shù)在網(wǎng)絡(luò)層數(shù)較多時，會出現(xiàn)梯度消失現(xiàn)象。ReLU易于優(yōu)化，當(dāng)其處于激活狀態(tài)時，可以保持較大導(dǎo)數(shù)值和梯度，可防止梯度消失現(xiàn)象。輸出層激活函數(shù)（也稱輸出單元）的選擇對于雙取值因變量，常選Logistic函數(shù)對于多取值離散因變量，常選softmax函數(shù)對于有有限值域的連續(xù)因變量，logistic和tanh函數(shù)均可選擇對于無限制值域（或有限值域但邊界未知）的連續(xù)因變量，常選線性函數(shù)(1)為Logistic

Sigmoid函數(shù)；(2)為雙曲正切函數(shù)；(3)為Rectified

Linear

Unit(ReLU)誤差函數(shù)(Loss

Function)監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)中都需要一個函數(shù)來測度模型輸出值和真實(shí)的因變量值之間的差異，其差異一般稱為殘差或誤差。用于衡量此差異的函數(shù)被稱為誤差函數(shù)或損失函數(shù)。網(wǎng)絡(luò)的訓(xùn)練就是通過不斷調(diào)整網(wǎng)絡(luò)中神經(jīng)元之間的參數(shù)來盡可能減小損失函數(shù)。常用的損失函數(shù)：均方差：常用于實(shí)數(shù)域連續(xù)變量的回歸問題交叉熵?fù)p失（Cross-Entropy）：常用于分類問題，還可細(xì)分為二分類交叉熵和多分類交叉熵優(yōu)化指的是改變網(wǎng)絡(luò)參數(shù)以最小化損失函數(shù)的任務(wù)，深度學(xué)習(xí)中優(yōu)化方案都是基于梯度進(jìn)行的。假設(shè)存在函數(shù)y=f(x)，其中x和y都是實(shí)數(shù)，該函數(shù)的導(dǎo)數(shù)記為f'(x)，代表f(x)在點(diǎn)x處的斜率，即說明如何給輸入x的引入微小變化?可以使輸出進(jìn)行相應(yīng)改變：f(x+?)≈f(x)+?f'(x)。因此導(dǎo)數(shù)可以指示如何更改x來減小損失函數(shù)y，即可以將x向?qū)?shù)的反方向移動一小步來減小f(x)，此方法被稱為梯度下降法（gradientdescent，GD）優(yōu)化方案機(jī)器學(xué)習(xí)算法中的損失函數(shù)通?？梢苑纸獬蓡蝹€樣本的損失函數(shù)之和，如訓(xùn)練數(shù)據(jù)的負(fù)對數(shù)似然可以寫成其中n是樣本總量，L是每個樣本的損失對于這些相加的損失函數(shù)，梯度下降法需要計(jì)算此運(yùn)算計(jì)算復(fù)雜度為O(n)，即隨著訓(xùn)練集規(guī)模不斷增長，計(jì)算每一步梯度的時間會越來越長隨機(jī)梯度下降法幾乎所有深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練都是基于隨機(jī)梯度下降法（stochasticgradient

descent,

SGD）或其衍生算法而進(jìn)行的，SGD源于GD。SGD的核心是，梯度是期望，而期望可以使用小規(guī)模的樣本近似估計(jì)。在該算法的每一步，從訓(xùn)練集中均勻抽取一組小批量（minibatch）樣本其中n'為該小批量樣本數(shù)目,通常為較小數(shù)值（從1至幾百）。當(dāng)訓(xùn)練集大小n增長時，n'通常是固定的。使用來自小批量B的樣本，梯度的估計(jì)可表示為:SGD算法使用的梯度下降估計(jì)：其中，?為學(xué)習(xí)率。自適應(yīng)學(xué)習(xí)率優(yōu)化方案使用SGD算法最大的困難在于選擇合適的學(xué)習(xí)率，不同的實(shí)際問題對應(yīng)了不同的學(xué)習(xí)率，而不恰當(dāng)?shù)膶W(xué)習(xí)率會影響算法的收斂速率，甚至導(dǎo)致算法被困在局部最小值點(diǎn)。由于手動設(shè)定學(xué)習(xí)率的局限性，自適應(yīng)學(xué)習(xí)率算法被提出，常用的自適應(yīng)學(xué)習(xí)率算法有AdaGrad算法、RMSProp算法和Adam算法等。3.基于機(jī)器學(xué)習(xí)的蒸發(fā)波導(dǎo)預(yù)測

大氣波導(dǎo)陷獲折射條件下，電磁波會部分地被捕獲在一定厚度的大氣薄層內(nèi)，經(jīng)上下氣層來回反射向前傳播，就像電磁波在金屬波導(dǎo)管中傳播一樣，這種現(xiàn)象稱為大氣波導(dǎo)傳播，形成波導(dǎo)傳播的大氣薄層稱為大氣波導(dǎo)。大氣波導(dǎo)外場觀測實(shí)驗(yàn)實(shí)驗(yàn)時間：

2013年3月至5月實(shí)驗(yàn)數(shù)據(jù)：基本氣象要素（海表溫度、10米處的大氣溫度、大氣濕度、大氣壓力、風(fēng)速）蒸發(fā)波導(dǎo)高度RMSEP-J8.71BYC9.15MGB18.19SCCP-J0.16BYC0.03MGB0.01P-J模型在我國南海地區(qū)適應(yīng)性最好一、蒸發(fā)波導(dǎo)生成機(jī)理及傳統(tǒng)預(yù)測模型研究支持向量回歸是Vapnik提出的一種機(jī)器學(xué)習(xí)算法核方法(Kernel)為了處理非線性樣本常用核函數(shù)：線性核徑向基函數(shù)（RBF）核二、基于支持向量回歸的蒸發(fā)波導(dǎo)預(yù)測模型研究SVR

P-J優(yōu)化方法SVR訓(xùn)練集：

為樣本特征，為樣本標(biāo)簽樣本特征xi樣本標(biāo)簽yiOriginalSVR實(shí)測氣象要素實(shí)測蒸發(fā)波導(dǎo)高度SVRP-J原始P-J模型輸出實(shí)測蒸發(fā)波導(dǎo)高度

SVR訓(xùn)練過程Original

SVR預(yù)測模型測試性能數(shù)據(jù)篩選

SVR訓(xùn)練過程SVR

P-J優(yōu)化模型測試性能不同區(qū)域的RMSE和SCC的對比SCS

GOERSSLNBBSCS

BACKRMSESVRP-J4.784.975.687.1410.39OriginalSVR6.294.805.527.6710.81OriginalP-J6.906.408.248.117.04SCCSVRP-J0.770.520.770.240.63OriginalSVR0.030.250.010.310.74OriginalP-J0.820.590.770.290.63除SCS

BACK外，SVR

P-J模型綜合表現(xiàn)最好三、基于多層感知機(jī)的蒸發(fā)波導(dǎo)預(yù)測模型研究多層感知機(jī)（Multilayer

Perception,

MLP)是一種前向結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，映射一組輸入向量到一組輸出向量，其本質(zhì)與傳統(tǒng)蒸發(fā)波導(dǎo)預(yù)測模型相同。多層感知機(jī)具有萬能近似性質(zhì)(Hornik

et

al.,

1989;Cybenko,

1989)MLP結(jié)構(gòu)示意圖萬能近似定理（universal

approximation

theorem）(Hornik

et

al.,

1989;Cybenko,

1989)表明：一個前饋神經(jīng)網(wǎng)絡(luò)如果具有線性輸出層和至少一層具有任何一種”擠壓”性質(zhì)的激活函數(shù)的隱藏層，只要給予網(wǎng)絡(luò)足夠的隱藏神經(jīng)元，它可以以任意的精度來近似任何從一個有限維空間到另一個有限維空間的Borel可測函數(shù)。萬能近似性質(zhì)與萬能近似定理

MLP訓(xùn)練過程SCS-MLP預(yù)測模型測試性能數(shù)據(jù)篩選

MLP訓(xùn)練過程MLP

P-J優(yōu)化模型測試性能SCS-MLP預(yù)測模型硬件配置：

NVIDIAGTX1080TiGPU*2深度學(xué)習(xí)框架：Keras網(wǎng)絡(luò)結(jié)構(gòu)及超參數(shù)：含有5個隱藏層的MLP神經(jīng)元個數(shù)分別為：50、30、20、10、5激活函數(shù)：ReLUBatch

size:20Epochs:500損失函數(shù)：MSE優(yōu)化方案：AdamMLP

P-J優(yōu)化模型硬件配置：NVIDIAGTX1080TiGPU*2深度學(xué)習(xí)框架：Keras網(wǎng)絡(luò)結(jié)構(gòu)及超參數(shù)：含有3個隱藏層的MLP神經(jīng)元個數(shù)分別為：20、10、5激活函數(shù)：ReLUBatch

size:20Epochs:300損失函數(shù)：MSE優(yōu)化方案：AdamSCS

GOERSSLNBBSCS

BACKRMSEMLPP-J0.802.481.142.222.18SCS-MLP0.780.830.471.271.79OriginalP-J6.906.408.248.117.04SCCMLPP-J0.660.450.700.220.55SCS-MLP0.700.500.750.470.77OriginalP-J0.820.590.770.290.63不同區(qū)域的RMSE和SCC的對比SCS-MLP模型綜合表現(xiàn)最好交叉學(xué)習(xí)結(jié)果Training

areaTest

areaSCS

GOERSSLNBBSCS

BACKSCS

Go-2.381.442.661.18ER1.37-0.660.400.61SSL1.530.