智能制造技術(shù)與工程應(yīng)用第八章智能制造先進(jìn)控制技術(shù)浙江省普通本科高?！奈濉攸c(diǎn)教材目錄2大數(shù)據(jù)Bigdata01云計(jì)算Cloudcomputing02機(jī)器學(xué)習(xí)Machinelearning03人工智能時(shí)代工業(yè)4.0時(shí)代即利用信息化技術(shù)促進(jìn)產(chǎn)業(yè)變革的時(shí)代，通常被稱為人工智能時(shí)代。其目的是以網(wǎng)絡(luò)實(shí)體系統(tǒng)及物聯(lián)網(wǎng)作為技術(shù)條件基礎(chǔ)來提升各大制造業(yè)的智能化水平，建立具有適應(yīng)性、資源效率及基因工程學(xué)的智慧工廠?！吨袊?guó)制造2025》作為中國(guó)實(shí)施制造強(qiáng)國(guó)戰(zhàn)略第一個(gè)十年行動(dòng)綱領(lǐng)，指出工業(yè)部門尤其是制造業(yè)需更加體現(xiàn)其創(chuàng)新驅(qū)動(dòng)和高端要素承載功能。將創(chuàng)新能力、質(zhì)量效益、兩化（工業(yè)化、信息化）融合，積極抓住新一輪科技革命和產(chǎn)業(yè)變革與我國(guó)加快轉(zhuǎn)變經(jīng)濟(jì)發(fā)展方式形成歷史性交匯，實(shí)施制造業(yè)強(qiáng)國(guó)戰(zhàn)略。大數(shù)據(jù)的歷史通過對(duì)大量文獻(xiàn)資料追蹤溯源，發(fā)現(xiàn)“大數(shù)據(jù)”這個(gè)詞最早出現(xiàn)在1980年的美國(guó)，著名的未來學(xué)家托夫勒在其所著的《第三次浪潮》中，將大數(shù)據(jù)熱情地稱頌為“第三次浪潮的華彩樂章”。在2008年9月，《自然》雜志推出了名為“大數(shù)據(jù)”的封面專欄。從2009年開始，“大數(shù)據(jù)”才成為互聯(lián)網(wǎng)技術(shù)行業(yè)中的熱門詞匯，被世人推崇和討論。目前，盡管大數(shù)據(jù)的發(fā)展已有幾十年的時(shí)間，但仍沒有一個(gè)統(tǒng)一、完整、科學(xué)的定義。狹義大數(shù)據(jù)概念定義：用現(xiàn)有的一般技術(shù)難以管理的大量數(shù)據(jù)的集合。早期，高德納（Gartner）咨詢管理公司數(shù)據(jù)分析師MervAdrian認(rèn)為，大數(shù)據(jù)是一種在正常的時(shí)間和空間范圍內(nèi)，常規(guī)的軟件工具難以計(jì)算、提出相關(guān)數(shù)據(jù)分析的能力。2011年，大數(shù)據(jù)研究討論的麥肯錫公司在大數(shù)據(jù)的研究報(bào)告給出的定義是：大數(shù)據(jù)指的是規(guī)模已經(jīng)超出了傳統(tǒng)的數(shù)據(jù)庫(kù)軟件工具收集、存儲(chǔ)、管理和分析能力的數(shù)據(jù)集。電子商務(wù)行業(yè)的亞馬遜的大數(shù)據(jù)專家JohnRauser對(duì)大數(shù)據(jù)的定義：大數(shù)據(jù)指的是超過了一臺(tái)計(jì)算機(jī)的設(shè)備、軟件等處理能力的數(shù)據(jù)規(guī)模、資料信息海量的數(shù)據(jù)集?？偟膩碚f，研究者大多從微觀的視角出發(fā)，將大數(shù)據(jù)理解為當(dāng)前的技術(shù)環(huán)境難以處理的一種數(shù)據(jù)集。廣義大數(shù)據(jù)概念廣義的大數(shù)據(jù)定義，主要是以對(duì)大數(shù)據(jù)進(jìn)行分析管理、挖掘數(shù)據(jù)背后所蘊(yùn)含的巨大價(jià)值為視角，給出的大數(shù)據(jù)的概念。維基百科對(duì)大數(shù)據(jù)給出的定義是：巨量數(shù)據(jù)，或稱為大數(shù)據(jù)、大資料，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過當(dāng)前的技術(shù)軟件和工具在一定的時(shí)間內(nèi)進(jìn)行截取、管理、處理，并整理成為需求者所需要的信息進(jìn)行決策。ViktorMayer-Sch?nberger在其專著《大數(shù)據(jù)時(shí)代：生活、工作與思維的大變革》中對(duì)大數(shù)據(jù)的定義為：大數(shù)據(jù)是人們獲得新的認(rèn)知、創(chuàng)造新的價(jià)值的源泉；大數(shù)據(jù)還是改變市場(chǎng)、組織機(jī)構(gòu)，以及政府與公民關(guān)系的方法他還認(rèn)為大數(shù)據(jù)是人們?cè)诖笠?guī)模數(shù)據(jù)的基礎(chǔ)上可以做到的事情，而這些事情在小規(guī)模的數(shù)據(jù)基礎(chǔ)上是無法完成的。相關(guān)術(shù)語(yǔ)1.數(shù)據(jù)數(shù)據(jù)是可以獲取和存儲(chǔ)的信息。除了直觀的數(shù)字，數(shù)據(jù)也可以是文字、圖像、聲音、視頻等能被記錄下來的信息。2.大數(shù)據(jù)本書對(duì)大數(shù)據(jù)的定義為：在特定的時(shí)間內(nèi)，用現(xiàn)有的一般軟件工具難以進(jìn)行獲取、存儲(chǔ)、處理和分析的超大型數(shù)據(jù)的集合。3.元數(shù)據(jù)元數(shù)據(jù)（Metadata）是提供一個(gè)數(shù)據(jù)集的特征和結(jié)構(gòu)信息來描述數(shù)據(jù)屬性的數(shù)據(jù)。元數(shù)據(jù)主要是描述數(shù)據(jù)屬性的信息，用來支持如指示存儲(chǔ)位置、歷史數(shù)據(jù)、資源查找、文件記錄等功能。這種數(shù)據(jù)主要是由機(jī)器生成的，搜尋元數(shù)據(jù)對(duì)于大數(shù)據(jù)的存儲(chǔ)、處理和分析是至關(guān)重要的一步，因?yàn)樵獢?shù)據(jù)提供了數(shù)據(jù)系譜信息以及數(shù)據(jù)處理的起源。相關(guān)術(shù)語(yǔ)4.云計(jì)算本書對(duì)云計(jì)算（CloudComputing）的定義為：云計(jì)算是一種基于互聯(lián)網(wǎng)的分布式計(jì)算方式，通過這種方式，共享的軟硬件資源和信息可以按需求提供給計(jì)算機(jī)和其他設(shè)備。大數(shù)據(jù)離不開云計(jì)算，大數(shù)據(jù)要對(duì)海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖掘，就必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫(kù)和云存儲(chǔ)及虛擬化技術(shù)。云計(jì)算是大數(shù)據(jù)分析與處理的一種重要方法，云計(jì)算強(qiáng)調(diào)的是計(jì)算，而大數(shù)據(jù)則是計(jì)算的對(duì)象。5.大數(shù)據(jù)技術(shù)大數(shù)據(jù)技術(shù)就是處理大數(shù)據(jù)所用到的技術(shù)，一般是指根據(jù)特定的目標(biāo)要求，從各種各樣類型的海量數(shù)據(jù)中快速獲得有價(jià)值信息所需要的技術(shù)。常用的大數(shù)據(jù)技術(shù)有：大數(shù)據(jù)采集技術(shù)、大數(shù)據(jù)存儲(chǔ)技術(shù)、大數(shù)據(jù)分析處理技術(shù)和大數(shù)據(jù)可視化技術(shù)等。大數(shù)據(jù)的主要特征要確保數(shù)據(jù)的可用性，就要分析大數(shù)據(jù)的數(shù)據(jù)特征。IBM（InternationalBusinessMachinesCorporation）認(rèn)為大數(shù)據(jù)具有3V特征，即數(shù)據(jù)量（Volume）、種類（Variety）和速度（Velocity），故大數(shù)據(jù)是指具有容量難以估計(jì)、種類難以計(jì)數(shù)且增長(zhǎng)速度非?？斓臄?shù)據(jù)。IDC（InternetDataCenter）則在IBM的基礎(chǔ)上，將3V發(fā)展為4V，其認(rèn)為大數(shù)據(jù)具有四方面的特征：數(shù)據(jù)量大（Volume）、數(shù)據(jù)種類多（Variety）、數(shù)據(jù)速度快（Velocity）、數(shù)據(jù)價(jià)值密度低（Value）。當(dāng)前，從IDC的4V特征四個(gè)方面來理解，大數(shù)據(jù)的特征表現(xiàn)為：數(shù)據(jù)量大（數(shù)據(jù)存儲(chǔ)量大和增量大）、數(shù)據(jù)種類多（數(shù)據(jù)來源多，數(shù)據(jù)格式多）、數(shù)據(jù)速度快以及數(shù)據(jù)價(jià)值密度低，只有具備這些特征的數(shù)據(jù)才是大數(shù)據(jù)。大數(shù)據(jù)的主要特征下圖為大數(shù)據(jù)的4V特征：圖8?1大數(shù)據(jù)的4V特征大數(shù)據(jù)的主要特征1.數(shù)據(jù)規(guī)模大（Volume）這個(gè)“大”源于廣泛采集、多處存儲(chǔ)和大量計(jì)算。普通的計(jì)算機(jī)存儲(chǔ)容量以GB、TB為單位，而大數(shù)據(jù)則以PB（1024TB）、EB（約100萬(wàn)TB）為單位。2.數(shù)據(jù)類型多（Variety）大數(shù)據(jù)既包括地理位置信息、數(shù)據(jù)庫(kù)、表格等結(jié)構(gòu)化數(shù)據(jù)，也包括文本、圖像、音視頻等非結(jié)構(gòu)化數(shù)據(jù)。不同的數(shù)據(jù)類型需要不同的處理程序和算法，所以大數(shù)據(jù)對(duì)數(shù)據(jù)的處理方法和技術(shù)也有更高的要求。大數(shù)據(jù)的主要特征3.價(jià)值密度低（Value）決策者要獲得必需的信息，就得對(duì)大量的數(shù)據(jù)進(jìn)行處理。現(xiàn)在通用的做法是通過使用強(qiáng)大的機(jī)器算法進(jìn)行數(shù)據(jù)挖掘，進(jìn)而獲得與邏輯業(yè)務(wù)相吻合的結(jié)果。這個(gè)過程可以理解為在無邊沙漠中用篩子淘取金沙，其價(jià)值密度可想而知。4.處理速度快（Velocity）大數(shù)據(jù)需要處理的數(shù)據(jù)有的是爆發(fā)式產(chǎn)生的，如大型強(qiáng)子對(duì)撞機(jī)工作時(shí)每秒產(chǎn)生PB級(jí)數(shù)據(jù)；有的雖然是流水式產(chǎn)生的，但由于用戶數(shù)量眾多，短時(shí)間內(nèi)產(chǎn)生的數(shù)據(jù)量（如網(wǎng)站點(diǎn)擊流、系統(tǒng)日志、GPS等數(shù)據(jù)）依然龐大。為了滿足實(shí)時(shí)性需求，數(shù)據(jù)的處理速度必須快，過時(shí)的數(shù)據(jù)會(huì)貶值。大數(shù)據(jù)的類型大數(shù)據(jù)的種類多種多樣，要存儲(chǔ)、處理這些復(fù)雜的數(shù)據(jù)要將數(shù)據(jù)分成不同的類型，然后針對(duì)不同類型的數(shù)據(jù)采取相應(yīng)的存儲(chǔ)和處理方法。根據(jù)數(shù)據(jù)存儲(chǔ)方式和內(nèi)部的組織結(jié)構(gòu)，將大數(shù)據(jù)分為三種類型：結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。這三種數(shù)據(jù)類型的關(guān)系是由簡(jiǎn)單到復(fù)雜，各自有不同的特點(diǎn)，傳統(tǒng)數(shù)據(jù)庫(kù)存儲(chǔ)處理的主要是結(jié)構(gòu)化數(shù)據(jù)類型，而大數(shù)據(jù)時(shí)代將以半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)為主流數(shù)據(jù)類型。圖8?2數(shù)據(jù)增長(zhǎng)日益趨向非結(jié)構(gòu)化大數(shù)據(jù)的類型1.結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)是指數(shù)據(jù)格式嚴(yán)格固定，可以由二維表結(jié)構(gòu)來表達(dá)和實(shí)現(xiàn)的數(shù)據(jù)，也稱作行數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)可以用關(guān)系型數(shù)據(jù)庫(kù)存儲(chǔ)處理，比如在Access數(shù)據(jù)庫(kù)軟件中可以查看到類似Excel中的二維表數(shù)據(jù)。這種類型的數(shù)據(jù)關(guān)系最簡(jiǎn)單，符合二維映射關(guān)系。應(yīng)用領(lǐng)域：大多數(shù)傳統(tǒng)數(shù)據(jù)技術(shù)主要基于結(jié)構(gòu)化數(shù)據(jù)，如銀行數(shù)據(jù)、政企職工工資數(shù)據(jù)、保險(xiǎn)業(yè)數(shù)據(jù)、醫(yī)療數(shù)據(jù)等。大數(shù)據(jù)的類型2.半結(jié)構(gòu)化數(shù)據(jù)定義：半結(jié)構(gòu)化數(shù)據(jù)是具有一定結(jié)構(gòu)但沒有固定結(jié)構(gòu)的數(shù)據(jù)。優(yōu)點(diǎn)：與非結(jié)構(gòu)化數(shù)據(jù)相比，半結(jié)構(gòu)化數(shù)據(jù)具有一定的結(jié)構(gòu)，但在具有嚴(yán)格理論模型的關(guān)系數(shù)據(jù)庫(kù)中，它比結(jié)構(gòu)化數(shù)據(jù)更加靈活。半結(jié)構(gòu)化數(shù)據(jù)雖然不符合關(guān)系數(shù)據(jù)模型的結(jié)構(gòu)，但它包含了相關(guān)的標(biāo)簽來分離語(yǔ)義元素和層記錄、字段等，因此也被稱為自我描述型數(shù)據(jù)。在關(guān)系數(shù)據(jù)庫(kù)中，存在一個(gè)信息系統(tǒng)框架，即模式，它用來描述數(shù)據(jù)及其之間的關(guān)系，模式與數(shù)據(jù)是完全分離的。然而，在半結(jié)構(gòu)化環(huán)境中，模式信息往往包含在數(shù)據(jù)中，即模式與數(shù)據(jù)之間的邊界不明確。大數(shù)據(jù)的類型目前，對(duì)半結(jié)構(gòu)化數(shù)據(jù)及其模式主要有以樹或者圖的描述形式。這類數(shù)據(jù)常常用文本文件進(jìn)行存儲(chǔ)，包括電子郵件、配置文件、Web集群等。半結(jié)構(gòu)化數(shù)據(jù)可以通過靈活的鍵值調(diào)整來獲取相應(yīng)的信息，且沒有模式的限定，數(shù)據(jù)可以自由流入系統(tǒng)，還可以自由更新，更便于客觀地描述事物。雖然這種動(dòng)態(tài)性和靈活性可能使查詢處理更加困難，但它給用戶存儲(chǔ)提供了顯著的優(yōu)勢(shì)。大數(shù)據(jù)的類型3.非結(jié)構(gòu)化數(shù)據(jù)定義：非結(jié)構(gòu)化數(shù)據(jù)是指數(shù)據(jù)結(jié)構(gòu)不規(guī)則、不遵循規(guī)范模型的數(shù)據(jù)。這類數(shù)據(jù)可以是文本的，也可以是數(shù)據(jù)的，一般包含在文本文件和二進(jìn)制文件中存儲(chǔ)和傳輸。（這里說的文本文件和二進(jìn)制文件主要討論的是文件數(shù)據(jù)的內(nèi)容，與文件本身的格式無關(guān)）文本文件中包含文檔（比如MicrosoftOffice）和ASCII文件，三進(jìn)制文件中包含圖像、聲音及視頻等媒體文件。據(jù)統(tǒng)計(jì)，目前大數(shù)據(jù)中以非結(jié)構(gòu)化數(shù)據(jù)為主，其龐大的規(guī)模和復(fù)雜性需要更加智能和高級(jí)的技術(shù)來處理和分析。大數(shù)據(jù)應(yīng)用及發(fā)展趨勢(shì)1.大數(shù)據(jù)應(yīng)用近年來，隨著大數(shù)據(jù)技術(shù)的逐漸成熟，大量成功的大數(shù)據(jù)應(yīng)用不斷涌現(xiàn)。包含工業(yè)、金融、餐飲、電信、能源、生物和娛樂等在內(nèi)的社會(huì)各行各業(yè)都已經(jīng)顯現(xiàn)了融入大數(shù)據(jù)的痕跡。1）互聯(lián)網(wǎng)：借助大數(shù)據(jù)技術(shù)，可以分析客戶行為，進(jìn)行商品推薦和針對(duì)性廣告投放。2）制造業(yè)：利用工業(yè)大數(shù)據(jù)提升制造業(yè)水平，包括產(chǎn)品故障診斷與預(yù)測(cè)、生產(chǎn)工藝改進(jìn)、生產(chǎn)過程能耗優(yōu)化、工業(yè)供應(yīng)鏈分析、生產(chǎn)計(jì)劃與排程等。3）金融：大數(shù)據(jù)在高頻交易、社交情緒分析和信貸風(fēng)險(xiǎn)分析三大金融創(chuàng)新領(lǐng)域發(fā)揮了重大作用。大數(shù)據(jù)應(yīng)用及發(fā)展趨勢(shì)4）生物醫(yī)學(xué)：大數(shù)據(jù)可以實(shí)現(xiàn)流行病預(yù)測(cè)、智慧醫(yī)療、健康管理，同時(shí)還可以解讀DNA，了解更多生命的奧秘。5）智慧城市：利用大數(shù)據(jù)可以實(shí)現(xiàn)智能交通、環(huán)保監(jiān)測(cè)、城市規(guī)劃和智能安防等。6）能源：隨著智能電網(wǎng)的發(fā)展，電力公司可以掌握海量的用戶用電信息，利用大數(shù)據(jù)技術(shù)分析用戶用電模式，改進(jìn)電網(wǎng)運(yùn)行，合理設(shè)計(jì)電力需求響應(yīng)系統(tǒng)，確保電網(wǎng)運(yùn)行安全。盡管大數(shù)據(jù)已經(jīng)在很多行業(yè)領(lǐng)城的應(yīng)用中嶄露頭角，但就其效果和深度而言，當(dāng)前大數(shù)據(jù)應(yīng)用尚處于初級(jí)階段，根據(jù)大數(shù)據(jù)預(yù)測(cè)未來、指導(dǎo)實(shí)踐的深層次應(yīng)用將成為未來的發(fā)展重點(diǎn)。大數(shù)據(jù)應(yīng)用及發(fā)展趨勢(shì)2.大數(shù)據(jù)發(fā)展趨勢(shì)大數(shù)據(jù)正在開啟一個(gè)嶄新時(shí)代，未來大數(shù)據(jù)的發(fā)展趨勢(shì)將主要體現(xiàn)在以下幾個(gè)方面：1）數(shù)據(jù)科學(xué)成為一門新興學(xué)科各大高校不僅將設(shè)立專門的數(shù)據(jù)科學(xué)類專業(yè)，也會(huì)催生一批與之相關(guān)的新的就業(yè)崗位。與此同時(shí)，基于數(shù)據(jù)這個(gè)基礎(chǔ)平臺(tái)，也將建立起跨領(lǐng)域的數(shù)據(jù)共享平臺(tái)，之后數(shù)據(jù)共享將擴(kuò)展到企業(yè)層面，并且成為未來產(chǎn)業(yè)的核心一環(huán)。2）大數(shù)據(jù)將與物聯(lián)網(wǎng)、云計(jì)算、人工智能等熱點(diǎn)技術(shù)領(lǐng)域相互交叉融合，產(chǎn)生很多綜合性應(yīng)用近年來計(jì)算機(jī)和信息技術(shù)的發(fā)展趨勢(shì)是：前端更前伸，后端更強(qiáng)大。物聯(lián)網(wǎng)與人工智能加強(qiáng)了前端的物理世界和人的交互融合，大數(shù)據(jù)和云計(jì)算加強(qiáng)了后端的數(shù)據(jù)存儲(chǔ)管理能力和計(jì)算能力。大數(shù)據(jù)應(yīng)用及發(fā)展趨勢(shì)3）大數(shù)據(jù)產(chǎn)業(yè)鏈逐漸形成經(jīng)過數(shù)年的發(fā)展，大數(shù)據(jù)初步形成一個(gè)較為完整的產(chǎn)業(yè)E，包括數(shù)據(jù)采集、整理、傳輸、存儲(chǔ)、分析、呈現(xiàn)和應(yīng)用，眾多企業(yè)開始參與到大數(shù)產(chǎn)業(yè)鏈中，并形成了一定的產(chǎn)業(yè)規(guī)模。4）數(shù)據(jù)資源化、私有化，進(jìn)而商品化成為持續(xù)的趨勢(shì)數(shù)據(jù)資源化的本質(zhì)是實(shí)現(xiàn)數(shù)據(jù)共享與服務(wù)，在數(shù)據(jù)資源化的過程中，必須建立高效的數(shù)據(jù)交換機(jī)制，實(shí)現(xiàn)數(shù)據(jù)的互聯(lián)互通、信息共享、業(yè)務(wù)協(xié)同，將成為整合信息資源，深度利用分散數(shù)據(jù)的有效途徑。同時(shí)，基礎(chǔ)數(shù)據(jù)的私有化和獨(dú)占問題也成為關(guān)注的焦點(diǎn)，數(shù)據(jù)產(chǎn)權(quán)界定問題日益突出。在數(shù)據(jù)權(quán)屬確定的情況下，數(shù)據(jù)商品化成為必然選擇和趨勢(shì)。工業(yè)大數(shù)據(jù)應(yīng)用現(xiàn)狀工業(yè)大數(shù)據(jù)時(shí)代囊括人工智能及大數(shù)據(jù)，兩者之間既有區(qū)別又有聯(lián)系。人工智能包括：機(jī)器學(xué)習(xí)、圖像識(shí)別等，主要依賴海量數(shù)據(jù)進(jìn)行分析，模擬運(yùn)算出更加準(zhǔn)確的結(jié)果。作為建立在集群技術(shù)上的大數(shù)據(jù)技術(shù)主要是為人工智能提供強(qiáng)有力的存儲(chǔ)能力和計(jì)算能力。大數(shù)據(jù)技術(shù)作為一種挖掘和展現(xiàn)工業(yè)大數(shù)據(jù)中所蘊(yùn)含價(jià)值的技術(shù)，囊括了數(shù)據(jù)規(guī)劃、采集、預(yù)處理、存儲(chǔ)、分析挖掘、可視化和智能控制等?！爸袊?guó)制造2025”與德國(guó)“工業(yè)4.0”的成功對(duì)接，使得各行業(yè)以信息化帶動(dòng)工業(yè)化、以工業(yè)化促進(jìn)信息化，充分利用大數(shù)據(jù)、互聯(lián)網(wǎng)、人工智能等技術(shù)作為發(fā)力點(diǎn)，打造新時(shí)代智能化工藝流程，積極推進(jìn)現(xiàn)代工業(yè)的智能化轉(zhuǎn)型發(fā)展。云計(jì)算的基本概念國(guó)家標(biāo)準(zhǔn)《信息技術(shù)云計(jì)算參考架構(gòu)》（GB/T-32399）的定義：云計(jì)算是一種通過網(wǎng)絡(luò)將可伸縮、彈性的共享物理和虛擬資源池以按需自服務(wù)的方式供應(yīng)和管理的模式。從計(jì)算方法的角度看，云計(jì)算是分布式計(jì)算的一種，它通過網(wǎng)絡(luò)將大量的數(shù)據(jù)計(jì)算處理程序分解成多個(gè)小程序，通過由多部服務(wù)器組成的系統(tǒng)處理和分析這些小程序得到結(jié)果并返回給用戶。通過該技術(shù)，用戶可以在幾秒鐘的時(shí)間內(nèi)完成對(duì)海量數(shù)據(jù)的處理，提供強(qiáng)大的計(jì)算服務(wù)能力。云計(jì)算的基本概念從資源利用的角度看，云計(jì)算定義了一種IT資源共享樓型，可以方便地隨時(shí)隨地按需通過網(wǎng)絡(luò)訪問共享的可配置計(jì)算資源（如網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)、應(yīng)用程序和服務(wù)）池，且只需最少的管理工作或服務(wù)提供方交互方式即可快速供應(yīng)和釋放這些資源。云計(jì)算有以下五方面重要特征：一、按需自助服務(wù)，用戶可以根據(jù)需要供應(yīng)、監(jiān)控和管理計(jì)算資源二、資源池化，IT（信息技術(shù)）資源以非專用方式為多個(gè)應(yīng)用程序和多個(gè)用戶所共享三、IT資源可以快速按需伸縮四、按使用量收費(fèi)，系統(tǒng)對(duì)每個(gè)應(yīng)用程序和每個(gè)用戶跟蹤IT資源使用情況并計(jì)費(fèi)五、廣泛的網(wǎng)絡(luò)訪問，可以通過標(biāo)準(zhǔn)網(wǎng)絡(luò)或者異構(gòu)設(shè)備提供計(jì)算服務(wù)云計(jì)算的基本概念云計(jì)算的核心概念是以互聯(lián)網(wǎng)為中心，在網(wǎng)絡(luò)上提供快速且安全的計(jì)算服務(wù)與數(shù)據(jù)存儲(chǔ)服務(wù)，讓每一個(gè)使用互聯(lián)網(wǎng)的人都可以使用網(wǎng)絡(luò)上的計(jì)算資源與存儲(chǔ)資源。云計(jì)算是繼互聯(lián)網(wǎng)、計(jì)算機(jī)后信息時(shí)代的一種革新，是信息時(shí)代的一個(gè)大飛躍。云計(jì)算的特點(diǎn)1）大規(guī)模云計(jì)算通常需要數(shù)量眾多的服務(wù)器等設(shè)備作為基礎(chǔ)設(shè)施，例如Google擁有百萬(wàn)臺(tái)服務(wù)器以上的云計(jì)算環(huán)境，而一般私有云也通常有幾十臺(tái)到上百臺(tái)相關(guān)設(shè)備。2）虛擬化虛擬化是云計(jì)算的底層支撐技術(shù)之一。當(dāng)用戶向云計(jì)算請(qǐng)求某種服務(wù)的時(shí)候，他并不知道該服務(wù)是由云計(jì)算環(huán)境中哪一臺(tái)或幾臺(tái)服務(wù)器提供的。云服務(wù)提供商也可以通過虛擬化技術(shù)整合全部系統(tǒng)資源，從而達(dá)到動(dòng)態(tài)調(diào)度、降低成本的目的。3）伸縮性云計(jì)算的設(shè)計(jì)架構(gòu)可以使計(jì)算機(jī)節(jié)點(diǎn)在無需停止服務(wù)的情況下隨時(shí)加入或退出整個(gè)集群，從而實(shí)現(xiàn)了伸縮性。云計(jì)算的特點(diǎn)4）敏捷云計(jì)算通過屏蔽底層實(shí)現(xiàn)細(xì)節(jié)，以服務(wù)的方式對(duì)外開放，因此企業(yè)和用戶能夠快速地開發(fā)和部署相關(guān)應(yīng)用軟件與系統(tǒng)。5）按需服務(wù)云計(jì)算環(huán)境可以動(dòng)態(tài)地對(duì)資源進(jìn)行調(diào)度，因此用戶可以根據(jù)自己的實(shí)際需要訂購(gòu)相應(yīng)的資源，并且在需求改變的時(shí)候也能夠隨時(shí)調(diào)整訂單以應(yīng)對(duì)快速發(fā)生的變化。6）多租戶云計(jì)算使用多租戶技術(shù)來保證用戶之間的服務(wù)相互隔絕而互不干擾。當(dāng)某一個(gè)服務(wù)崩潰的時(shí)候不會(huì)影響其他正在使用的服務(wù)。云計(jì)算的特點(diǎn)7）容錯(cuò)性云計(jì)算最早提出時(shí)，就是建立在使用消費(fèi)級(jí)（相對(duì)于昂貴的高級(jí)服務(wù)器而言）計(jì)算機(jī)的前提之下。該類設(shè)備的穩(wěn)定性無法支撐長(zhǎng)期7x24小時(shí)的在線服務(wù)，因此節(jié)點(diǎn)失效將成為常態(tài)。云計(jì)算擁有良好的容錯(cuò)機(jī)制，當(dāng)某個(gè)節(jié)點(diǎn)發(fā)生故障的時(shí)候．可以輕易地通過副本等機(jī)制保證服務(wù)的持續(xù)。8）規(guī)?；?jīng)濟(jì)云計(jì)算的規(guī)模通常較大，云計(jì)算服務(wù)提供商可以使用多種資源調(diào)度技術(shù)來提高系統(tǒng)資源利用率從而降低使用成本，同時(shí)還可以通過通風(fēng)、制冷、供電、網(wǎng)絡(luò)接入的統(tǒng)籌規(guī)劃降低維護(hù)成本，從而實(shí)現(xiàn)規(guī)?；?jīng)濟(jì)，為用戶提供收費(fèi)更為低廉的服務(wù)。云計(jì)算的關(guān)鍵技術(shù)1.云計(jì)算的架構(gòu)云計(jì)算平臺(tái)體系架構(gòu)可分為：核心服務(wù)、服務(wù)管理、用戶訪問接口三層。核心服務(wù)層：將硬件基礎(chǔ)設(shè)施、軟件運(yùn)行環(huán)境、應(yīng)用程序抽象成服務(wù)，這些服務(wù)具有可靠性強(qiáng)可用性高、規(guī)模可伸縮等特點(diǎn)，能夠滿足多樣化的應(yīng)用需求。服務(wù)管理層：為核心服務(wù)層提供支持，進(jìn)一步確保核心服務(wù)的可靠性、可用性與安全性。用戶訪問接口層：實(shí)現(xiàn)端到云端的訪問。圖8?3云計(jì)算體系架構(gòu)云計(jì)算的架構(gòu)核心服務(wù)層通?？梢苑譃槿齻€(gè)子層：IaaS（基礎(chǔ)設(shè)施即服務(wù)層）、PaaS（平臺(tái)即服務(wù)層）、SaaS（軟件即服務(wù)層）。圖8?4核心服務(wù)層結(jié)構(gòu)圖云計(jì)算的架構(gòu)IaaS把IT環(huán)境的基礎(chǔ)設(shè)施層作為服務(wù)出租出去由云服務(wù)提供商把IT環(huán)境的基礎(chǔ)設(shè)施建設(shè)好，直接對(duì)外出租硬件服務(wù)器或者虛擬機(jī)。云服務(wù)提供商負(fù)責(zé)管理機(jī)房基礎(chǔ)設(shè)施、計(jì)算機(jī)網(wǎng)絡(luò)、磁盤柜、硬件服務(wù)器和虛擬機(jī)，租戶自己安裝和管理操作系統(tǒng)、數(shù)據(jù)庫(kù)、中間件、應(yīng)用軟件和數(shù)據(jù)信息。Pass即把IT環(huán)境的平臺(tái)軟件層作為服務(wù)出租出去此時(shí)云服務(wù)提供商需要把基礎(chǔ)設(shè)施層和平臺(tái)軟件層都搭建好，然后在平臺(tái)軟件層上分成小塊（將它稱為容器）并對(duì)外出租。租戶此時(shí)僅需要安裝、配置和使用應(yīng)用軟件就可以了。云計(jì)算的架構(gòu)SaaS即把IT環(huán)境的應(yīng)用軟件層作為服務(wù)出租出去云服務(wù)提供商需要搭建和管理基礎(chǔ)設(shè)施層、平合軟件層和應(yīng)用軟件層，這進(jìn)一步降低了租戶的技術(shù)門檻，他們連應(yīng)用軟件也不需要自己安裝，直接使用軟件。例如，企業(yè)通過郵箱軟件服務(wù)商建立屬于該企業(yè)的電子郵件服務(wù)。該服務(wù)托管于郵箱軟件服務(wù)商的數(shù)據(jù)中心，企業(yè)不必考慮服務(wù)器的管理、維護(hù)問題。云計(jì)算的關(guān)鍵技術(shù)2.虛擬化技術(shù)定義：虛擬化指計(jì)算單元不在真實(shí)的單元上而在虛擬的單元上運(yùn)行，是一種優(yōu)化資源和簡(jiǎn)化管理的計(jì)算方案。虛擬化技術(shù)適合在云計(jì)算平合中應(yīng)用，虛擬化的核心解決了云計(jì)算等對(duì)硬件的依賴，提供統(tǒng)一的虛擬化界面；通過虛擬化技術(shù)，人們可以在一臺(tái)服務(wù)器上運(yùn)行多臺(tái)虛擬機(jī)，從而實(shí)現(xiàn)了對(duì)服務(wù)器的優(yōu)化和整合。優(yōu)點(diǎn)：虛擬化技術(shù)使用動(dòng)態(tài)資源伸縮的手段，降低了云計(jì)算基礎(chǔ)設(shè)施的使用成本，并提高負(fù)載部署的靈活性。云計(jì)算的關(guān)鍵技術(shù)3.中間件技術(shù)定義：支持應(yīng)用軟件的開發(fā)、運(yùn)行、部署和管理的支撐軟件被稱為中間件，它是運(yùn)行在兩個(gè)層次之間的一種組件，是在操作系統(tǒng)和應(yīng)用軟件之問的軟件層次。功能：1.屏蔽硬件和操作系統(tǒng)之間的兼容問題2.具有管理分布式系統(tǒng)中的節(jié)點(diǎn)間的通信、節(jié)點(diǎn)資源和協(xié)調(diào)工作等功能。3.將不同平臺(tái)的計(jì)算節(jié)點(diǎn)組成一個(gè)功能強(qiáng)大的分布式計(jì)算系統(tǒng)。4.對(duì)云服務(wù)資源進(jìn)行管理，包含用戶管理、任務(wù)管理、安全管理等，為云計(jì)算的部署、運(yùn)行、開發(fā)和應(yīng)用提供高效支撐。云計(jì)算的關(guān)鍵技術(shù)4.云存儲(chǔ)技術(shù)在云計(jì)算中，云存儲(chǔ)技術(shù)通常和虛擬化技術(shù)相互結(jié)合起來，通過對(duì)數(shù)據(jù)資源的虛擬化，提高訪問效率。目前，數(shù)據(jù)存儲(chǔ)技術(shù)HDFS和谷歌公司的GFS具有高吞吐率、分布式和高速傳輸?shù)葍?yōu)點(diǎn)。因此，采用云存儲(chǔ)技術(shù)，可滿足云計(jì)算為大量用戶提供云服務(wù)的需求。云計(jì)算與大數(shù)據(jù)云計(jì)算是產(chǎn)業(yè)發(fā)展趨勢(shì)，大數(shù)據(jù)是現(xiàn)代信息社會(huì)飛速發(fā)展的必然現(xiàn)象。解決大數(shù)據(jù)問題，需要以現(xiàn)代云計(jì)算技術(shù)為基礎(chǔ)支撐；而大數(shù)據(jù)的發(fā)展不僅解決了產(chǎn)業(yè)和經(jīng)濟(jì)的現(xiàn)實(shí)困難，同時(shí)也會(huì)促使云計(jì)算、物聯(lián)網(wǎng)的深入應(yīng)用和推廣，進(jìn)而又形成更大規(guī)模的大數(shù)據(jù)挑戰(zhàn)。圖8?5云計(jì)算與大數(shù)據(jù)的關(guān)系云計(jì)算與大數(shù)據(jù)的關(guān)系1.云計(jì)算與大數(shù)據(jù)的關(guān)系云計(jì)算為大數(shù)據(jù)提供了有力的工具和途徑，大數(shù)據(jù)為云計(jì)算提供了用武之地，而大數(shù)據(jù)則通過云計(jì)算的形式，將這些數(shù)據(jù)分析、處理，提取有用的信息，即大數(shù)據(jù)分析。下面給出了云計(jì)算與大數(shù)據(jù)的總體關(guān)系：1）從技術(shù)上來看，大數(shù)據(jù)和云計(jì)算的關(guān)系密不可分。2）大數(shù)據(jù)必然無法用單臺(tái)的計(jì)算機(jī)進(jìn)行處理，必須采用分布式架構(gòu)。它的特色在于對(duì)海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖掘，但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫(kù)和云存儲(chǔ)、虛擬化技術(shù)。3）大數(shù)據(jù)通常用來形容一個(gè)公司創(chuàng)造的大量非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)。4）實(shí)時(shí)的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來向數(shù)十、數(shù)百，甚至數(shù)千的計(jì)算機(jī)分配工作。云計(jì)算與大數(shù)據(jù)的關(guān)系5）大數(shù)據(jù)需要特殊的技術(shù)以有效地處理大量的容忍經(jīng)過時(shí)間內(nèi)的數(shù)據(jù)。適用于大數(shù)據(jù)的技術(shù)，包括大規(guī)模的并行處理數(shù)據(jù)庫(kù)、數(shù)據(jù)挖掘、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)、云計(jì)算平臺(tái)、互聯(lián)網(wǎng)和可擴(kuò)展的存儲(chǔ)系統(tǒng)。表8?1云計(jì)算與大數(shù)據(jù)之間的異同云計(jì)算與大數(shù)據(jù)的融合發(fā)展目前，許多云計(jì)算服務(wù)由于規(guī)模的擴(kuò)大，已經(jīng)將大數(shù)據(jù)的存儲(chǔ)和處理集成在后臺(tái)。許多企業(yè)云存儲(chǔ)服務(wù)商在基礎(chǔ)數(shù)據(jù)存儲(chǔ)功能的基礎(chǔ)上增加了相應(yīng)的數(shù)據(jù)處理算法和系統(tǒng)，服務(wù)于視頻、社交等各種互聯(lián)網(wǎng)和社交網(wǎng)絡(luò)企業(yè)應(yīng)用，提供更便捷、更集成的云服務(wù)，滿足企業(yè)用戶不斷發(fā)展的需求。同樣，很多行業(yè)的大數(shù)據(jù)處理系統(tǒng)也選擇在公有云服務(wù)平臺(tái)上構(gòu)建大數(shù)據(jù)系統(tǒng)，與云服務(wù)融合，再以云服務(wù)的形式提供給行業(yè)。未來，這一趨勢(shì)將更加明顯，將會(huì)看到更廣泛的云計(jì)算和大數(shù)據(jù)融合的服務(wù)和應(yīng)用，它們之間的界限將變得越來越模糊。云計(jì)算與大數(shù)據(jù)的融合發(fā)展從行業(yè)來看，云計(jì)算和大數(shù)據(jù)已經(jīng)成為中國(guó)的國(guó)家戰(zhàn)略，相關(guān)技術(shù)和應(yīng)用深入到各個(gè)傳統(tǒng)產(chǎn)業(yè)和新興產(chǎn)業(yè)，云計(jì)算蓬勃的發(fā)展。挑戰(zhàn)：1.許多行業(yè)仍然注重基礎(chǔ)硬件的建設(shè)和投入，以及資源服務(wù)水平(如智慧城市寬帶建設(shè)、數(shù)據(jù)中心項(xiàng)目等)，缺乏對(duì)核心軟件和關(guān)鍵技術(shù)的戰(zhàn)略投入。2.真正規(guī)?；脑朴?jì)算和大數(shù)據(jù)應(yīng)用也很少。3.大數(shù)據(jù)處理也面臨著數(shù)據(jù)共享、數(shù)據(jù)融合與交換、數(shù)據(jù)權(quán)利確認(rèn)、數(shù)據(jù)安全與隱私保護(hù)等諸多挑戰(zhàn)。大數(shù)據(jù)上云大數(shù)據(jù)上的云實(shí)際上有多種含義和選擇。由于大數(shù)據(jù)的特點(diǎn)，企業(yè)需要建立自己的大數(shù)據(jù)存儲(chǔ)和處理平臺(tái)，企業(yè)可以選擇將大數(shù)據(jù)存儲(chǔ)在云端。現(xiàn)在很多云服務(wù)提供商都提供云存儲(chǔ)服務(wù)。大數(shù)據(jù)挖掘的存儲(chǔ)和分析是密切相關(guān)的，如果只把大數(shù)據(jù)放在云端，而把大數(shù)據(jù)處理留在本地，那么每次都要從云端把數(shù)據(jù)拿回來，計(jì)算完再保存回來，這顯然不是一個(gè)好的選擇。因此，也需要將大數(shù)據(jù)的計(jì)算和處理放到云端，讓整個(gè)企業(yè)的大數(shù)據(jù)系統(tǒng)成為云服務(wù)。還有一種選擇是混合架構(gòu)，即同時(shí)構(gòu)建本地大數(shù)據(jù)存儲(chǔ)和處理平臺(tái)。核心和機(jī)密數(shù)據(jù)可以本地存儲(chǔ)，一些關(guān)鍵的實(shí)時(shí)處理場(chǎng)景也可以本地處理，其他可以在云端處理。大數(shù)據(jù)上云當(dāng)前，隨著物聯(lián)網(wǎng)技術(shù)的普及，很多邊緣設(shè)備也都具備了比較強(qiáng)的存儲(chǔ)和計(jì)算能力，因而出現(xiàn)了“云計(jì)算＋邊緣計(jì)算”的創(chuàng)新模式。在這種場(chǎng)景下的大數(shù)據(jù)解決方案，也可以采用數(shù)據(jù)存儲(chǔ)和分析構(gòu)建在公有云平臺(tái)，采用離線訓(xùn)練模型；再結(jié)合邊緣存儲(chǔ)和計(jì)算，在生產(chǎn)現(xiàn)場(chǎng)利用實(shí)時(shí)數(shù)據(jù)和己經(jīng)訓(xùn)練好的模型或?qū)崟r(shí)模型進(jìn)行關(guān)鍵業(yè)務(wù)處理的兩級(jí)架構(gòu)，以滿足不斷變化的應(yīng)用需求。用這種結(jié)合的模式，可以降低成本、實(shí)現(xiàn)彈性擴(kuò)展、提高容災(zāi)性，同時(shí)也使得數(shù)據(jù)共享更便利。云計(jì)算在制造業(yè)的應(yīng)用定義：制造云是指專用于工業(yè)制造行業(yè)應(yīng)用賦能的云計(jì)算平臺(tái)和系列云計(jì)算服務(wù)的總稱。功能：制造云既有通用云計(jì)算平臺(tái)的所有服務(wù)能力，又針對(duì)制造行業(yè)的特點(diǎn)提供行業(yè)所需的云計(jì)算服務(wù)，核心是幫助企業(yè)構(gòu)建工業(yè)互聯(lián)網(wǎng)應(yīng)用的工業(yè)互聯(lián)網(wǎng)IIoT平臺(tái)、基于其上的大數(shù)據(jù)處理和人工智能應(yīng)用，以及各種工業(yè)場(chǎng)景下的SaaS應(yīng)用服務(wù)。智能制造云會(huì)對(duì)制造全系統(tǒng)、全生命周期活動(dòng)中的人、物、環(huán)境、信息等進(jìn)行自主智慧地感交互，形成一種基于泛在網(wǎng)絡(luò)，以用戶為中心的智慧制造新模式和“泛在互聯(lián)、數(shù)據(jù)驅(qū)動(dòng)、共享服務(wù)、萬(wàn)眾創(chuàng)新”的新業(yè)態(tài)。機(jī)器學(xué)習(xí)的定義目前引用得較多的關(guān)于機(jī)器學(xué)習(xí)的定義是：“機(jī)器學(xué)習(xí)是一種計(jì)算機(jī)程序，它可以讓系統(tǒng)在未經(jīng)人為主動(dòng)編程的情況下，具有從經(jīng)驗(yàn)（數(shù)據(jù)）中自動(dòng)學(xué)習(xí)并自我改進(jìn)的能力。”機(jī)器學(xué)習(xí)的過程始于對(duì)數(shù)據(jù)的觀察，其主要目的是允許計(jì)算機(jī)在沒有人工干預(yù)或幫助的情況下自動(dòng)學(xué)習(xí)，并相應(yīng)地調(diào)整操作。機(jī)器學(xué)習(xí)的分類機(jī)器學(xué)習(xí)的本質(zhì)是從數(shù)據(jù)中學(xué)習(xí)，所以數(shù)據(jù)的可用信息尤為重要，根據(jù)數(shù)據(jù)可提供的信息進(jìn)行分類，是機(jī)器學(xué)習(xí)最主要的一種分類方式。目前，根據(jù)數(shù)據(jù)集的可用信息將機(jī)器學(xué)習(xí)分為：監(jiān)督學(xué)習(xí)（SupervisedLearning）、無監(jiān)督學(xué)習(xí)（UnsupervisedLearning）、半監(jiān)督學(xué)習(xí)（Semi-supervisedLearning）和強(qiáng)化學(xué)習(xí)（ReinforcementLearning），后兩者也可統(tǒng)稱為弱監(jiān)督學(xué)習(xí)（WeaklySupervisedLearning）。圖8?6機(jī)器學(xué)習(xí)的分類機(jī)器學(xué)習(xí)的分類1）監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)是指：利用一組已知類別的樣本調(diào)整分類器的參數(shù)，使其達(dá)到所要求性能的過程，也稱為監(jiān)督訓(xùn)練或有教師學(xué)習(xí)。在監(jiān)督學(xué)習(xí)中，每個(gè)實(shí)例都是由一個(gè)輸入對(duì)象（通常為矢量）和一個(gè)期望的輸出值（也稱為監(jiān)督信號(hào)）組成。功能：監(jiān)督學(xué)習(xí)算法是分析該訓(xùn)練數(shù)據(jù)，并產(chǎn)生一個(gè)推斷的功能，其可以用于映射出新的實(shí)例。一個(gè)最佳的方案將允許該算法來正確地決定那些看不見的實(shí)例的類標(biāo)簽，這就要求學(xué)習(xí)算法是在一種“合理”的方式從一種從訓(xùn)練數(shù)據(jù)到看不見的情況下形成。機(jī)器學(xué)習(xí)的分類2）無監(jiān)督學(xué)習(xí)根據(jù)類別未知（沒有被標(biāo)記）的訓(xùn)練樣本解決模式識(shí)別中的各種問題，稱之為無監(jiān)督學(xué)習(xí)。3）半監(jiān)督學(xué)習(xí)半監(jiān)督學(xué)習(xí)使用大量的未標(biāo)記數(shù)據(jù)，以及同時(shí)使用標(biāo)記數(shù)據(jù)，來進(jìn)行模式識(shí)別工作。當(dāng)使用半監(jiān)督學(xué)習(xí)時(shí)，將會(huì)要求盡量少的人員來從事工作，同時(shí)，又能夠帶來比較高的準(zhǔn)確性，因此，半監(jiān)督學(xué)習(xí)正越來越受到人們的重視。機(jī)器學(xué)習(xí)的分類4）強(qiáng)化學(xué)習(xí)定義：強(qiáng)化學(xué)習(xí)是智能體（Agent）以“試錯(cuò)”的方式進(jìn)行學(xué)習(xí)，通過與環(huán)境進(jìn)行交互獲得的獎(jiǎng)賞指導(dǎo)行為，目標(biāo)是使智能體獲得最大的獎(jiǎng)賞，強(qiáng)化學(xué)習(xí)不同于連接主義學(xué)習(xí)中的監(jiān)督學(xué)習(xí)。主要表現(xiàn)在強(qiáng)化信號(hào)上，強(qiáng)化學(xué)習(xí)中由環(huán)境提供的強(qiáng)化信號(hào)是對(duì)產(chǎn)生動(dòng)作的好壞作一種評(píng)價(jià)（通常為標(biāo)量信號(hào)），而不是告訴強(qiáng)化學(xué)習(xí)系統(tǒng)RLS（ReinforcementLearningSystem）如何去產(chǎn)生正確的動(dòng)作。由于外部環(huán)境提供的信息很少，RLS必須靠自身的經(jīng)歷進(jìn)行學(xué)習(xí)，通過這種方式，RLS在行動(dòng)-評(píng)價(jià)的環(huán)境中獲得知識(shí)，改進(jìn)行動(dòng)方案以適應(yīng)環(huán)境。人工智能、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)三者的關(guān)系機(jī)器學(xué)習(xí)是人工智能研究中的核心問題之一，是實(shí)現(xiàn)機(jī)器智能化的根本途徑，也是當(dāng)前人工智能理論研究和實(shí)際應(yīng)用中非?；钴S的研究領(lǐng)域。深度學(xué)習(xí)則是機(jī)器學(xué)習(xí)的一個(gè)分支。在很多人工智能問題上，深度學(xué)習(xí)的方法突破了傳統(tǒng)機(jī)器學(xué)習(xí)方法的瓶頸，推動(dòng)了人工智能領(lǐng)域的快速發(fā)展。圖8?7人工智能和機(jī)器學(xué)習(xí)關(guān)系示意圖機(jī)器學(xué)習(xí)的三個(gè)基本要素機(jī)器學(xué)習(xí)的基本要素包括：模型、學(xué)習(xí)準(zhǔn)則（策略）和優(yōu)化算法三個(gè)部分。機(jī)器學(xué)習(xí)方法之間的不同，主要來自其模型、學(xué)習(xí)準(zhǔn)則（策略）、優(yōu)化算法的不同。確定了模型、學(xué)習(xí)準(zhǔn)則（策略）、優(yōu)化算法，機(jī)器學(xué)習(xí)的方法也就確定了。機(jī)器學(xué)習(xí)的三個(gè)基本要素1.模型機(jī)器學(xué)習(xí)首要考慮的問題是學(xué)習(xí)什么樣的模型（Model）。在監(jiān)督式機(jī)器學(xué)習(xí)中，給定訓(xùn)練集，學(xué)習(xí)的目的是希望能夠擬合一個(gè)兩數(shù)來完成從輸入特征向量到輸出標(biāo)簽的映射。這個(gè)需要擬合的函數(shù)就稱為模型，它由參數(shù)向量決定，稱為模型參數(shù)向量，所在的空間稱為參數(shù)空間（ParameterSpace）。分類：一般來說，模型有兩種形式，一種形式是概率模型（條件概率分布），另一種形式是非概率模型（決策兩數(shù)）。決策函數(shù)還可以再分為線性和非線性兩種，對(duì)應(yīng)的模型就稱為線性模型和非線性模型。機(jī)器學(xué)習(xí)的三個(gè)基本要素我們將訓(xùn)練得到的模型稱為一個(gè)假設(shè)，從輸入空間到輸出空間的所有可能映射組成的集合稱為假設(shè)空間（HypothesisSpace）。在監(jiān)督式機(jī)器學(xué)習(xí)中，模型就是所要學(xué)習(xí)的條件概率分布或決策函數(shù)。模型的假設(shè)空間包含所有可能的條件概率分布或決策函數(shù)。例如，假設(shè)決策函數(shù)是輸入特征向量的線性函數(shù)，那么模型的假設(shè)空間就是所有這些線性函數(shù)構(gòu)成的函數(shù)集合。假設(shè)空間中的模型一般有無窮多個(gè)，而機(jī)器學(xué)習(xí)的目的就是從這個(gè)假設(shè)空間中選擇出一個(gè)最好的預(yù)測(cè)模型，也就是在參數(shù)空間中選擇一個(gè)最優(yōu)的估計(jì)參數(shù)向量。機(jī)器學(xué)習(xí)的三個(gè)基本要素2.學(xué)習(xí)準(zhǔn)則（策略）在明確了模型的假設(shè)空間之后，接下來需要考慮的是按照什么樣的準(zhǔn)則（策略）從假設(shè)空間中選擇最優(yōu)的模型，即學(xué)習(xí)準(zhǔn)則或策略問題。機(jī)器學(xué)習(xí)最后都?xì)w結(jié)為求解最優(yōu)化問題，為了實(shí)現(xiàn)某一目標(biāo)，需要構(gòu)造出一個(gè)“目標(biāo)函數(shù)”（ObjectiveFunction），然后讓目標(biāo)函數(shù)達(dá)到極大值或極小值，從而求得機(jī)器學(xué)習(xí)模型的參數(shù)。如何構(gòu)造出一個(gè)合理的目標(biāo)函數(shù)，是建立機(jī)器學(xué)習(xí)模型的關(guān)鍵，一旦目標(biāo)函數(shù)確定，接下來就是求解最優(yōu)化問題。機(jī)器學(xué)習(xí)的三個(gè)基本要素對(duì)于監(jiān)督式機(jī)器學(xué)習(xí)中的分類問題與回歸問題，機(jī)器學(xué)習(xí)本質(zhì)上是給定一個(gè)訓(xùn)練樣本數(shù)據(jù)集,嘗試學(xué)習(xí)的映射函數(shù),其中是模型的參數(shù)向量，使得給定一個(gè)輸入樣本的數(shù)據(jù)x，即便這個(gè)x不在訓(xùn)練樣本中，也能夠?yàn)閤預(yù)測(cè)出一個(gè)標(biāo)簽值。在機(jī)器學(xué)習(xí)領(lǐng)域，存在三個(gè)容易被混淆的術(shù)語(yǔ)：損失函數(shù)（LossFunction）、代價(jià)函數(shù)（CostFunction）和目標(biāo)函數(shù)（ObjectiveFunction）。機(jī)器學(xué)習(xí)的三個(gè)基本要素1）損失函數(shù)：通常是針對(duì)單個(gè)訓(xùn)練樣本而言的，用來衡量模型在每個(gè)樣本實(shí)例上的預(yù)測(cè)值與樣本的真實(shí)標(biāo)簽值之間的誤差，記作。損失函數(shù)的值越小，說明預(yù)測(cè)值與實(shí)際觀測(cè)值越接近。2）代價(jià)函數(shù)：通常是針對(duì)整個(gè)訓(xùn)練樣本集（或者一個(gè)Mini-batch）的總損失。常用的代價(jià)函數(shù)包括均方誤差、均方根誤差、平均絕對(duì)誤差等。代價(jià)函數(shù)的值越小，說明模型對(duì)訓(xùn)練集樣本數(shù)據(jù)的擬合效果越好。3）目標(biāo)函數(shù)：是一個(gè)更通用的術(shù)語(yǔ)，表示最終待優(yōu)化的函數(shù)。例如，結(jié)構(gòu)風(fēng)險(xiǎn)函數(shù)就是最終待優(yōu)化的目標(biāo)函數(shù)。由于損失函數(shù)和代價(jià)函數(shù)只是在針對(duì)樣本集上有區(qū)別，因此在有些書中統(tǒng)一使用損失函數(shù)這個(gè)術(shù)語(yǔ)，但書中的相關(guān)公式實(shí)際上采用的是代價(jià)函數(shù)的形式。機(jī)器學(xué)習(xí)的三個(gè)基本要素3.優(yōu)化算法在獲得了訓(xùn)練樣本集、確定了假設(shè)空間以及選定了合適的學(xué)習(xí)準(zhǔn)則之后，就要根據(jù)學(xué)習(xí)準(zhǔn)則（策略）從假設(shè)空間中選擇最優(yōu)模型，需要考慮用什么樣的計(jì)算方法來求解模型的最優(yōu)參數(shù)估計(jì)。機(jī)器學(xué)習(xí)模型的訓(xùn)練和學(xué)習(xí)的過程，實(shí)際上就是求解最優(yōu)化問題的過程。如果優(yōu)化問題存在顯式的解析解，則這個(gè)最優(yōu)化問題就比較簡(jiǎn)單，我們可以求出它的閉式解。但是如果不存在解析解，則需要通過數(shù)值計(jì)算的方法來不斷逼近。在機(jī)器學(xué)習(xí)中，很多優(yōu)化兩數(shù)不是凸函數(shù)，因此，如何高效地尋找到全局最優(yōu)解，是一個(gè)值得研究的問題。機(jī)器學(xué)習(xí)的三個(gè)基本要素目前，常用的優(yōu)化算法有：梯度下降法（GradientDescent,CD）、隨機(jī)梯度下降法（StochasticGradientDescent,SCD）、批量梯度下降法（Mini-BatchGradientDescent,MBGD）、牛頓法、擬牛頓法、坐標(biāo)下降法等。機(jī)器學(xué)習(xí)在不同行業(yè)中的應(yīng)用機(jī)器學(xué)習(xí)在交通運(yùn)輸行業(yè)的應(yīng)用自動(dòng)駕駛汽車是目前大家討論的一個(gè)主要的方面。盡管自動(dòng)駕駛汽車仍處于測(cè)試階段，但它將成為交通運(yùn)輸?shù)奈磥??？茖W(xué)家們正在為這種復(fù)雜的產(chǎn)品開發(fā)各種新的算法，以便使新的功能得以實(shí)現(xiàn)，例如，分析和優(yōu)化從各種來源收集的數(shù)據(jù)，并基于這些數(shù)據(jù)在真實(shí)世界中規(guī)劃路線，實(shí)現(xiàn)自動(dòng)駕駛。圖8?8機(jī)器視覺的應(yīng)用使運(yùn)輸和物流變得更智能、更高效機(jī)器學(xué)習(xí)在不同行業(yè)中的應(yīng)用計(jì)算機(jī)視覺和傳感器融合的應(yīng)用程序是自動(dòng)駕駛汽車中至關(guān)重要的應(yīng)用程序，可幫助分析路面上的不同對(duì)象并選擇車輛控制方式。車輛對(duì)從不同來源獲得的數(shù)據(jù)進(jìn)行處理和分析，再反饋給控制系統(tǒng)，以便進(jìn)行精確決策，并根據(jù)情況做出響應(yīng)。目前，寶馬公司、大眾公司，甚至日本船運(yùn)公司都建立了由人工智能專家組成的團(tuán)隊(duì)，致力于此類產(chǎn)品的研發(fā)。圖8?8機(jī)器視覺的應(yīng)用