物聯(lián)網(wǎng)

技術(shù)導(dǎo)論數(shù)字經(jīng)濟(jì)系列教材第11章

智能數(shù)據(jù)處理技術(shù)物聯(lián)網(wǎng)

技術(shù)導(dǎo)論0111.1物聯(lián)網(wǎng)大數(shù)據(jù)0211.2物聯(lián)網(wǎng)與人工智能目錄CONTENTS11.1物聯(lián)網(wǎng)大數(shù)據(jù)大數(shù)據(jù)“大數(shù)據(jù)”概念最早源于2012年美國(guó)政府啟動(dòng)的“大數(shù)據(jù)研究和發(fā)展計(jì)劃”，可通俗理解為超出現(xiàn)有計(jì)算能力的大規(guī)模數(shù)據(jù)集。麥肯錫全球研究所給出的定義是：一種規(guī)模大到在獲取、存儲(chǔ)、管理、分析方面極大地超出了傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價(jià)值密度低4大特征。大數(shù)據(jù)的提出的背景是互聯(lián)網(wǎng)高度發(fā)展、移動(dòng)互聯(lián)網(wǎng)初試牛刀、云計(jì)算由虛入實(shí)、互聯(lián)網(wǎng)到移動(dòng)互聯(lián)網(wǎng)再到物聯(lián)網(wǎng)進(jìn)入未來(lái)10~20年的戰(zhàn)略性發(fā)展機(jī)遇，尤其是互聯(lián)網(wǎng)到物聯(lián)網(wǎng)的跨越進(jìn)程將極大程度地帶動(dòng)大數(shù)據(jù)的發(fā)展與應(yīng)用。大數(shù)據(jù)的概念VeracityVelocityVolumeVarityValue增長(zhǎng)速度加快(Velocity)，產(chǎn)業(yè)數(shù)據(jù)源多樣化，數(shù)據(jù)加速量增長(zhǎng)；規(guī)模成倍擴(kuò)大(Volume)，非結(jié)構(gòu)化數(shù)據(jù)規(guī)模遠(yuǎn)大于結(jié)構(gòu)化數(shù)據(jù)，已經(jīng)步人ZB(Zettabyte)時(shí)代；數(shù)據(jù)類型越發(fā)多樣化(Varity)，數(shù)據(jù)表現(xiàn)出異構(gòu)化(非結(jié)構(gòu)化、半結(jié)構(gòu)化和結(jié)構(gòu)化)和多樣性(數(shù)據(jù)、文本、音頻、圖像、視頻等)特征；價(jià)值成倍增長(zhǎng)(Value)，在研發(fā)、營(yíng)銷、人資、采購(gòu)等諸多方面的潛在價(jià)值越來(lái)越大；真實(shí)數(shù)據(jù)保證(Veracity)，即處理的結(jié)果要保證一定的準(zhǔn)確性。大數(shù)據(jù)的基本特征11.1物聯(lián)網(wǎng)大數(shù)據(jù)大數(shù)據(jù)的作用大數(shù)據(jù)時(shí)代科學(xué)研究的方法手段將發(fā)生重大改變。大數(shù)據(jù)是信息產(chǎn)業(yè)持續(xù)高速增長(zhǎng)的新引擎。大數(shù)據(jù)利用將成為提高核心競(jìng)爭(zhēng)力的關(guān)鍵因素。對(duì)大數(shù)據(jù)的處理分析正成為新一代信息技術(shù)融合應(yīng)用的節(jié)點(diǎn)。大數(shù)據(jù)的作用11.1物聯(lián)網(wǎng)大數(shù)據(jù)商業(yè)活動(dòng)信息化、社交化移動(dòng)化，大數(shù)據(jù)必然會(huì)成為大部分行業(yè)用戶商業(yè)價(jià)值實(shí)現(xiàn)的最佳捷徑。物聯(lián)網(wǎng)大數(shù)據(jù)可以提供從商業(yè)支撐到商業(yè)決策的各種行業(yè)信息。有效處理物聯(lián)網(wǎng)背后的大數(shù)據(jù)并不容易，物聯(lián)網(wǎng)中的大數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)有很大不同。物聯(lián)網(wǎng)大數(shù)據(jù)包括社交網(wǎng)絡(luò)數(shù)據(jù)和傳感器感知數(shù)據(jù)。即使其中的社交網(wǎng)絡(luò)數(shù)據(jù)相當(dāng)多的可被處理的非結(jié)構(gòu)化數(shù)據(jù)，如新聞、微博等，但是物聯(lián)網(wǎng)傳感器所采集的各種碎片化數(shù)據(jù)在目前卻屬于不能被處理的非結(jié)構(gòu)化數(shù)據(jù)。在物聯(lián)網(wǎng)顆?；⒎墙Y(jié)構(gòu)化數(shù)據(jù)的處理過(guò)程中，如何通過(guò)統(tǒng)一物聯(lián)網(wǎng)架構(gòu)設(shè)計(jì)，將非結(jié)構(gòu)化的數(shù)據(jù)變得結(jié)構(gòu)化，將不同系統(tǒng)之間不同結(jié)構(gòu)的數(shù)據(jù)盡可能地統(tǒng)一成方精確解析非結(jié)構(gòu)信息的關(guān)鍵技術(shù)難點(diǎn)之一。物聯(lián)網(wǎng)大數(shù)據(jù)物聯(lián)網(wǎng)大數(shù)據(jù)11.1物聯(lián)網(wǎng)大數(shù)據(jù)010203040506物聯(lián)網(wǎng)數(shù)據(jù)體量巨大多源異構(gòu)特性數(shù)據(jù)采樣頻率極高，數(shù)據(jù)生成速度快具有時(shí)間和空間屬性價(jià)值密度低物聯(lián)網(wǎng)大數(shù)據(jù)的可視化在未來(lái)10~20年中，物聯(lián)網(wǎng)面臨著大數(shù)據(jù)時(shí)代戰(zhàn)略性的發(fā)展機(jī)遇及挑戰(zhàn)。物聯(lián)網(wǎng)的以下幾個(gè)特點(diǎn)對(duì)數(shù)據(jù)處理技術(shù)形成了巨大的挑戰(zhàn)：11.1物聯(lián)網(wǎng)大數(shù)據(jù)物聯(lián)網(wǎng)大數(shù)據(jù)的特點(diǎn)物聯(lián)網(wǎng)大數(shù)據(jù)的存儲(chǔ)和處理需求主要包括：①物聯(lián)網(wǎng)大數(shù)據(jù)的快速收集、分發(fā)；②物聯(lián)網(wǎng)大數(shù)據(jù)的可靠存儲(chǔ)；③海量物聯(lián)網(wǎng)歷史數(shù)據(jù)的快速批處理；④海量物聯(lián)網(wǎng)歷史數(shù)據(jù)的快速查詢；⑤對(duì)不斷采集的物聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行實(shí)時(shí)流處理；⑥對(duì)高并發(fā)訪問(wèn)請(qǐng)求進(jìn)行實(shí)時(shí)批處理；⑦物聯(lián)網(wǎng)大數(shù)據(jù)的多源數(shù)據(jù)融合分析。實(shí)現(xiàn)對(duì)海量傳感器采樣數(shù)據(jù)的集中管理，可以實(shí)現(xiàn)復(fù)雜事件與規(guī)律的感知。此外，傳感器采樣數(shù)據(jù)的集中管理還使得物-物互聯(lián)(WebofThings)、基于物的搜索引擎、傳感器采樣數(shù)據(jù)的統(tǒng)計(jì)分析與數(shù)據(jù)挖掘等成為可能。在數(shù)據(jù)存儲(chǔ)方面，物聯(lián)網(wǎng)海量數(shù)據(jù)可以利用分布式文件系統(tǒng)來(lái)存儲(chǔ)，例如利用Hadoop的HDFS等存儲(chǔ)系統(tǒng)，然而這些系統(tǒng)雖然可以存儲(chǔ)大數(shù)據(jù)，但很難滿足一些特定的實(shí)時(shí)性要求。因此必須對(duì)系統(tǒng)中的大數(shù)據(jù)根據(jù)性能和分析要求進(jìn)行分類存儲(chǔ)：對(duì)性能要求非常高的實(shí)時(shí)數(shù)據(jù)采用實(shí)時(shí)數(shù)據(jù)庫(kù)系統(tǒng)；對(duì)核心業(yè)務(wù)數(shù)據(jù)使用傳統(tǒng)的并行數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)；對(duì)大量的歷史和非結(jié)構(gòu)化數(shù)據(jù)采用分布式文件系統(tǒng)。11.1物聯(lián)網(wǎng)大數(shù)據(jù)物聯(lián)網(wǎng)數(shù)據(jù)的存儲(chǔ)數(shù)據(jù)挖掘（Datamining）又稱為資料探勘、數(shù)據(jù)采礦。它是數(shù)據(jù)庫(kù)知識(shí)發(fā)現(xiàn)(Knowledge-DiscoveryinDatabases，KDD)中的一個(gè)步驟，數(shù)據(jù)挖據(jù)是指從大量的數(shù)據(jù)中通過(guò)算法搜索隱藏于其中信息的過(guò)程。數(shù)據(jù)挖掘通常與計(jì)算機(jī)科學(xué)有關(guān),并通過(guò)統(tǒng)計(jì)，在線分析處理、情報(bào)檢索、機(jī)器學(xué)習(xí)、專家系統(tǒng)（依靠過(guò)去的經(jīng)驗(yàn)法則）和模式識(shí)別等諸多方法來(lái)實(shí)現(xiàn)上述目標(biāo)。數(shù)據(jù)挖掘11.1物聯(lián)網(wǎng)大數(shù)據(jù)數(shù)據(jù)挖掘的概念數(shù)據(jù)總結(jié)繼承于數(shù)據(jù)分析中的統(tǒng)計(jì)分析。數(shù)據(jù)總結(jié)目的是對(duì)數(shù)據(jù)進(jìn)行濃縮，給出它的緊湊描述。如求和值、平均值、方差值、直方圖，餅狀圖等。分類目的是構(gòu)造一個(gè)分類函數(shù)或分類模型，該模型能把數(shù)據(jù)庫(kù)中的數(shù)據(jù)項(xiàng)映射到給定類別中的某一個(gè)。聚類把整個(gè)數(shù)據(jù)庫(kù)分成不同的群組。是使群與群之間差別很明顯，而同一個(gè)群之間的數(shù)據(jù)盡量相似。關(guān)聯(lián)分析尋找數(shù)據(jù)庫(kù)中值的相關(guān)性。兩種常用的技術(shù)是關(guān)聯(lián)規(guī)則和序列模式。預(yù)測(cè)把握分析對(duì)象發(fā)展的規(guī)律，對(duì)未來(lái)的趨勢(shì)做出預(yù)見(jiàn)。偏差的檢測(cè)對(duì)分析對(duì)象少數(shù)的、極端的特例描述，揭示內(nèi)在的原因。數(shù)據(jù)挖掘綜合了各個(gè)學(xué)科技術(shù)，有很多的功能，當(dāng)前的主要功能如下：11.1物聯(lián)網(wǎng)大數(shù)據(jù)數(shù)據(jù)挖掘的主要功能以上數(shù)據(jù)挖掘的各項(xiàng)功能不是獨(dú)立存在的，它們?cè)跀?shù)據(jù)挖掘中互相聯(lián)系，發(fā)揮作用數(shù)據(jù)集成選擇與預(yù)處理數(shù)據(jù)挖掘解釋與評(píng)估創(chuàng)建目標(biāo)數(shù)據(jù)集數(shù)據(jù)清理、數(shù)據(jù)歸約、選擇數(shù)據(jù)挖掘函數(shù)和挖掘算法尋找有趣的數(shù)據(jù)模式，自動(dòng)發(fā)現(xiàn)/分類/預(yù)測(cè)解釋/描述分析結(jié)果，使用可視化和知識(shí)表現(xiàn)技術(shù),向用戶提供挖掘的知識(shí)數(shù)據(jù)挖掘的具體過(guò)程分為以下四步：11.1物聯(lián)網(wǎng)大數(shù)據(jù)數(shù)據(jù)挖掘的過(guò)程關(guān)聯(lián)分析數(shù)據(jù)關(guān)聯(lián)是數(shù)據(jù)庫(kù)中存在的一類重要的可被發(fā)現(xiàn)的知識(shí)。若兩個(gè)或多個(gè)變量的取值之間存在某種規(guī)律性，就稱為關(guān)聯(lián)。關(guān)聯(lián)可分為簡(jiǎn)單關(guān)聯(lián)、時(shí)序關(guān)聯(lián)、因果關(guān)聯(lián)。關(guān)聯(lián)分析的目的是找出數(shù)據(jù)庫(kù)中隱藏的關(guān)聯(lián)網(wǎng)。分類分析分類是數(shù)據(jù)挖掘的一種非常重要的方法，它使用類標(biāo)簽已知的樣本建立一個(gè)分類函數(shù)或分類模型(也常常稱作分類器)。應(yīng)用分類模型，能把數(shù)據(jù)庫(kù)中的類標(biāo)簽未知的數(shù)據(jù)進(jìn)行歸類。分類分析有兩個(gè)步驟：構(gòu)建模型和模型應(yīng)用。聚類分析聚類分析又稱集群分析，它是研究(樣品或指標(biāo))分類問(wèn)題的一種統(tǒng)計(jì)分析方法。將物理或抽象對(duì)象的集合分成由類似的對(duì)象組成的多個(gè)類的過(guò)程被稱為聚類。數(shù)據(jù)挖掘的常用手段大體可以分為三種：關(guān)聯(lián)分析、分類分析以及聚類分析。11.1物聯(lián)網(wǎng)大數(shù)據(jù)數(shù)據(jù)挖掘分析物聯(lián)網(wǎng)的智能決策智能決策支持系統(tǒng)是近年來(lái)出現(xiàn)的新一代決策支持系統(tǒng)，其將人工智能（AI）和DSS相結(jié)合，應(yīng)用專家系統(tǒng)（ES，ExpertSystem）技術(shù)，使決策支持系統(tǒng)能夠更充分地應(yīng)用人類的知識(shí)，如關(guān)于決策問(wèn)題的描述性知識(shí)，決策過(guò)程中的過(guò)程性知識(shí)，求解問(wèn)題的推理性知識(shí)，通過(guò)邏輯推理來(lái)幫助解決復(fù)雜的決策問(wèn)題的輔助決策系統(tǒng)。物聯(lián)網(wǎng)的智能控制在無(wú)人干預(yù)的情況下能自主地驅(qū)動(dòng)智能機(jī)器實(shí)現(xiàn)控制目標(biāo)的自動(dòng)控制技術(shù)。在研究和設(shè)計(jì)智能系統(tǒng)時(shí)，主要注意力不放在數(shù)學(xué)公式的表達(dá)、計(jì)算和處理方面，而是放在對(duì)任務(wù)和現(xiàn)實(shí)模型的描述、符號(hào)和環(huán)境的識(shí)別以及知識(shí)庫(kù)和推理機(jī)的開(kāi)發(fā)上，即智能控制的關(guān)鍵問(wèn)題不是設(shè)計(jì)常規(guī)控制器，而是研制智能機(jī)器的模型。智能控制的核心在高層控制，即組織控制。11.1物聯(lián)網(wǎng)大數(shù)據(jù)智能決策與智能控制人與計(jì)算機(jī)的自然交互是新一代的人機(jī)交互方式默讀識(shí)別眼動(dòng)跟蹤電觸覺(jué)刺激仿生隱形眼鏡人機(jī)界面11.2物聯(lián)網(wǎng)與人工智能自然交互技術(shù)與物聯(lián)網(wǎng)機(jī)器學(xué)習(xí)使用歷史數(shù)據(jù)的監(jiān)督學(xué)習(xí)技術(shù)來(lái)進(jìn)行認(rèn)知決策。歷史數(shù)據(jù)量越大，算法的決策能力越好。這種理念使物聯(lián)網(wǎng)成為機(jī)器學(xué)習(xí)的理想用例，因?yàn)樵O(shè)備生成的數(shù)據(jù)通常非常頻繁。機(jī)器學(xué)習(xí)使用歷史數(shù)據(jù)的監(jiān)督學(xué)習(xí)技術(shù)來(lái)進(jìn)行認(rèn)知決策。歷史數(shù)據(jù)量越大，算法的決策能力越好。這種理念使物聯(lián)網(wǎng)成為機(jī)器學(xué)習(xí)的理想用例，因?yàn)樵O(shè)備生成的數(shù)據(jù)通常非常頻繁。機(jī)器學(xué)習(xí)與物聯(lián)網(wǎng)架構(gòu)圖11.2物聯(lián)網(wǎng)與人工智能機(jī)器學(xué)習(xí)與物聯(lián)網(wǎng)11.2物聯(lián)網(wǎng)與人工智能機(jī)器學(xué)習(xí)與物聯(lián)網(wǎng)車輛遙感技術(shù)異常檢測(cè)機(jī)器學(xué)習(xí)可以用來(lái)檢測(cè)時(shí)間序列數(shù)據(jù)中的異常情況，這是由物聯(lián)網(wǎng)設(shè)備發(fā)送的數(shù)據(jù)反饋信息，這些數(shù)據(jù)在時(shí)間上都是一致的。使用機(jī)器學(xué)習(xí)算法監(jiān)測(cè)設(shè)備信息流的實(shí)時(shí)流，可以檢測(cè)到峰值和下降、正和負(fù)趨勢(shì)等異常情況。機(jī)器學(xué)習(xí)解決方案的能力，可以從上百萬(wàn)的車輛事件中吸取經(jīng)驗(yàn)，以提高安全性、可靠性和駕駛經(jīng)驗(yàn)，這使它成為運(yùn)輸和物流行業(yè)采用的理想技術(shù)。預(yù)測(cè)維護(hù)機(jī)器學(xué)習(xí)算法能夠預(yù)見(jiàn)設(shè)備故障的可能性、設(shè)備的壽命以及故障的原因，從而使企業(yè)能夠通過(guò)顯著降低維護(hù)時(shí)間來(lái)優(yōu)化運(yùn)營(yíng)成本。以下是一些機(jī)器學(xué)習(xí)與物聯(lián)網(wǎng)合作以實(shí)現(xiàn)業(yè)務(wù)優(yōu)化的常見(jiàn)場(chǎng)景：半監(jiān)督學(xué)習(xí)大量物聯(lián)網(wǎng)應(yīng)用需要使用監(jiān)督機(jī)器學(xué)習(xí)。由于手動(dòng)標(biāo)記大型數(shù)據(jù)集是一項(xiàng)耗時(shí)、容易出錯(cuò)且價(jià)格昂貴的任務(wù)，因此機(jī)器學(xué)習(xí)專業(yè)人員通常轉(zhuǎn)向標(biāo)記為開(kāi)源的數(shù)據(jù)集，或者從少量數(shù)據(jù)開(kāi)始標(biāo)記?？紤]到這一點(diǎn)，在算法訓(xùn)練中利用標(biāo)記和未標(biāo)記數(shù)據(jù)的半監(jiān)督學(xué)習(xí)策略更為有效。特別是主動(dòng)學(xué)習(xí)是一種非常合適的方法，其對(duì)需要標(biāo)記的數(shù)據(jù)進(jìn)行優(yōu)先處理，以便對(duì)訓(xùn)練監(jiān)督模型產(chǎn)生最大影響。群體感知在機(jī)器學(xué)習(xí)方面，物聯(lián)網(wǎng)發(fā)展的一個(gè)非常有趣的方面是群體感知的出現(xiàn)。群體感知包括兩種形式：用戶自愿提供信息，和在沒(méi)有明確干預(yù)用戶的情況下自動(dòng)收集數(shù)據(jù)。物聯(lián)網(wǎng)實(shí)際上允許前所未有的方式收集非常獨(dú)特的數(shù)據(jù)集。由于每個(gè)設(shè)備生成的數(shù)據(jù)通常都是人為的，因此用戶可以標(biāo)記或驗(yàn)證它，收集最接近用戶位置的數(shù)據(jù)也變得可能。機(jī)器學(xué)習(xí)所提供的服務(wù)，有半監(jiān)督學(xué)習(xí)和群體感知兩種方式：機(jī)器學(xué)習(xí)與物聯(lián)網(wǎng)11.2物聯(lián)網(wǎng)與人工智能自動(dòng)駕駛車輛（AutomatedVehicles，AV），也稱無(wú)人駕駛車輛，是當(dāng)前研究和應(yīng)用的熱點(diǎn)。自動(dòng)化駕駛與物聯(lián)網(wǎng)技術(shù)相結(jié)合將會(huì)實(shí)現(xiàn)產(chǎn)業(yè)升級(jí)，讓行車更安全，能極大提升人們生活與工作效率。于此同時(shí)，自動(dòng)駕駛帶來(lái)共乘共享的機(jī)制還能讓都市塞車、城市污染等“城市病”迎刃而解。無(wú)人駕駛汽車需要收集和處理大量數(shù)據(jù)，并通過(guò)物聯(lián)網(wǎng)在汽車間共享信息，這些信息包括實(shí)際路徑、交通狀況以及如何繞過(guò)障礙物等。所有這些數(shù)據(jù)在物聯(lián)網(wǎng)連接的汽車之間共享，并通過(guò)無(wú)線上傳到云系統(tǒng)進(jìn)行分析和使用，從而提高自動(dòng)化程度。無(wú)人駕駛技術(shù)11.2物聯(lián)網(wǎng)與人工智能自動(dòng)駕駛技術(shù)0102030405061925年，一位名叫弗朗西斯·胡迪納的工程師展示了第一輛無(wú)線電控制的“無(wú)人駕駛”汽車。1956年，通用公司的FirebirdII概念車建造了一個(gè)導(dǎo)航系統(tǒng)和嵌入道路中探測(cè)電路的電子自動(dòng)控制系統(tǒng)。1958年，克萊斯勒汽車公司推出了首輛裝有巡航控制功能的汽車。1979年，斯坦福大學(xué)發(fā)明了一種名為手推車的機(jī)器人，在沒(méi)有任何人為干預(yù)的情況下穿越一個(gè)充滿障礙物的房間。1994年，德國(guó)聯(lián)邦國(guó)防軍大學(xué)研制的VaMP和VITA-2機(jī)器人汽車在道路中安全地穿行了600多英里。2009年，谷歌的自動(dòng)駕駛車項(xiàng)目開(kāi)始。072015年，特斯拉發(fā)布了自動(dòng)駕駛儀軟件。082018年，通用汽車正在尋求批準(zhǔn)一款沒(méi)有方向盤(pán)或踏板的自動(dòng)駕駛汽車。11.2物聯(lián)網(wǎng)與人工智能自動(dòng)駕駛技術(shù)零級(jí)是無(wú)自動(dòng)化沒(méi)有任何自動(dòng)駕駛功能、技術(shù)，完全由司機(jī)控制車輛。一級(jí)是指“協(xié)助司機(jī)”向司機(jī)提供基本的技術(shù)性幫助，司機(jī)占據(jù)主導(dǎo)位置。二級(jí)是