電力大數(shù)據(jù)項目簡介XX科技股份有限公司編制

目錄一、 電力大數(shù)據(jù)項目背景 3二、 客戶情況及市場情況 41. 客戶情況 42. 市場情況 4三、 技術(shù)選型 7四、 項目團隊構(gòu)成 7五、 團隊成員技能需求 8

電力大數(shù)據(jù)項目背景近年來，互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)等技術(shù)的突飛猛進，引發(fā)了數(shù)據(jù)規(guī)模的爆炸式增長，大數(shù)據(jù)已經(jīng)普遍存在，能源、交通運輸業(yè)等領(lǐng)域都積累了TB級、PB級乃至EB級的大數(shù)據(jù)。數(shù)據(jù)的迅猛增長預(yù)示著以數(shù)據(jù)驅(qū)動的“數(shù)據(jù)科學(xué)”時代到來，國內(nèi)外都制定和啟動了大數(shù)據(jù)研究計劃，投入大量資金支持大數(shù)據(jù)研究。2012年，美國政府宣布啟動“大數(shù)據(jù)研究與開發(fā)計劃”。2013年美國電力科學(xué)研究院(EPRI)啟動了兩項大數(shù)據(jù)研究項目:輸電網(wǎng)現(xiàn)代化示范項目和配電網(wǎng)現(xiàn)代化示范項目。德國聯(lián)邦經(jīng)濟和技術(shù)部啟動了未來能源系統(tǒng)技術(shù)促進計劃，在6個示范項目中，普遍利用了大數(shù)據(jù)技術(shù)，分別從促進可再生能源發(fā)展、開發(fā)商業(yè)模式、能源服務(wù)、能源交易及傳統(tǒng)的化石能源如何融入能源互聯(lián)網(wǎng)等方面推出了能源互聯(lián)網(wǎng)初步解決方案。加拿大實施了PowerShiftAtlantic項目，其目的是通過控制熱水器、空調(diào)等跟蹤風(fēng)力發(fā)電的變動，從而保持電力需求實時平衡，是對信息與能源交互的進一步探索。2012年，中國在國家層面提出把“大數(shù)據(jù)”作為科技創(chuàng)新主攻方向之一，打造以大數(shù)據(jù)驅(qū)動的智能電網(wǎng)。《“十三五”數(shù)據(jù)中國建設(shè)下智能電網(wǎng)產(chǎn)業(yè)投資分析及前景預(yù)測報告》分析認為智能電網(wǎng)大數(shù)據(jù)結(jié)構(gòu)復(fù)雜、種類繁多，具有分散性、多樣性和復(fù)雜性等特征，這些特征給大數(shù)據(jù)處理帶來極大的挑戰(zhàn)。智能電網(wǎng)是以物理電網(wǎng)為基礎(chǔ)，將現(xiàn)代先進的傳感測量技術(shù)、通信技術(shù)、信息技術(shù)、計算機技術(shù)和控制技術(shù)與物理電網(wǎng)高度集成而形成的智能電網(wǎng)?？蛻羟闆r及市場情況客戶情況(1)數(shù)據(jù)體量巨大。智能電網(wǎng)部署了大量的智能電能表和其他監(jiān)測設(shè)備，產(chǎn)生了大量的歷史數(shù)據(jù)且在迅速增長，從TB級別，躍升到PB級別。常規(guī)數(shù)據(jù)采集與監(jiān)視控制(SupervisoryControlandDadaAequistion,SCADA)系統(tǒng)10000個遙測點，按采樣間隔3~4s計算，每年產(chǎn)生1.03TB數(shù)據(jù)。(2)數(shù)據(jù)結(jié)構(gòu)復(fù)雜，種類繁多。電網(wǎng)數(shù)據(jù)具有顯著的分布式和異構(gòu)特性，數(shù)據(jù)廣域分布、種類眾多，包括實時數(shù)據(jù)、歷史數(shù)據(jù)、文本數(shù)據(jù)、多媒體數(shù)據(jù)、時間序列數(shù)據(jù)等各類結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，以及非結(jié)構(gòu)化數(shù)據(jù)，各類數(shù)據(jù)查詢與處理的頻度和性能要求也不盡相同。比如，電力設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)中的油色譜數(shù)據(jù)0.5h采樣一次，而絕緣放電數(shù)據(jù)的采樣速率高達幾百kHz,甚至GHz。(3)實時性要求(速度)高且增長快。能源生產(chǎn)、轉(zhuǎn)換和消費要求瞬間完成，電網(wǎng)大數(shù)據(jù)中包含著很多實時性數(shù)據(jù)，數(shù)據(jù)的分析結(jié)果也往往具有實時性要求。(4)數(shù)據(jù)價值高。大數(shù)據(jù)應(yīng)用貫穿電力發(fā)、輸、配用、調(diào)度等各個環(huán)節(jié)，通過大數(shù)據(jù)技術(shù)應(yīng)用可對各個階段進行預(yù)測，及時發(fā)現(xiàn)潛在風(fēng)險，保證電網(wǎng)的安全性和電價的經(jīng)濟性:大數(shù)據(jù)應(yīng)用催生了更多的互聯(lián)網(wǎng)商業(yè)模式，甚至將影響不同區(qū)域一次能源的價格體系。市場情況電力大數(shù)據(jù)大致可分為3類:電力系統(tǒng)運行和設(shè)備檢測、實時狀態(tài)數(shù)據(jù)，電力企業(yè)營銷數(shù)據(jù)和電力企業(yè)管理數(shù)據(jù)。其中，電力企業(yè)營銷數(shù)據(jù)又包括交易電價、售電量、用電客戶等方面的數(shù)據(jù)。隨著我國智能電網(wǎng)以及能源互聯(lián)網(wǎng)的建設(shè)越來越深人，大數(shù)據(jù)技術(shù)已成為支撐智能電網(wǎng)安全運行最重要的方法，因此要充分挖掘電力大數(shù)據(jù)的價值。(1)輔助電源系統(tǒng)協(xié)同運行決策。電力多源系統(tǒng)協(xié)同優(yōu)化決策的前提是對大量、翔實、可靠的信息進行及時處理，缺乏全面的信息資源將會造成決策的偏差、失誤，以及管理效率的低下。具體而言，在電源端，包含了大量分布式電源、微網(wǎng)、儲能裝置，還需實現(xiàn)電力與供熱(冷)、供氣和交通系統(tǒng)的互動，只有建立起電力與其他能源的營、配、調(diào)一體化數(shù)據(jù)融合系統(tǒng)，利用大數(shù)據(jù)技術(shù)進行分析，才能保證多種能源的智能生產(chǎn)與配送。(2)支持電力安全穩(wěn)定經(jīng)濟運行。電力系統(tǒng)本身是一個動態(tài)實時變化的系統(tǒng)，因此必須實時監(jiān)測系統(tǒng)的運行狀態(tài)，快速處理各種情況，保證系統(tǒng)的安全檢定運行。統(tǒng)計發(fā)現(xiàn)，大多數(shù)電網(wǎng)故陳主要是設(shè)備故原問題引發(fā)的，通過收集設(shè)備的全壽命周期數(shù)據(jù)(實驗數(shù)據(jù)、運行數(shù)據(jù)及氣候環(huán)境數(shù)據(jù)等)。建立設(shè)備運行模型，有利于實時評估設(shè)備狀態(tài)，從而避免由于設(shè)備故障造成的電網(wǎng)事故。(3)催化新商業(yè)模式的形成。在構(gòu)建能源互聯(lián)網(wǎng)過程中，數(shù)以百億計的設(shè)備需要與網(wǎng)絡(luò)互聯(lián)互通，不斷果積的海量數(shù)據(jù)有待于挖掘和運用的同時，在各國電網(wǎng)廣泛互聯(lián)狀態(tài)下，電力價格屬性將會催生更多的互聯(lián)網(wǎng)商業(yè)模式，甚至將影響不同區(qū)域次能源的價格體系。同時將涌現(xiàn)出基于開放的電源端、售電端活躍市場.以及在節(jié)能增效的大背景出現(xiàn)的新型能源公司。這一概念下的“能源互聯(lián)網(wǎng)”，呈現(xiàn)的是前所未有的互聯(lián)網(wǎng)激情和各行各業(yè)的主動融合?！盎ヂ?lián)網(wǎng)+”和用電市場的大力結(jié)合，將全力帶動相關(guān)產(chǎn)業(yè)健康發(fā)展。(4)提高能源管理水平。利用數(shù)理統(tǒng)計、模式識別、神經(jīng)網(wǎng)絡(luò)、機器學(xué)習(xí)、人工智能等技術(shù)，可從海量數(shù)據(jù)中挖掘出能源生產(chǎn)和消費中能量損失的原因，為能源生產(chǎn)和消費效率提升找到方向?；谔鞖鈹?shù)據(jù)、環(huán)境數(shù)據(jù)、能源互聯(lián)網(wǎng)設(shè)備監(jiān)控數(shù)據(jù)，可實現(xiàn)動態(tài)定容、提高設(shè)備利用率，并提高設(shè)備運檢效率與運維管理水平;通過搜集、整理、分析、檢索各能源消費終端、生產(chǎn)鏈等能源信息，最快地傳輸能源需求和能源供給，在整個能源互聯(lián)網(wǎng)中實現(xiàn)能源調(diào)配，滿足用戶、企業(yè)、生產(chǎn)商、運營商等各方的需求，可最大限度地避免能源浪費與低效利用。(5)提高調(diào)度精益化水平。根據(jù)電力生產(chǎn)發(fā)、供、用必須同時完成的瞬時平衡規(guī)律及電能不能大規(guī)模有效存儲的特點，需要科學(xué)調(diào)度，保持電網(wǎng)正常運行。電力系統(tǒng)調(diào)度當(dāng)前主要應(yīng)用SCADA系統(tǒng)，以實現(xiàn)數(shù)據(jù)采集、設(shè)備控制、測量、參數(shù)調(diào)節(jié)，以及各類信號報警等各項功能。但隨著大規(guī)模間歇性能源的接入，電力系統(tǒng)的結(jié)構(gòu)更加復(fù)雜多變，海量、分散、異構(gòu)的實時信息大量涌人數(shù)據(jù)中心，面對大量實時信息時，傳統(tǒng)調(diào)度系統(tǒng)的實時性和合理性很難滿足要求，無法實現(xiàn)電網(wǎng)的精益化調(diào)度。因此，基于大數(shù)據(jù)的調(diào)度技術(shù)關(guān)鍵問題是設(shè)計基于大規(guī)模多源細節(jié)數(shù)據(jù)的電力系統(tǒng)調(diào)度模型和實時流數(shù)據(jù)分析處理技術(shù)，實現(xiàn)電力系統(tǒng)調(diào)度從粗放型向集約型的轉(zhuǎn)變。技術(shù)選型CDH/FlumeKafka 數(shù)據(jù)采集，結(jié)合數(shù)據(jù)流技術(shù)對接各類應(yīng)用系統(tǒng)及數(shù)據(jù)庫的數(shù)據(jù)資源CDH/HDFS 文件類數(shù)據(jù)整合與存儲，HADOOP技術(shù)路線CDH/HBASE 格式類數(shù)據(jù)整合與存儲，HADOOP技術(shù)路線CDH/HIVE 數(shù)據(jù)清洗CDH/SPARK 離線數(shù)據(jù)開發(fā)及處理FLINK 實時數(shù)據(jù)開發(fā)及處理CDH/SPARK 數(shù)據(jù)服務(wù)及安全CDH/YARN+CM 數(shù)據(jù)負載及集群管理CDH/HIVESparkML 數(shù)據(jù)分析及智能TABLEAU 針對數(shù)據(jù)分析及智能提供自助式或嵌入式的可視化分析圖表ELASTICSEARCH 針對數(shù)據(jù)分析及智能提供面向用戶的全局數(shù)據(jù)探索或面向應(yīng)用的全局數(shù)據(jù)搜索HADOOPYARN 針對數(shù)據(jù)服務(wù)及安全類應(yīng)用的定制開發(fā)提供微服務(wù)運行環(huán)境技術(shù)管理工具項目團隊構(gòu)成姓名性別學(xué)歷職稱專業(yè)工作單位項目中的分工每年工作時間(月)簽字成員A男本科高級大數(shù)據(jù)工程師應(yīng)用電子