基于云計(jì)算的煤礦應(yīng)急管理數(shù)字化數(shù)據(jù)存儲(chǔ)及處理性能研究

0煤礦應(yīng)急管理y生物云平臺(tái)隨著物聯(lián)網(wǎng)技術(shù)在煤礦安全生產(chǎn)系統(tǒng)中的廣泛應(yīng)用，從大量信息中采集的數(shù)據(jù)體積是巨大的，這些數(shù)據(jù)需要集中在一些存儲(chǔ)和處理設(shè)施上。云計(jì)算對(duì)這些任務(wù)具有非常顯著的成本效益。基于SOA的煤礦應(yīng)急云(CECloud,CoalmineE-mergencyCloud)是未來煤礦應(yīng)急管理信息化的基本平臺(tái)與環(huán)境,是一個(gè)面向煤炭行業(yè)安全事故應(yīng)急救援領(lǐng)域的行業(yè)云,是未來煤礦應(yīng)急管理信息平臺(tái)在云計(jì)算環(huán)境下遷移后的子云,整合形成了煤炭行業(yè)高性能的計(jì)算和存儲(chǔ)能力,為煤礦海量數(shù)據(jù)應(yīng)用的挖掘和分析提供專業(yè)穩(wěn)定的IT基礎(chǔ)設(shè)施平臺(tái)。在煤礦應(yīng)急云平臺(tái)中,隨著物聯(lián)網(wǎng)、無線傳感器網(wǎng)絡(luò)等技術(shù)在煤礦安全生產(chǎn)信息化建設(shè)中的廣泛應(yīng)用,煤礦大量實(shí)時(shí)監(jiān)測(cè)、控制及自動(dòng)化等實(shí)時(shí)系統(tǒng)產(chǎn)生的流式數(shù)據(jù)會(huì)形成相當(dāng)規(guī)模的數(shù)據(jù)集,以及各類半結(jié)構(gòu)化及非結(jié)構(gòu)化的煤礦井下監(jiān)控視頻、3D礦圖等大數(shù)據(jù)量文件,對(duì)煤礦企業(yè)現(xiàn)有信息系統(tǒng)構(gòu)架在海量數(shù)據(jù)存儲(chǔ)及處理問題上提出了更大的挑戰(zhàn)。因此,文中將分析煤礦應(yīng)急云平臺(tái)中海量數(shù)據(jù)的來源及特點(diǎn),并設(shè)計(jì)基于NoSQL的存儲(chǔ)方式,通過實(shí)驗(yàn)驗(yàn)證煤礦應(yīng)急云平臺(tái)具有更高的海量數(shù)據(jù)存儲(chǔ)及處理性能。1信息的采集處理針對(duì)煤礦應(yīng)急管理海量數(shù)據(jù)的多源異構(gòu)性可知,煤礦企業(yè)海量數(shù)據(jù)具有明顯的層次性特點(diǎn)。不同層面的數(shù)據(jù)都有獨(dú)特的存儲(chǔ)格式以及相應(yīng)的信息處理方案。在該平臺(tái)中,煤礦應(yīng)管理的海量數(shù)據(jù)有以下5個(gè)來源:(1)一次數(shù)據(jù)源。主要指煤礦各類傳感器采集的實(shí)時(shí)數(shù)據(jù),包括直接從傳輸系統(tǒng)采集的協(xié)議包數(shù)據(jù)、解調(diào)后從主機(jī)內(nèi)存中取得的數(shù)或從儲(chǔ)存介質(zhì)中取得的“即時(shí)數(shù)據(jù)”;(2)二次數(shù)據(jù)源。指存儲(chǔ)在云平臺(tái)中的各類傳感器上傳的歷史數(shù)據(jù),以及經(jīng)過聯(lián)機(jī)事務(wù)加工處理后產(chǎn)生的新數(shù)據(jù),如海量數(shù)據(jù)挖掘、智能分析與預(yù)警、風(fēng)險(xiǎn)評(píng)估、安全等級(jí)判定等新業(yè)務(wù),更好地為煤礦用戶服務(wù);(3)煤礦事故現(xiàn)場(chǎng)數(shù)據(jù)。在煤礦事故應(yīng)急處置過程中,事故現(xiàn)場(chǎng)的數(shù)據(jù)對(duì)掌握事故最新動(dòng)態(tài)從而正確決策具有關(guān)鍵性的作用,因此在現(xiàn)場(chǎng)事件處置人員實(shí)時(shí)采集現(xiàn)場(chǎng)圖片、聲音、視頻等數(shù)據(jù),這些數(shù)據(jù)以非結(jié)構(gòu)化、多模態(tài)的組織形式為主,并且具有相應(yīng)的采集標(biāo)準(zhǔn);(4)與煤礦事故應(yīng)急救援相關(guān)的互聯(lián)網(wǎng)數(shù)據(jù)源;(5)用戶信息。服務(wù)平臺(tái)有多租戶的特點(diǎn),所有煤礦應(yīng)急云服務(wù)使用者都能在這一平臺(tái)上組織所需資源來定制服務(wù),他們通過身份認(rèn)證登錄到云平臺(tái)中“按需使用,按需付費(fèi)”。2煤礦安全生產(chǎn)監(jiān)測(cè)數(shù)據(jù)的特點(diǎn)隨著現(xiàn)代數(shù)字化煤礦發(fā)展產(chǎn)生了越來越多的數(shù)據(jù),迫使數(shù)據(jù)管理方式發(fā)生了變化,需要從傳統(tǒng)的數(shù)據(jù)庫技術(shù)轉(zhuǎn)移到大數(shù)據(jù)管理技術(shù)。煤礦應(yīng)急管理海量數(shù)據(jù)有以下特點(diǎn)1)數(shù)據(jù)規(guī)模大。煤礦企業(yè)生產(chǎn)過程中的數(shù)據(jù)是很重要的動(dòng)態(tài)數(shù)據(jù),是以監(jiān)測(cè)點(diǎn)為基礎(chǔ)采集、存貯的數(shù)據(jù),包括了以瓦斯為主的環(huán)境監(jiān)測(cè)數(shù)據(jù)(一氧化碳、二氧化碳、風(fēng)速、風(fēng)壓、頂板離層移動(dòng)距離)、設(shè)備信息(溫度、電流、電壓、開停、工作壓力、潤滑壓力、移動(dòng)設(shè)備位置信息)、井下人員信息(位置、移動(dòng)方向等)及空間信息等測(cè)量數(shù)據(jù);2)數(shù)據(jù)的種類繁多。煤礦安全生產(chǎn)監(jiān)測(cè)數(shù)據(jù)類型可分為原始瞬時(shí)值、平均值、累計(jì)值和平衡后的瞬時(shí)值、平均值、累計(jì)值等結(jié)構(gòu)化數(shù)據(jù),同時(shí)還存在著礦圖數(shù)據(jù)、GIS數(shù)據(jù)、監(jiān)控視頻及圖像數(shù)據(jù)、應(yīng)急知識(shí)、應(yīng)急預(yù)案、事故案例等半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù),并且此類數(shù)據(jù)所占份額越來越大;3)系統(tǒng)處理對(duì)象不僅僅是數(shù)據(jù),還包括推理信息,用來輔助解決其他領(lǐng)域的問題;4)從以計(jì)算為中心轉(zhuǎn)變到以數(shù)據(jù)處理為中心,數(shù)據(jù)不僅僅是訪問的對(duì)象,而應(yīng)當(dāng)轉(zhuǎn)變成一種基礎(chǔ)資源,使其產(chǎn)生更多的附加價(jià)值。因此,在云計(jì)算和物聯(lián)網(wǎng)時(shí)代,面對(duì)煤礦應(yīng)急管理海量數(shù)據(jù)的存儲(chǔ)和處理問題,非關(guān)系型數(shù)據(jù)庫———NoSQL應(yīng)運(yùn)而生。3多源異構(gòu)刑罰執(zhí)行的數(shù)據(jù)存儲(chǔ)NoSQL是一個(gè)云計(jì)算背景下蓬勃發(fā)展的分布式、非關(guān)系型數(shù)據(jù)庫系統(tǒng),是一個(gè)和傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(RelationalDataBaseManagement,RDBM)有很大不同的另一類數(shù)據(jù)結(jié)構(gòu)化存儲(chǔ)管理系統(tǒng)。NoSQL是指那些非關(guān)系型的、分布式的、不保證遵循ACID(原子性Atomicity、一致性Consistency、獨(dú)立性Isolation、持久性Durability)原則的數(shù)據(jù)存儲(chǔ)系統(tǒng),支持半結(jié)構(gòu)化、結(jié)構(gòu)化數(shù)據(jù)的高并發(fā)讀寫,存儲(chǔ)鍵值、列族、文檔、圖等多種數(shù)據(jù)類型,HBase、HyperTable屬于這種類型。用戶在表格存儲(chǔ)著一系列的數(shù)據(jù)行,每行包含一個(gè)可排序的行鍵(RowKey)、列族(Columnfamily)以及時(shí)間戳(Timestamp)。行鍵可以視為表的主鍵,所有記錄按照它排序;時(shí)間戳是每次數(shù)據(jù)操作的時(shí)間,可以看作是數(shù)據(jù)的版本號(hào);表在水平方向有一個(gè)或者多個(gè)列族組成,所謂列族就是很多列的集合,且列的數(shù)量可以動(dòng)態(tài)擴(kuò)展,一個(gè)列族下的列都有同一個(gè)前綴。比如,列Con:BeginOverrun(濃度:開始超限濃度)和列Con:MaxOverrun(濃度:最大超限濃度)就同屬于一個(gè)列族Concentration(濃度),見表1.表1是礦井傳感器瓦斯?jié)舛茸兓瘮?shù)據(jù)存放邏輯視圖。用列族SensorPosition來區(qū)別各個(gè)位置的瓦斯傳感器,瓦斯?jié)舛扔昧凶錍oncentration存儲(chǔ),其中有兩列分別存儲(chǔ)開始超限濃度和最大超限濃度,超限時(shí)間用列族OverrunT-ime存儲(chǔ),其中有兩列分別存儲(chǔ)開始超限濃度的發(fā)生時(shí)間和最大超限濃度的發(fā)生時(shí)間。每一次的邏輯修改都有一個(gè)時(shí)間戳與之對(duì)應(yīng),作為版本號(hào)。由于HBase是按照列存儲(chǔ)的稀疏行/列矩陣,物理模型實(shí)際上就是把邏輯模型中的每一行進(jìn)行分割,并按照列族存儲(chǔ)。表2,表3,表4是表1在物理上的存儲(chǔ)方式。4煤礦應(yīng)急云平臺(tái)的大量數(shù)據(jù)處理性能實(shí)驗(yàn)4.1實(shí)驗(yàn)環(huán)境及容量文中搭建一個(gè)基于Hadoop的煤礦應(yīng)急管理海量數(shù)據(jù)分析實(shí)驗(yàn)平臺(tái)。整個(gè)實(shí)驗(yàn)平臺(tái)由6臺(tái)PC機(jī)組成,PC1作為Namenode和Jobtracker,PC2-PC6作為Datanode和Tasktracker.每個(gè)節(jié)點(diǎn)安裝都安裝了Ubuntu操作系統(tǒng)及VMwareWorkstation虛擬機(jī),并安裝配置了Hadoop.每個(gè)節(jié)點(diǎn)物理機(jī)配置為雙核CPU,內(nèi)存4G,3400MHz,硬盤500GB,Hadoop-1.0.4,Zookeeper-3.4.5,HBase-0.94.7,Hive-0.9.0,數(shù)據(jù)備份為3.實(shí)驗(yàn)平臺(tái)容量估算:1G=1024×1024×1024字節(jié),本實(shí)驗(yàn)環(huán)境有6個(gè)節(jié)點(diǎn),每個(gè)節(jié)點(diǎn)500GB容量,則集群容量共500GB×6=3000GB.由于本實(shí)驗(yàn)設(shè)計(jì)了數(shù)據(jù)副本數(shù)為3,則實(shí)際可用存儲(chǔ)容量為:3000GB/3=1000GB,磁盤利用率按0.8計(jì)算,則存儲(chǔ)容量為800GB.計(jì)算用例每行以512字節(jié)計(jì)算,則該集群規(guī)?？梢灾С值挠美?guī)模為:800×1024×1024×1024B/512B,約為16億行。由于文中的煤礦應(yīng)急云環(huán)境是基于Hadoop開源生態(tài)系統(tǒng)構(gòu)建,因此,本節(jié)采用基于Hadoop系統(tǒng)的實(shí)驗(yàn)來對(duì)煤礦應(yīng)急云環(huán)境下的海量數(shù)據(jù)處理性能進(jìn)行實(shí)驗(yàn)測(cè)試。4.2煤系應(yīng)急系統(tǒng)作業(yè)排序排序通常用于衡量分布式數(shù)據(jù)處理框架的數(shù)據(jù)處理能力。本實(shí)驗(yàn)考察煤礦應(yīng)急云平臺(tái)在不同規(guī)模數(shù)據(jù)集的處理性能,并且與傳統(tǒng)單機(jī)版煤礦應(yīng)急信息系統(tǒng)相對(duì)比。在單機(jī)版系統(tǒng)中,Hadoop運(yùn)行在本地,使用本地文件系統(tǒng),并且不加載HDFS守護(hù)進(jìn)行。采用Hadoop中的作業(yè)排序測(cè)試工具:Terasort.數(shù)據(jù)源文件大小分別為100MB,300MB,1GB,2GB,3GB.為了將其他因素對(duì)實(shí)驗(yàn)的影響降至最低,煤礦應(yīng)急云平臺(tái)與單機(jī)模式均使用相同的硬件配置,同時(shí)將3次實(shí)驗(yàn)的平均值作為實(shí)驗(yàn)結(jié)果。實(shí)驗(yàn)步驟分為3步。1)用TeraGen生成隨機(jī)數(shù)據(jù):產(chǎn)生的數(shù)據(jù)每行為100B,參數(shù)30000000表示產(chǎn)生30000000行數(shù)據(jù),共計(jì)3GB.以下命令運(yùn)行TeraGen生成3GB的輸入數(shù)據(jù),并輸出到目錄/terasort/input-GB003:2)對(duì)輸入數(shù)據(jù)運(yùn)行TeraSort:以下命令運(yùn)行TeraSort對(duì)數(shù)據(jù)進(jìn)行排序,并將結(jié)果輸出到目錄/terasort/output-GB003通過http://localhost:50030/,可以在Web窗口查看文件大小為3GB的作業(yè)在執(zhí)行排序時(shí)煤礦應(yīng)急云平臺(tái)的運(yùn)行狀態(tài),如圖1所示。3)用TeraValidate驗(yàn)證排好序的輸出數(shù)據(jù):以下命令運(yùn)行TeraValidate來驗(yàn)證TeraSort輸出的數(shù)據(jù)是否有序,如果檢測(cè)到問題,將亂序的key輸出到目錄/terasort/terasort-validate.煤礦應(yīng)急云平臺(tái)與傳統(tǒng)單機(jī)版煤礦應(yīng)急信息系統(tǒng)的作業(yè)排序時(shí)間如圖2所示,其中橫坐標(biāo)表示文件大小(MB),縱坐標(biāo)表示所用時(shí)間(s)。從測(cè)試結(jié)果可以看出,當(dāng)處理1000MB以內(nèi)的較小文件時(shí),Hadoop會(huì)根據(jù)數(shù)據(jù)量的大小、MapReduce的任務(wù)數(shù)及設(shè)置的數(shù)據(jù)塊大小來調(diào)度系統(tǒng)中的部分節(jié)點(diǎn)參與運(yùn)算,再加上系統(tǒng)初始化時(shí)間、中間文件的生成及傳遞時(shí)間,此時(shí)煤礦應(yīng)急云平臺(tái)的分布式特性沒有得以發(fā)揮,其作業(yè)運(yùn)行時(shí)間基本要大于單機(jī)模式。但是隨著輸入文件數(shù)據(jù)量增大、輸入文件個(gè)數(shù)增加,Hadoop分布式系統(tǒng)可以將輸入文件劃分后分配給不同的DataNode和Tasktracker執(zhí)行,此時(shí)并行框架的優(yōu)勢(shì)得以發(fā)揮,這2種模式的數(shù)據(jù)處理效率之間的差距明顯加大。從圖2可以看出,單機(jī)模式運(yùn)行時(shí),作業(yè)執(zhí)行時(shí)間隨數(shù)據(jù)量基本呈線性增加,而煤礦應(yīng)急云平臺(tái)并行執(zhí)行的作業(yè)時(shí)間增長緩慢,說明煤礦應(yīng)急云平臺(tái)在大數(shù)據(jù)處理時(shí)較單機(jī)模式有很大的性能優(yōu)勢(shì)。4.3實(shí)驗(yàn)結(jié)果及分析煤礦應(yīng)急云平臺(tái)中包含的煤礦各類監(jiān)測(cè)設(shè)備眾多,巡檢周期短,數(shù)據(jù)規(guī)模龐大,因此文中通過實(shí)驗(yàn)室環(huán)境下所搭建的實(shí)驗(yàn)平臺(tái)對(duì)海量數(shù)據(jù)進(jìn)行基準(zhǔn)測(cè)試。該實(shí)驗(yàn)采用TestDFSIO測(cè)試工具來測(cè)試HDFS的I/O性能,為測(cè)試集群整體的并行寫入以及讀取數(shù)據(jù)的性能。文中的測(cè)試程序使用一個(gè)MapReduce作業(yè)對(duì)HDFS進(jìn)行高強(qiáng)度的I/O操作,每個(gè)map任務(wù)用于讀或?qū)懨總€(gè)文件,map的輸出用于收集與處理文件相關(guān)的統(tǒng)計(jì)信息,reduce用于累積統(tǒng)計(jì)信息,并產(chǎn)生summary.通過生成海量數(shù)據(jù)、提交作業(yè)以及統(tǒng)計(jì)作業(yè)完成時(shí)間對(duì)實(shí)驗(yàn)集群的整體I/0特性進(jìn)行測(cè)試。為驗(yàn)證數(shù)據(jù)規(guī)模、文件大小以及文件數(shù)量對(duì)實(shí)驗(yàn)集群I/O性能的影響,文中通過改變數(shù)據(jù)規(guī)模、文件大小及數(shù)量形成幾組測(cè)試數(shù)據(jù),分別進(jìn)行了組實(shí)驗(yàn)。首先寫入40個(gè)128MB的文件,測(cè)試命令為運(yùn)行這個(gè)命令后,文件會(huì)被寫入HDFS根目錄的benchmarks/TestDFSIO目錄下,運(yùn)行結(jié)果會(huì)被寫入控制臺(tái)并被記錄在TestDFSIO-results.log文件下。在本集群上運(yùn)行的結(jié)果如圖3所示。其次逐漸加大數(shù)據(jù)集規(guī)模(對(duì)于固定的128MB的單個(gè)文件),數(shù)據(jù)集包含的數(shù)據(jù)量由5個(gè)增至160個(gè),分別進(jìn)行讀、寫操作。圖4,圖5為該實(shí)驗(yàn)環(huán)境下的寫操作和讀操作的測(cè)試結(jié)果,橫坐標(biāo)為文件數(shù)量,縱坐標(biāo)為運(yùn)行時(shí)間(s),圖4,圖5分別描述了文件數(shù)量變化對(duì)讀、寫操作運(yùn)行時(shí)間的影響?？梢园l(fā)現(xiàn),隨著數(shù)據(jù)集規(guī)模增加,系統(tǒng)處理單個(gè)文件的平均作業(yè)時(shí)間明顯降低,說明系統(tǒng)并行處理能力顯著提高,各集群節(jié)點(diǎn)之間的通信延遲在總作業(yè)時(shí)間的比重明顯降低,從而有效降低了數(shù)據(jù)平均訪問時(shí)間。因此,可以看出,文中基于Hadoop搭建的煤礦應(yīng)急云平臺(tái)非常適合進(jìn)行煤礦應(yīng)急管理各個(gè)階段產(chǎn)生的海量數(shù)據(jù)的讀寫操作。同時(shí),還可以看出,煤礦應(yīng)急云平臺(tái)讀操作的運(yùn)行時(shí)間要明顯小于寫操作的運(yùn)行時(shí)間,說明煤礦應(yīng)急云平臺(tái)更擅長于一次性寫入,多次讀取的業(yè)務(wù)數(shù)據(jù)操作。對(duì)于煤礦應(yīng)急管理海量數(shù)據(jù)挖掘來說,其一次性寫入、多次讀取的業(yè)務(wù)處理特性正好符合Hadoop集群分布式框架中讀操作的高性能優(yōu)勢(shì),滿足了煤礦安全生產(chǎn)作業(yè)環(huán)境海量數(shù)據(jù)挖掘的性能要求。4.4數(shù)據(jù)庫的性能分析測(cè)試數(shù)據(jù)采用陜西黃陵煤礦集團(tuán)一號(hào)礦井某瓦斯傳感器4個(gè)月的監(jiān)測(cè)數(shù)據(jù),采用復(fù)制的方法得到50個(gè)監(jiān)測(cè)點(diǎn)1年的數(shù)據(jù)量,數(shù)據(jù)量約為5184萬條,在此數(shù)據(jù)量基礎(chǔ)上進(jìn)行采用傳統(tǒng)關(guān)系型數(shù)據(jù)庫DBMS和煤礦應(yīng)急云平臺(tái)(6個(gè)節(jié)點(diǎn))分別進(jìn)行分析處理,統(tǒng)計(jì)數(shù)據(jù)量不斷增長時(shí)煤礦應(yīng)急云平臺(tái)和DBMS的處理性能,如圖6所示。其中,橫坐標(biāo)為數(shù)據(jù)量(萬條),縱坐標(biāo)為處理時(shí)間(s)。從圖6可以看出,當(dāng)數(shù)據(jù)量在300萬條以內(nèi)時(shí),傳統(tǒng)的DBMS具有較大的優(yōu)勢(shì),而Hadoop在處理小量數(shù)據(jù)的統(tǒng)計(jì)分析時(shí)不具有優(yōu)勢(shì),煤礦應(yīng)急云平臺(tái)的性能優(yōu)勢(shì)無法體現(xiàn)。而當(dāng)數(shù)據(jù)量在300萬條以上,并且逐漸增加時(shí),煤礦應(yīng)急云平臺(tái)分布式處理的高效性優(yōu)勢(shì)得以體現(xiàn)。5煤基礦井應(yīng)急云平臺(tái)的性能測(cè)試與分析文中分析了煤礦應(yīng)急管理海量數(shù)據(jù)的來源及傳統(tǒng)關(guān)系型數(shù)據(jù)庫在海量數(shù)據(jù)存儲(chǔ)及處理時(shí)的局限性,分析了基于NoSQL技術(shù)的煤礦應(yīng)急云平臺(tái)海量數(shù)據(jù)存儲(chǔ)方式,并通過實(shí)驗(yàn)對(duì)煤礦應(yīng)急云平臺(tái)與單