大數(shù)據(jù)與機(jī)器學(xué)習(xí)

第四章HDFS介紹原理介紹HDFS（HadoopDistributedFileSystem），是分布式計(jì)算中數(shù)據(jù)存儲(chǔ)管理的基礎(chǔ)，是基于流數(shù)據(jù)模式訪問(wèn)和處理超大文件的需求而開(kāi)發(fā)的，可以運(yùn)行于廉價(jià)的商用服務(wù)器上。它所具有的高容錯(cuò)、高可靠性、高可擴(kuò)展性、高獲得性、高吞吐率等特征為海量數(shù)據(jù)提供了不怕故障的存儲(chǔ)，為超大數(shù)據(jù)集（LargeDataSet）的應(yīng)用處理帶來(lái)了很多便利。原理概述：HDFS將一份數(shù)據(jù)分成多塊，將多塊數(shù)據(jù)并分別存儲(chǔ)在三個(gè)DataNode節(jié)點(diǎn)上，且每個(gè)節(jié)點(diǎn)上同時(shí)備份一塊數(shù)據(jù)。其中NameNode是存儲(chǔ)元數(shù)據(jù)的，即告知每塊數(shù)據(jù)存儲(chǔ)在哪個(gè)DataNode上。架構(gòu)介紹HDFS由四部分組成，HDFSClient、NameNode、DataNode和SecondaryNameNode。HDFS是一個(gè)主/從（Master/Slave）體系結(jié)構(gòu)，HDFS集群擁有一個(gè)NameNode和一些DataNode。NameNode管理文件系統(tǒng)的元數(shù)據(jù)，DataNode存儲(chǔ)實(shí)際的數(shù)據(jù)(Block默認(rèn)64M，Hadoop2.0默認(rèn)為128M)。NameNode和DataNodeClient:用于管理和訪問(wèn)HDFS。以及讀取數(shù)據(jù)和寫(xiě)入數(shù)據(jù)讀取數(shù)據(jù)：需要與NameNode交互獲取文件位置信息寫(xiě)入數(shù)據(jù)：將文件分割多個(gè)Block，然后存儲(chǔ)到DateNode NameNode：元數(shù)據(jù)存儲(chǔ)，用來(lái)存儲(chǔ)Block文件位置信息。對(duì)內(nèi)存需求很大管理HDFS的名稱(chēng)空間管理數(shù)據(jù)塊（Block）映射信息配置副本策略處理客戶(hù)端讀寫(xiě)請(qǐng)求DataNode：實(shí)際數(shù)據(jù)Block存儲(chǔ)的節(jié)點(diǎn)，定時(shí)向NameNode發(fā)送數(shù)據(jù)存儲(chǔ)信息報(bào)告SecondaryNameNode:輔助NameNode，分擔(dān)其工作量。定期合并fsimage(元數(shù)據(jù)鏡像)和fsedits（客戶(hù)端對(duì)數(shù)據(jù)增刪改查操作），并推送給NameNode。在緊急情況下，可輔助恢復(fù)NameNode。注：并非NameNode的熱備。當(dāng)NameNode掛掉的時(shí)候，它并不能馬上替換NameNode并提供服務(wù)Block塊介紹Block塊是磁盤(pán)讀取文件時(shí)的大小。Chunk是HDFS將文件切割的每份大小。Chunk與Block大小要一致，這樣避免Map程序跨節(jié)點(diǎn)讀取文件傳統(tǒng)數(shù)據(jù)塊存儲(chǔ)與HDFS存儲(chǔ)原理傳統(tǒng)磁盤(pán)按照512字節(jié)存儲(chǔ)，超過(guò)512字節(jié)，比如600字節(jié)，就會(huì)88字節(jié)存儲(chǔ)到512字節(jié)空間，造成512減去88，即424字節(jié)的浪費(fèi)。而HDFS在Hadoop2.0下默認(rèn)是128M存儲(chǔ)，其可以將浪費(fèi)空間自動(dòng)進(jìn)行前移操作，減少浪費(fèi)。HDFS存儲(chǔ)本質(zhì)減少尋址時(shí)間尋址時(shí)間占數(shù)據(jù)讀取時(shí)間的1%（底層代碼實(shí)時(shí)的原理）尋址時(shí)間：即磁盤(pán)找到Block的時(shí)間，10ms毫秒讀取時(shí)間：即磁頭寫(xiě)入數(shù)據(jù)時(shí)間，100M/s讀取時(shí)間遠(yuǎn)遠(yuǎn)大于尋址時(shí)間，因此要減少尋址時(shí)間數(shù)據(jù)Block為每秒100M數(shù)據(jù)，所以按照2的N次方默認(rèn)大小，即2的6次方為64M，2的7次方128M，正好符合100M每秒存儲(chǔ)。隨著磁盤(pán)技術(shù)發(fā)展，將來(lái)會(huì)擴(kuò)展到默認(rèn)2的8次方，9次方存儲(chǔ)。副本放置策略副本默認(rèn)是3份，才會(huì)有放置策略，如果超過(guò)3份，多出來(lái)的副本就隨機(jī)節(jié)點(diǎn)放置，無(wú)策略可言。Hadoop2.0放置策略第一副本放置策略：文件在節(jié)點(diǎn)本地磁盤(pán)，則選擇該節(jié)點(diǎn)放置文件在遠(yuǎn)程客戶(hù)端，則選擇空間較大，傳輸速度快的節(jié)點(diǎn)第二副本放置策略：選擇與第一個(gè)副本不同的機(jī)架上的節(jié)點(diǎn)第三副本放置策略：選擇與第二個(gè)副本相同的機(jī)架上的不同節(jié)點(diǎn)Hadoop3.0放置策略第一副本放置策略：同Hadoop2.0一樣第二副本放置策略：選擇與第一個(gè)副本相同的機(jī)架上的不同節(jié)點(diǎn)第三副本放置策略：選擇與第二個(gè)副本不同的機(jī)架上的相同節(jié)點(diǎn)HDFS的三種模式本地模式（調(diào)試用）：使用的是本地磁盤(pán)偽分布式模式（調(diào)試用）：文件系統(tǒng)用的是HDFS分布式模式（生產(chǎn)環(huán)境）：ClusterIDNameNode的ClusterID要與DataNode的一致，否則，DataNode啟動(dòng)不了，原因是NameNode重新格式化了，所以與原來(lái)的DataNode的ID不一致了，將新的ID拷貝給DataNode即可?？蛻?hù)端向HDFS寫(xiě)流數(shù)據(jù)NameNode的元數(shù)據(jù)管理