《Hadoop大數(shù)據(jù)技術(shù)與應(yīng)用》_第1頁(yè)
《Hadoop大數(shù)據(jù)技術(shù)與應(yīng)用》_第2頁(yè)
《Hadoop大數(shù)據(jù)技術(shù)與應(yīng)用》_第3頁(yè)
《Hadoop大數(shù)據(jù)技術(shù)與應(yīng)用》_第4頁(yè)
《Hadoop大數(shù)據(jù)技術(shù)與應(yīng)用》_第5頁(yè)
已閱讀5頁(yè),還剩1頁(yè)未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶(hù)提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

車(chē)無(wú)爺七dooppq訂碼諦《bOg*年霧祿*doop^H》

一、 實(shí)驗(yàn)?zāi)康?.安裝Java環(huán)境2.搭建Hadoop單機(jī)模式3?在Hadoop單機(jī)基礎(chǔ)上搭建偽分成式模式環(huán)境二、 實(shí)驗(yàn)環(huán)境Linux操作系統(tǒng)三、 實(shí)驗(yàn)內(nèi)容與實(shí)驗(yàn)過(guò)程及分析(寫(xiě)出詳細(xì)的實(shí)驗(yàn)步驟,并分析實(shí)驗(yàn)結(jié)果)實(shí)驗(yàn)內(nèi)容:1.完成安裝Java環(huán)境。wwp^ncdel:java-versionjavaversion,1*8*O_11,FJava(TH)SERuntimeEnvironnen七(build1*S*Oil-bl2)JavaHotSpot(TM)64-BttServerVM(build25*ll-b03.nixednode)wwperiodcl: I2.完成搭建Hadoop單機(jī)模式(1)在Linux終端用wget命令直接下載至Linux系統(tǒng)中(命令在同一行)$wget/dist/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz(2)解壓安裝包:解壓安裝包至~目錄下,并創(chuàng)建軟鏈接(或重命名mv)$tarzxvfhadoop-2.7.5.tar.gz-C~$ln-s~/hadoop-2.7.5~/hadoopwwwp@>node1:-wwp^nodel;-$Isdata,tsctexamples*desktuphiadoopwwp^nodel;-$Isdata,tsctexamples*desktuphiadoopha4ocp-3-2^0wwp^nodel:|inputjdkjdkloutputsoftwareVMwareT口口I盤(pán)-10?d?10-12斗巴dmsz?ta「?gt:vmware-tools-distrib公共的載樂(lè)面下音桌板罟檔模視圖文3)執(zhí)行命令$./bin/hadoopversion查看hadoop版本信息:$cd~/hadoop/etc/hadoop$vihadoop-env.shMMp^nodei:/hone/wp/hadwop/bin/hadoopversionHadoopJr2,0Sourcecoderepositoryhttps://gtthub<con/apache/hadoop-git*「e97acb3bd8f3befd^741899&f:d5d4b59bf:2el7bfCompiledbysuntigon2019-91-0BT0608ZCompiledwithprotocFromE&jrcewithchecksund3f0795ed0d9dc37B&2c785d366Sf39Thisconnandwasrunustng/home/wwp/hadoop-3.2+EJ/sharEjh日doop/匸0Enon/hadoQp-c:onnon-3*Z+0.jarwwpQnodel:-$(4)找到exportJAVA_HOME,把#去掉,并修改為:#Thejavaimplementationtouse.exportJAVA_HOME=/home/hadoop/jdk1.8.0_181#Thejai/aimplenentmtiontouse,BydefauLt,thisenvironmentffvariableisREQUIREDonALLplatfornsexceptOSXIexportJAVA_HOME=yhone/wwp/jdk乎Locationofnadoop.Bydefault,HadoopwillattempttodeterntneMthislocationbaseduponitsexecutionpath,如亡HADQQPHOHE= (5)如果出現(xiàn)以下信息,說(shuō)明安裝成功:Hadoop2.7.5Subversion/repos/asf/hadoop.git-rbaa91f7c6bc9cb92be5982de4719c1c8af91ccffCompiledbyrooton2016-08-18T01:41ZCompiledwithprotoc2.5.0Fromsourcewithchecksum2e4ce5f957ea4db193bce3734ff29ff4Thiscommandwasrunusing~/hadoop/share/hadoop/common/hadoop-common-2.7.3.jar3.完成在Hadoop單機(jī)基礎(chǔ)上搭建偽分成式模式環(huán)境單機(jī)模式測(cè)試:wponodei:vt hadoop/etc/hadoop/hadoop-env*shwwp^nodelcat~/ou七put/p呂rt-r-0080勺:LibreOFficeCalcWorld1uwpSnodel:~Scd~yhadoop/sbare/hadortp/napreduce/Mup^nodel:M/hadoop/share/ha{icap/napreduce$hsdoopjarhadoop-napreduce-exanples-3,2,0,jarwordcount~/input/data.txt~/outpuhadoop:未找到命令Mwp^nodel:~/hddoop/share/hadoQp/napreduce$-/hadoop/bin/hadoopjarhadoop-napreduce-ex3nples-3.2.0.jarwordcount-/input/data.txt~/outpu七/2019-0?'1713:51:34,601INFOclient.RMProxy:connectingtoResourceManageratnodel/19^,16S.Z01*128:0032偽分布式模式測(cè)試:wp@nodel^/hadoop/sharefhadoop/HapreduGe$ 目「t-寸LI,shNARNIMG:啟七七emptingitostartallApacheHadoopdaenonsaswwpin10seconds.WARN!MG:ThisIsnotareconnendedproductiondeploynentconfigurationrWARNIMG:UseCFRLCtoabort.Startingnamenodggon[nodel]artingdatanud亡§Startingsecondarynamenades[nodel]StartingresourcenanagerStart;ingnodemanagewwp^nodel:~^adocp/share/hadoop/mapreduce$jps3797DataNode47SSJps3672NaneNode3977SecondaryNaneNode4396NodeMsnager4^69ResourceManagerWeb訪(fǎng)問(wèn)Hadoop:- □ X殆N^menodeInfwiriatloni x+?■ >CO? 192J6^ZO1J20:5OC7O/dfywatt^lrtml#tab-we?w*二1■v.£Z月 *TErtH?胡竝抿乍那T撫召深心岀MybaM— Q空理了幾個(gè)幵JJ和.. 岀UML音相甜莒絡(luò)碑..國(guó)*wMavenHeposiitary 捲HadOOpChi'pruiewCMtarxxies Dale?ncxleVolunieFailuresSnapshotStartupFrogre??Utilities▼Overview'nodel:8020h(active)Started:TueSep1719:52:444O8OO2019Versioiii:3.2.0,re97acb^bd8f3befcl27418gg&ta&d4b50bf2e17bfCompiled:TueJan0814.06.00+D80&2019bysunilqfrombfdrth-i.JjOOkist?F1氏CID-747bc&d5-e2f6-470l>-98ef-cf63ccd40e91PedId;BP-932278455-192.166201J3B-156B524165191SummarySecurity店off.S^femode鳴off.27fil&ianddirectories,13blocks(15r^plicaledblocks,&erasurecodedblockgroupi}=4Dlot^lfllpg胃於mobject(i).0AilAppli(ailorv$ x +□ Xe-CCr? 192.1S0.2O1.12B:8(J9e7clu5terS蜒了八苗嗥刃...山UMLSMiE.FS-gj...0[fFSa?]MESI...AllApplicationsOSKond^ryriamenodeiRform.料 卡- □ X「十TCDQ I92/I&B.201/12&SOWstatuSuhtml■?*|lit 1下ttf抽聒阪生6若宣iffl貳- 生孰般iMybaX-..[i整延了兒対瑚的… 占UML冉曲區(qū)忌蟲(chóng)-寵..站程】MESI...彥Mar.^nRepotltwy 川HadoopOverviewHdJacip.2019.:hdFsdf5-nkdir/inpu七nkdtr:/Input1:Fileexistshdfsdfs-Is/inputFound1i-tems-rw-r--r-- 1wwpsupergroup 252019-09-151318/tnput/dats*txtlniwp^nodel: cd-/hadoop/share/hado&p/mapredjce/wp^nodei:"/hadoop/share/hatioop/inapreduce^hadoopJsrhadoop-napreduce-examples-Is/output13;29/output/_SUCCES513:29/ou1tpu七-Is/output13;29/output/_SUCCES513:29/ou1tpu七-cat/output/pdrt-r-00000-rw-r--r--1wwpsupergroup 02019-09-15-rw-r--r--1岬岬p

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論