17.第十七階段、storm流計(jì)算從入門到精通實(shí)戰(zhàn)高并發(fā)策略批處理事務(wù)吖課程storm2_第1頁
17.第十七階段、storm流計(jì)算從入門到精通實(shí)戰(zhàn)高并發(fā)策略批處理事務(wù)吖課程storm2_第2頁
17.第十七階段、storm流計(jì)算從入門到精通實(shí)戰(zhàn)高并發(fā)策略批處理事務(wù)吖課程storm2_第3頁
17.第十七階段、storm流計(jì)算從入門到精通實(shí)戰(zhàn)高并發(fā)策略批處理事務(wù)吖課程storm2_第4頁
17.第十七階段、storm流計(jì)算從入門到精通實(shí)戰(zhàn)高并發(fā)策略批處理事務(wù)吖課程storm2_第5頁
免費(fèi)預(yù)覽已結(jié)束,剩余27頁可下載查看

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

1、安裝tar安裝tarzxfzeromq-2.2.0.tar.gz cd zeromq-2.2.0./configure (yum install libuuid-devel) make zeroMQ有能缺少安裝yum install gcc gcc- 安裝安裝11#unzip util-linux-ng-2.17-rc1.zip 21#cd util-linux-ng-2.17 /f51#mv /sbin/hwclock /sbin/hwclock.old 61#cp hwclock/hwclock /sbin/71#hwclock-show 81#hwclock -w91#make 注意./

2、configure出O錯(cuò)誤:configure:error:ncursesorncursesw selected,butlibrarynotfoundwithout-ncursestodisable)s們Nq#yum install git q#yum install git qmake 果缺少libtool,則先yum install tarzxvf -make wgetunzip storm-0.8.1.zip vim /etc/profilewgetunzip storm-0.8.1.zip vim /etc/profileexport STORM_HOME=/usr/local/sto

3、rm-export 果unzipO能yum 配配改storm/conf/storm.yaml- - - “zk3 nimbus.host: “zk1storm.local.dir: - - - - (注意:先搭zookeeper集群配配nimbus.host表示那一機(jī)器是master機(jī)器,即 nimbus2 ort表示zookeeper的,一定zookeeper配的然o_配 pervisor.slots.ports表supervisor節(jié)點(diǎn)的槽u,就是最多能跑幾n worker程每或bolt默認(rèn)只啟動(dòng)一nworker,O是通過conf改r多java.library.path 是storm所依賴

4、的本地依賴Q)載地址, 默認(rèn)的是:/usr/local/lib:/opt/local/lib:/usr/lib, 大多情O是配注意事項(xiàng)配注意事項(xiàng)在目/s/tmp面storm文件啟動(dòng)zookeeper啟動(dòng)Ok常,執(zhí)行service iptablse啟動(dòng)zookeeper啟動(dòng)Ok常,執(zhí)行service iptablse stop關(guān)火執(zhí)行storm nimbus 啟動(dòng)執(zhí)行 storm supervisor 啟動(dòng)節(jié)執(zhí)行stormui啟動(dòng)ims需在一機(jī)子N面Storm程被啟動(dòng),將在Storm安裝目_O的logs/目_OrTn程的日志文件經(jīng)測,Storm UI必須Storm Nimbus在一機(jī)器 為了便使

5、用,將bin/storm入r系統(tǒng)變量啟動(dòng)完畢A1安裝Maven參maven安A1安裝Maven參maven安裝使用手冊JDK Mavenmyeclipse 8.6.1 集安裝Maven之前求先確定oJDK經(jīng)安裝配完r2 首先去官網(wǎng)O載 maven-3.0.4-A1安裝Maven參maven安裝使用手冊A1安裝Maven參maven安裝使用手冊O(shè)載完r之將其解壓,s將解壓的文件夾maven,并它放在 D:Server 目_O,即 maven 最終的路徑是配 maven 變量系統(tǒng)變量:MAVEN_HOME = 用戶變量:path = %相大有配過變量的,m驟就O說了,對著把屬性屬性值配N的OK了打

6、_cmd,在面w:mvn mvn 是 maven 的一n指,mvn -是查看版本果能打印N息,說明rlMaven3A1安裝Maven參mavenA1安裝Maven參maven安裝使用手冊接著改一maven 的存放找rmaven O的conf O的settings.xml 配文件,s的是A1安裝Maven參maven安裝使用手A1安裝Maven參maven安裝使用手冊maven 的默認(rèn)是放在本地用戶的臨文件夾O面的 .m2 文件O的 itory O,s的itory目在s們來改將它指定rs們自的路徑O,s在將A1安裝Maven參maven安裝A1安裝Maven參maven安裝使用手冊O(shè)K,先來體會(huì)

7、一O maven,在 cmd ow并車執(zhí)行:mvn 候 maven 就會(huì)程_始O載一大堆的東,沒事,讓它 O載著,遲O載的,接O來是將 maven 配r myeclipse ,打_ myeclipse,Window - Preferen Maven4MyEclipseMaven確定JDK是用o自- MyEclipse -A1安裝MavenA1安裝Maven參maven安裝使用手冊A1安裝MavenA1安裝Maven參maven安裝使用手冊A1安裝MavenA1安裝Maven參maven安裝使用手冊A1安裝Maven參maven安裝A1安裝Maven參maven安裝使用手冊1. 創(chuàng)Maven的普

8、通java項(xiàng)目mvn -2. 創(chuàng)Maven的Web項(xiàng)目mvn -DarchetypeArtifactId=maven-archetype-A1安裝Maven參maven安裝使用手冊編A1安裝Maven參maven安裝使用手冊編源碼: mvn 編測碼5. :mvn 6. 產(chǎn)site:mvn 7. 打包:mvn 8. 在本地itoryo安裝jar:mvn 9.清除產(chǎn)的項(xiàng)目:mvn cs項(xiàng)目:mvn ridea項(xiàng)目:mvn 使用goal,只打包O測:mvn -A1安裝Maven參maven安裝使用手A1安裝Maven參maven安裝使用手冊編測的內(nèi)只打jar包: mvn 只測O編,_O測編:mvn

9、test -compile ( -的靈活運(yùn)用,_然_用于其他清除eclipse的一些系統(tǒng):mvn O載包的源文件:mvn A1安裝Maven參A1安裝Maven參maven安裝使用手冊常用的mvn mvn eclipse:eclipse mvn compilemvn mvn B1O載Storm-m-aeB1O載Storm-m-aeahear.pC1入O載目_,對zip文件解D1入解壓的文件目_,改m2-4j-4j-stream換為O面的.4j-.4j-.4j-.4j-E1編項(xiàng)目2E1編項(xiàng)目2轉(zhuǎn)r項(xiàng)目y目_,使用mvn -f m2-pom.xml package 行編F1復(fù)v storm-sta

10、rter目_O的m2_pom.xml 為,放在Pm2_pom.xml一目G1打jar包 mvn 果需對工程碼行改導(dǎo)入使用mvn eclipse:eclipse編reclipse工eclipse import O1提交運(yùn)O1提交運(yùn)編無誤,在Storm-目P1執(zhí)行P1執(zhí)行storm.starter.WordCountTopology testQ:查看storm啟動(dòng)supervisor報(bào)錯(cuò)解案:去掉lib面的log4j-over-slf4j-Storm配ZooKeeper服務(wù)器列ZooKeeper連接端(Storm配ZooKeeper服務(wù)器列ZooKeeper連接端(必須在并且storm進(jìn)程Stor

11、m集群運(yùn)行模式Local模式O是否使用ZeroMQ作消息系統(tǒng),如果設(shè)置s則使用java消息系統(tǒng)。默認(rèn)ZooKeeper中Storm的位客戶端連接ZooKeeper超時(shí)時(shí)運(yùn)行中拓?fù)涞膇d,由name和一個(gè)唯一隨機(jī)數(shù)組成Storm配nimbus服務(wù)器地nimbus的端通Storm配nimbus服務(wù)器地nimbus的端通過storm-deploy項(xiàng)目部署時(shí)指定給nimbus進(jìn)程的jvm心跳超時(shí)時(shí)間,超時(shí)nimbus會(huì)認(rèn)task死掉并重分配給另一個(gè)地址nimbus檢查心跳和重分配任務(wù)的時(shí)間間隔.注意如果是機(jī)器宕掉會(huì)立即接管并處理periso的心跳超時(shí)時(shí)間,一旦超過ims會(huì)認(rèn)該periso已死并停止它分

12、發(fā)新任務(wù).當(dāng)發(fā)現(xiàn)task失敗時(shí)nimbus是否重新分配執(zhí)行。默認(rèn)真,O建Storm配nimbus判斷N傳/O的超Storm配nimbus判斷N傳/O的超時(shí)時(shí)間,當(dāng)空閑時(shí)間超過該設(shè)定nimbus會(huì)認(rèn)死掉并動(dòng)Storm UI的服務(wù)端DRPC服務(wù)器列表,以便DRPCSpout知道和誰通 rN能夠運(yùn)行w的端口列表.每個(gè)占用一個(gè)端口,.器/)在storm-deploy項(xiàng)目中使用,用來配置supervisor守進(jìn)程的jvm 的設(shè)Storm配uStorm配u,supervisor心跳發(fā)頻率(多久發(fā)一次supervisor檢查worker心跳的頻periso啟動(dòng)woker時(shí)使用的jvm.%ID%”_串會(huì)被換對

13、worke的標(biāo)識(shí)符a步的頻率.(如果task被重分配,atss。如果設(shè)置成true,Storm將錄發(fā)射的每條信息Storm配執(zhí)行該topology集群中當(dāng)啟Storm配執(zhí)行該topology集群中當(dāng)啟動(dòng)的進(jìn)程數(shù)量.每個(gè)進(jìn)將以線行一定數(shù)目的tasks.topology的組件結(jié)合該參數(shù)和并行度提t(yī)plgy中啟動(dòng)的aker任務(wù)數(shù).Aker保由pout發(fā)的les的錄,并探測ue 何時(shí)被完全處理.當(dāng)Ackr探測到ue被處理完時(shí)會(huì)Upt發(fā)確認(rèn)信息.通常當(dāng)根據(jù)tplgy的吞T量來確定cker的數(shù)目,但一般O需要太多.當(dāng)設(shè)置0時(shí),相當(dāng)于禁用了消息靠性,tom會(huì)在put發(fā)ls立即進(jìn)行確認(rèn).tplg中pu發(fā)消息的最大處理超時(shí)時(shí)間.如果一條消息在該時(shí)間窗口內(nèi)未被成功ac,tom會(huì)告知pu這條消息失敗。而部分sot實(shí)現(xiàn)了失敗消息重播功能。KSStom是否該跳過它O能識(shí)別的kro序列化方案.如果設(shè)置否as能會(huì)裝載失敗或者在運(yùn)行時(shí)拋出錯(cuò)誤在一個(gè)tplg中能夠允許的最大組件并行度.要用在本地模式中測試線程數(shù)限v.Storm配一個(gè)spouttask中處于pe

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論