項目三

工業(yè)軟件系統(tǒng)數(shù)據(jù)采集工業(yè)大數(shù)據(jù)采集技術(shù)主講：羅金凱工業(yè)軟件系統(tǒng)數(shù)據(jù)采集概述

Flume概述

Flume架構(gòu)Flume部署分布式采集原理與實現(xiàn)

采購系統(tǒng)操作日志采集案例CONTENTSFlume部署04Flume部署——部署環(huán)境本節(jié)中，將在三臺節(jié)點（主機(jī)名分別為master、slave1和slave2）的Hadoop集群的Master節(jié)點上部署Flume，用于采集Hadoop的NameNode的日志。節(jié)點配置信息如下。主機(jī)名Ip地址說明Master192.168.56.2YESSlave1192.168.56.3NOSlave2192.168.56.4NOFlume部署——Flume拓?fù)鋱DFlume部署——部署步驟（1）將Flume安裝包上傳到Master節(jié)點/opt/bigdata/目錄（2）解壓安裝包tar-zxvfapache-flume-1.10.1-bin.tar.gz（3）生成flume-env.sh

進(jìn)入conf目錄，復(fù)制flume-env.sh.template文件到當(dāng)前目錄，生成flume-env.sh文件Flume部署——部署步驟（4）配置flume-env.sh文件

打開flume-env.sh文件，將JAVA_HOME配置到文件中。（5）配置環(huán)境變量并生效

將FLUME_HOME配置到環(huán)境變量文件中，并將$FLUME_HOME/bin配置到PATH變量中Flume部署——部署步驟（6）在conf目錄中創(chuàng)建namenode-log.conf文件，并在該文件中配置Source、Channel、Sink

-配置Source

Flume部署——部署步驟（6）在conf目錄中創(chuàng)建namenode-log.conf文件，并在該文件中配置Source、Channel、Sink

-配置Channel

Flume部署——部署步驟（6）在conf目錄中創(chuàng)建namenode-log.conf文件，并在該文件中配置Source、Channel、Sink

-配置Sink

Flume部署——部署步驟（6）在conf目錄中創(chuàng)建namenode-log.conf文件，并在該文件中配置Source、Channel、Sink

-組裝Source、Channel和Sink

Flume部署——部署步驟（7）啟動日志采集-先在HDFS中創(chuàng)建/flume目錄hdfsdfs–mkdir/flume-啟動flumeagentflume-ng.agent-nnamenode-log-fnamenode-log.conf-cconf-D