大數(shù)據(jù)導(dǎo)論數(shù)

據(jù)

采

集Filebeat介紹目錄01Filebeat介紹

02Filebeat組成

03工作原理04filebeat.yml文件配置05啟動(dòng)FilebeatFilebeat簡(jiǎn)介Filebeat是本地文件的日志數(shù)據(jù)采集器，作為服務(wù)器上的代理安裝，監(jiān)視日志目錄或特定日志文件，并將它們轉(zhuǎn)發(fā)給Elasticsearch或Logstash、kafka等Filebeat是一個(gè)輕量級(jí)日志傳輸Agent，占用資源少，而且安裝配置也比較簡(jiǎn)單，支持目前各類主流操作系統(tǒng)及Docker平臺(tái)。Filebeat包含兩個(gè)部分：Inputs和Harversters。Inputs：負(fù)責(zé)管理harvesters和發(fā)現(xiàn)可讀的資源。Harverster：負(fù)責(zé)讀取日志文件，一行一行的讀，并將讀到的內(nèi)容發(fā)送到輸出管道，一個(gè)Harverster對(duì)應(yīng)了一個(gè)日志文件。Filebeat組成部分工作原理Filebeat主要通過配置文件filebeat.yml中設(shè)置的參數(shù)來實(shí)現(xiàn)控制輸入與輸出。1、將日志文件作為filebeat的輸入或者通過inputs配置日志文件的路徑2、filebeat啟動(dòng)harversters，讀取相關(guān)的日志文件，提取相應(yīng)的數(shù)據(jù)3、經(jīng)由緩存區(qū)，輸出到配置文件中的output配置的輸出端，如logstash。1.log2.log3.logharversters1harversters2harversters3input1緩存區(qū)LogstashFilebeatfilebeat.yml文件配置filebeat的如何工作運(yùn)行，依賴于filebeat.yml配置文件的參數(shù)文件路徑：filebeat安裝根目錄/filebeat.yml涉及輸入輸出的filebeat配置項(xiàng)有兩個(gè)：采集配置輸出配置InputOutputfilebeat.yml文件配置inputs采集配置常用配置type:指定input類型，有l(wèi)og、stdin、redis、tcp、syslog等fields：可以自定義添加字段，到output中去，后續(xù)可以使用這些字段paths：日志文件的目錄filebeat.yml文件配置Outputs輸出配置filebeat支持輸出到多種輸出端1、ElasticsearchOutput：輸出到es里。2、LogstashOutput：輸出到logstash里。3、RedisOutput：輸出到redis里。4、FileOutput：輸出到file里。5、ConsoleOutput：輸出到console里。由于不同的輸出配置參數(shù)不一樣，因此官網(wǎng)提供了默認(rèn)配置文件，找到對(duì)應(yīng)的Filebeat版本，找到Configure-->output-->輸出端啟動(dòng)filebeat配置好filebeat.yml文件后運(yùn)行命令：./