——教學(xué)設(shè)計(jì)l教育培訓(xùn)l信息化l微課——日志格式介紹01日志簡(jiǎn)介02日志要求03日志舉例04json格式日志CONTENTS目錄日志簡(jiǎn)介01

日志（Log）是系統(tǒng)在運(yùn)行過(guò)程中變化的一種抽象，其內(nèi)容為指定對(duì)象的某些操作和其操作結(jié)果按時(shí)間的有序集合。文件日志（LogFile）、事件（Event）、數(shù)據(jù)庫(kù)日志（BinLog）、度量（Metric）數(shù)據(jù)都是日志的不同載體。在文件日志中，每個(gè)日志文件由一條或多條日志組成，每條日志描述了一次單獨(dú)的系統(tǒng)事件，是日志服務(wù)中處理的最小數(shù)據(jù)單元。

日志（Log）日志簡(jiǎn)介日志要求02

日志服務(wù)采用半結(jié)構(gòu)數(shù)據(jù)模式定義一條日志。該模式中包含主題（Topic）、時(shí)間（Time）、內(nèi)容（Content）、來(lái)源（Source）和標(biāo)簽（Tags）五個(gè)數(shù)據(jù)域。日志要求日志要求數(shù)據(jù)域含義格式主題（Topic）用戶(hù)自定義字段，用以標(biāo)記一批日志。例如訪問(wèn)日志可根據(jù)不同站點(diǎn)進(jìn)行標(biāo)記。包括空字符串在內(nèi)的任意字符串，長(zhǎng)度不超過(guò)128字節(jié)。默認(rèn)情況下，該字段為空字符串。時(shí)間（Time）日志中的保留字段，用以表示日志產(chǎn)生的時(shí)間，一般由日志中的時(shí)間信息直接提取生成。整型，Unix標(biāo)準(zhǔn)時(shí)間格式。單位為秒，表示從1970-1-100:00:00UTC計(jì)算起的秒數(shù)。內(nèi)容（Content）用以記錄日志的具體內(nèi)容。內(nèi)容部分由一個(gè)或多個(gè)內(nèi)容項(xiàng)組成，每一個(gè)內(nèi)容項(xiàng)為一個(gè)Key-Value對(duì)。Key為UTF-8編碼字符串，包含字母、下劃線和數(shù)字，且不以數(shù)字開(kāi)頭。長(zhǎng)度不超過(guò)128字節(jié)。不可以使用如下關(guān)鍵字：__time____source____topic____partition_time___extract_others___extract_others__Value為任意字符串，長(zhǎng)度不超過(guò)1024*1024字節(jié)。來(lái)源（Source）日志的來(lái)源地，例如產(chǎn)生該日志機(jī)器的IP地址。任意字符串，長(zhǎng)度不超過(guò)128字節(jié)。默認(rèn)情況下該字段為空。標(biāo)簽（Tags）日志的標(biāo)簽，包括：用戶(hù)自定義標(biāo)簽：您通過(guò)APIPutLogs寫(xiě)入數(shù)據(jù)時(shí)添加的標(biāo)簽。字典格式，Key和Value均為字符串類(lèi)型。在控制臺(tái)查詢(xún)?nèi)罩緯r(shí)，以__tag__:為前綴展示。

日志服務(wù)對(duì)日志各字段的格式有不同要求，具體如下表所示：日志舉例03

實(shí)際使用場(chǎng)景中，日志的格式多樣。為了幫助理解，以下以一條nginx原始訪問(wèn)日志如何映射到日志服務(wù)日志數(shù)據(jù)模型為例說(shuō)明。假設(shè)用戶(hù)nginx服務(wù)器的IP地址為17，以下為該服務(wù)器的一條原始日志：

93--[01/Mar/2012:16:12:07+0800]"GET/Send?AccessKeyId=8225105404HTTP/1.1"2005"-""Mozilla/5.0(X11;Linuxi686onx86_64;rv:10.0.2)Gecko/20100101Firefox/10.0.2"日志舉例日志舉例數(shù)據(jù)域內(nèi)容說(shuō)明Topic“”沿用默認(rèn)值，即空字符串。Time1330589527日志產(chǎn)生的精確時(shí)間，表示從1970-1-100:00:00UTC計(jì)算起的秒數(shù)。從原始日志中的時(shí)間轉(zhuǎn)換為時(shí)間戳。ContentKey-Value對(duì)日志具體內(nèi)容。Source“17”使用服務(wù)器IP地址作為日志源。Tags無(wú)由用戶(hù)添加或者服務(wù)端添加。

把該條原始日志映射到日志服務(wù)日志數(shù)據(jù)模型，如下：日志舉例keyvalueip93methodGETstatus200length5ref_url-browserMozilla/5.0(X11;Linuxi686onx86_64;rv:10.0.2)Gecko/20100101Firefox/10.0.2

用戶(hù)可以自己決定如何提取日志原始內(nèi)容并組合成Key-Value對(duì)，例如下表：json格式日志04

JSON(JavaScriptObjectNotation,JS對(duì)象簡(jiǎn)譜)是一種輕量級(jí)的數(shù)據(jù)交換格式。它基于ECMAScript(歐洲計(jì)算機(jī)協(xié)會(huì)制定的js規(guī)范)的一個(gè)子集，采用完全獨(dú)立于編程語(yǔ)言的文本格式來(lái)存儲(chǔ)和表示數(shù)據(jù)。簡(jiǎn)潔和清晰的層次結(jié)構(gòu)使得JSON成為理想的數(shù)據(jù)交換語(yǔ)言。易于人閱讀和編寫(xiě)，同時(shí)也易于機(jī)器解析和生成，并有效地提升網(wǎng)絡(luò)傳輸效率。一段json格式的日志:{"name":