網(wǎng)絡(luò)廣告投放和監(jiān)測(cè)系統(tǒng)架構(gòu)剖析BennettHongFor2012華東架構(gòu)師大會(huì)Nov18,2012Outline互聯(lián)網(wǎng)的商業(yè)模式網(wǎng)絡(luò)廣告的商業(yè)邏輯和形態(tài)基礎(chǔ)廣告管理系統(tǒng)架構(gòu)最基礎(chǔ)功能——素材管理和投遞最簡(jiǎn)模型面臨的三大問(wèn)題數(shù)據(jù)統(tǒng)計(jì)控制系統(tǒng)架構(gòu)計(jì)數(shù)的準(zhǔn)確性和可靠性的常見(jiàn)解決方案實(shí)時(shí)決策業(yè)務(wù)需求對(duì)系統(tǒng)架構(gòu)的要求廣告業(yè)務(wù)系統(tǒng)未來(lái)的發(fā)展趨勢(shì)互聯(lián)網(wǎng)的商業(yè)模式廣告各大門戶、視頻網(wǎng)站游戲盛大、巨人、暢游、完美電商幾乎還都在虧錢攜程勉強(qiáng)可以算電商淘寶其實(shí)是虛擬地產(chǎn)商業(yè)務(wù)需求的發(fā)展是架構(gòu)進(jìn)化的源動(dòng)力網(wǎng)絡(luò)廣告的業(yè)務(wù)模式網(wǎng)站

流量聚集

廣告售賣按空間&時(shí)間賣

按投放量賣

按受眾賣網(wǎng)絡(luò)廣告系統(tǒng)最簡(jiǎn)架構(gòu)廣告資源管理庫(kù)點(diǎn)位時(shí)間預(yù)定素材管理定時(shí)上下線點(diǎn)位JS腳本最基礎(chǔ)的硬件和系統(tǒng)配置LAMP架構(gòu)數(shù)據(jù)庫(kù)獨(dú)立服務(wù)器關(guān)鍵數(shù)據(jù)做RAID但仍舊隱藏3個(gè)大坑最簡(jiǎn)廣告系統(tǒng)之問(wèn)題——系統(tǒng)擴(kuò)充負(fù)載均衡的常見(jiàn)方法DNS輪詢——切換慢，沒(méi)有健康檢查L(zhǎng)VS/NginX——軟件均衡，成本低，有部分健康檢查4-7層交換機(jī)——成本很高，并發(fā)連接可到數(shù)百萬(wàn)次/秒負(fù)載均衡鏡像同步健康檢查鏡像1鏡像2鏡像N最簡(jiǎn)廣告系統(tǒng)之問(wèn)題——南北互聯(lián)南北互聯(lián)解決方法BGP——帶寬很貴智能DNS+雙線/多機(jī)房帶寬成本較低，但系統(tǒng)復(fù)雜可以自建DNS，也可以采用的智能DNS供應(yīng)商上海電信聯(lián)通廣東電信聯(lián)通遼寧公共網(wǎng)教育網(wǎng)最簡(jiǎn)廣告系統(tǒng)之問(wèn)題——帶寬成本降低帶寬成本的方法啟用HTTPgzip開(kāi)啟瀏覽者端素材緩存選用便宜但不慢的二三線城市動(dòng)靜分離，靜態(tài)部分架設(shè)CDN廣告主的新需求——統(tǒng)計(jì)和控制廣告主開(kāi)始關(guān)心：廣告投在哪里多少人看到了廣告多少人點(diǎn)擊了廣告如何優(yōu)化點(diǎn)擊轉(zhuǎn)化效率他們有哪些屬性受眾的感受如何如何讓對(duì)的人看到廣告……不適合用于統(tǒng)計(jì)的Apache日志使用Apache等日志做統(tǒng)計(jì)的弊端日志結(jié)構(gòu)不易解析HTTP頭部參數(shù)可能缺失客戶端緩存導(dǎo)致漏記混有無(wú)效的錯(cuò)誤請(qǐng)求日志的寫(xiě)并發(fā)不好，導(dǎo)致錯(cuò)記廣告監(jiān)測(cè)計(jì)數(shù)的特點(diǎn)統(tǒng)計(jì)系統(tǒng)的特點(diǎn)高并發(fā)頻繁寫(xiě)原子性、非事務(wù)統(tǒng)計(jì)計(jì)數(shù)系統(tǒng)廣告素材展現(xiàn)廣告點(diǎn)擊跳轉(zhuǎn)其他特定事件待解決主要問(wèn)題少錯(cuò)漏快入庫(kù)速統(tǒng)計(jì)HTTP高并發(fā)的解決方法Nginx替換Apache充分利用多核的CPU做多線程涉及并發(fā)的參數(shù)除了線程數(shù)，還包括：KeepAlive,Timeout等數(shù)據(jù)入庫(kù)的解決方法單條日志有原子性，一致性要求不高增加緩沖層，批量延遲入庫(kù)緩沖分為內(nèi)存和文件兩種，也可以將兩種模式結(jié)合在各級(jí)之間還可以調(diào)整流量，對(duì)內(nèi)容進(jìn)行校驗(yàn)糾錯(cuò)Database/WarehouseLog

FilesMemory

BufferHTTP

Requests

吞吐流速逐漸減慢

控制和定向的需求各種投放控制：總量控制、時(shí)段控制、單一用戶頻次各種定向手段：地域城市、瀏覽興趣（上下文）、搜索行為控制和定向依賴于快速統(tǒng)計(jì)統(tǒng)計(jì)需求的難點(diǎn)GROUPBYORDERBYCOUNTDISTINCTJOIN瓶頸：流速差和流量差硬盤-內(nèi)存數(shù)據(jù)交換內(nèi)存-CPU數(shù)據(jù)交換解決方法：RAID或引入SSD多路CPUCPUCacheNBRAMNETUSBSATAGPUSBAUDSIO精準(zhǔn)廣告是大數(shù)據(jù)的典型應(yīng)用實(shí)時(shí)決策——基于熱數(shù)據(jù)，決策時(shí)間<200ms模型挖掘——基于多次訓(xùn)練和迭代精準(zhǔn)定向廣告數(shù)據(jù)按熱度分級(jí)熱數(shù)據(jù)放內(nèi)存，做實(shí)時(shí)決策溫?cái)?shù)據(jù)放在分布式文件系統(tǒng)，做模型迭代冷數(shù)據(jù)高壓縮率后存儲(chǔ)，很少使用In-memory

DBSSD

/

Flash

MemoryHDFS

/

NAS

/

SwiftArchive

/

Tape

數(shù)據(jù)量減小熱度提高

網(wǎng)絡(luò)廣告系統(tǒng)的發(fā)展趨勢(shì)分工細(xì)化，需要跨系統(tǒng)間實(shí)時(shí)數(shù)據(jù)交換媒體資源管理系統(tǒng)、廣告資源交易所外部決策數(shù)據(jù)、競(jìng)價(jià)機(jī)構(gòu)、素材托管和投遞華東架構(gòu)師大會(huì)的組委會(huì)添加信息

GTIAndVirident

世紀(jì)互聯(lián)AdMaster的創(chuàng)始人洪倍

聯(lián)想員工李鵬程

中國(guó)（上海）創(chuàng)業(yè)者公共實(shí)訓(xùn)基地2012華東架構(gòu)師大會(huì)感謝的協(xié)辦單位和捐助個(gè)人：預(yù)告信息：2013年5月18日，將于上海舉辦2013華東數(shù)據(jù)庫(kù)技術(shù)大會(huì)

人數(shù)規(guī)模：500人

會(huì)務(wù)合作，聯(lián)系人：金官丁，聯(lián)系電話

郵箱地址：mysqlops@，新浪微博：