電信行業(yè)大數(shù)據(jù)實(shí)時(shí)營(yíng)銷(xiāo)與實(shí)時(shí)分析夏明武個(gè)人簡(jiǎn)介2004年清華大學(xué)軟件學(xué)院畢業(yè)智慧圖聯(lián)合創(chuàng)始人，大數(shù)據(jù)首席架構(gòu)師中國(guó)信息協(xié)會(huì)大數(shù)據(jù)分會(huì)理事工作10年+，做商業(yè)智能BI9年+在思特奇、亞信BI研發(fā)部、去哪兒網(wǎng)等工作多年大數(shù)據(jù)實(shí)時(shí)營(yíng)銷(xiāo)、實(shí)時(shí)分析電信行業(yè)中國(guó)第一名在去哪兒網(wǎng)酒店事業(yè)部組建商業(yè)智能BI團(tuán)隊(duì)什么是商業(yè)智能BI、大數(shù)據(jù)？商業(yè)智能BI，就是智能化、自動(dòng)化做商業(yè)，提升公司品牌形象，幫助公司賺錢(qián)大數(shù)據(jù)，核心是小量結(jié)果數(shù)據(jù)，通過(guò)分析、研究數(shù)據(jù)，以結(jié)果為導(dǎo)向，挖掘結(jié)果數(shù)據(jù)價(jià)值，幫公司賺大錢(qián)才是真。互聯(lián)網(wǎng)企業(yè)，競(jìng)爭(zhēng)激烈，今天還活著，明天隨時(shí)會(huì)死去，以結(jié)果為導(dǎo)向，非?，F(xiàn)實(shí)，當(dāng)然也非常殘酷。對(duì)企業(yè)而言無(wú)價(jià)值的海量數(shù)據(jù)是什么？商業(yè)智能BI三階段第一階段：報(bào)表、olap階段。做報(bào)表根本不能體現(xiàn)出智能，體力活，實(shí)習(xí)生工作。第二階段：數(shù)據(jù)分析、傳統(tǒng)數(shù)據(jù)挖掘階段。阿里巴巴做的數(shù)據(jù)魔方、量子恒道是典型代表。非常成功，非常簡(jiǎn)潔有效，快速幫公司和客戶(hù)賺錢(qián)，實(shí)現(xiàn)多方共贏。第三階段：做實(shí)時(shí)營(yíng)銷(xiāo)、實(shí)時(shí)分析、實(shí)時(shí)告警等等實(shí)時(shí)或準(zhǔn)實(shí)時(shí)系統(tǒng)，更接近于OLTP系統(tǒng)，處理難度高，顛覆著傳統(tǒng)的BI系統(tǒng)。商業(yè)智能BI系統(tǒng)存在的問(wèn)題某電信運(yùn)營(yíng)商十幾年商業(yè)智能BI系統(tǒng)建設(shè)，是否有用？數(shù)據(jù)分析、數(shù)據(jù)挖掘真的重要嗎？

某公司數(shù)據(jù)挖掘團(tuán)隊(duì)被解散，某公司數(shù)據(jù)分析團(tuán)隊(duì)被解散客戶(hù)細(xì)分問(wèn)題？分析報(bào)告一定是正確的嗎？大數(shù)據(jù)、數(shù)據(jù)挖掘、數(shù)據(jù)分析真的重要嗎在互聯(lián)網(wǎng)企業(yè)，以結(jié)果為導(dǎo)向，價(jià)值為主?；ヂ?lián)網(wǎng)企業(yè)競(jìng)爭(zhēng)激烈，今天活著，明天隨時(shí)會(huì)死去，以結(jié)果為導(dǎo)向非常有必要。有的公司數(shù)據(jù)挖掘團(tuán)隊(duì)被解散，有的公司數(shù)據(jù)分析團(tuán)隊(duì)被解散。這些團(tuán)隊(duì)中其實(shí)有很強(qiáng)的TeamLeader和很靠譜的團(tuán)隊(duì)成員。為什么還是要解散呢？這是因?yàn)閿?shù)據(jù)挖掘、數(shù)據(jù)分析能做到百分之三十或百分之五十已經(jīng)非常好，當(dāng)企業(yè)自然增長(zhǎng)達(dá)到百分之百或百分之幾百時(shí)，從投入產(chǎn)出比角度出發(fā)，數(shù)據(jù)挖掘、數(shù)據(jù)分析團(tuán)隊(duì)是無(wú)價(jià)值的，是應(yīng)被解散掉的。信令數(shù)據(jù)介紹CS域語(yǔ)音主叫語(yǔ)音被叫短信發(fā)送短信接收位置更新開(kāi)機(jī)關(guān)機(jī)位置切換信令數(shù)據(jù)介紹PS域彩信發(fā)送彩信接收WAP連接WAP使用WAP斷開(kāi)3G上網(wǎng)4G上網(wǎng)信令名詞解釋LAC：

locationareacode位置區(qū)碼（移動(dòng)通信系統(tǒng)中）,是為尋呼而設(shè)置的一個(gè)區(qū)域,覆蓋一片地理區(qū)域。CELL：

采用基站識(shí)別碼或全球小區(qū)識(shí)別進(jìn)行標(biāo)識(shí)的無(wú)線覆蓋區(qū)域叫做小區(qū)。IMSI：

InternationalMobileSubscriberIdentificationNumber國(guó)際移動(dòng)用戶(hù)識(shí)別碼，是區(qū)別移動(dòng)用戶(hù)的標(biāo)志，儲(chǔ)存在SIM卡中，可用于區(qū)別移動(dòng)用戶(hù)的有效信息。信令名詞解釋IMEI：InternationalMobileEquipmentIdentity，是國(guó)際移動(dòng)設(shè)備身份碼的縮寫(xiě)，國(guó)際移動(dòng)裝備辨識(shí)碼，是由15位數(shù)字組成的“電子串號(hào)”，它與每臺(tái)手機(jī)一一對(duì)應(yīng)，而且該碼是全世界唯一的。MSISDN:MobileSubscriberInternationalISDN/PSTNnumber(ISDN即是綜合業(yè)務(wù)數(shù)字網(wǎng)，是IntegratedServiceDigitalNetwork的簡(jiǎn)稱(chēng))，即手機(jī)號(hào)碼。信令數(shù)據(jù)據(jù)能做什什么？實(shí)時(shí)營(yíng)銷(xiāo)銷(xiāo)（精準(zhǔn)準(zhǔn)營(yíng)銷(xiāo)、、精確營(yíng)營(yíng)銷(xiāo)）事件營(yíng)銷(xiāo)銷(xiāo)（信令令監(jiān)控、、信令分分析、數(shù)數(shù)據(jù)挖掘掘）基于信令令數(shù)據(jù)和和客戶(hù)統(tǒng)統(tǒng)一視圖圖的模型型高中生高中生家家長(zhǎng)大學(xué)生飛機(jī)來(lái)港港客戶(hù)飛機(jī)離港港客戶(hù)景區(qū)游客客火車(chē)站到到達(dá)客戶(hù)戶(hù)火車(chē)站離離開(kāi)客戶(hù)戶(hù)數(shù)據(jù)模型型的創(chuàng)新新規(guī)則以界界面化的的方式展展示給業(yè)業(yè)務(wù)人員員參數(shù)可調(diào)調(diào)整，業(yè)業(yè)務(wù)人員員可以根根據(jù)業(yè)務(wù)務(wù)經(jīng)驗(yàn)調(diào)調(diào)整業(yè)務(wù)人員員可以直直接界面面執(zhí)行數(shù)數(shù)據(jù)挖掘掘，重跑跑數(shù)據(jù)通過(guò)外呼呼查全和和查準(zhǔn)前端界面面規(guī)則配配置到數(shù)數(shù)據(jù)庫(kù)中中環(huán)境發(fā)生生大變化化時(shí)，業(yè)業(yè)務(wù)人員員熟悉模模型規(guī)則則，就能能很方便便給研發(fā)發(fā)提新需需求，研研發(fā)遠(yuǎn)程程開(kāi)發(fā)后后遠(yuǎn)程發(fā)發(fā)包部署署實(shí)時(shí)營(yíng)銷(xiāo)銷(xiāo)（精準(zhǔn)準(zhǔn)營(yíng)銷(xiāo)、、精確營(yíng)營(yíng)銷(xiāo)）速度實(shí)時(shí)時(shí)合適的時(shí)時(shí)間合適的地地點(diǎn)給客戶(hù)推推薦合適適的內(nèi)容容實(shí)時(shí)營(yíng)銷(xiāo)銷(xiāo)（精準(zhǔn)準(zhǔn)營(yíng)銷(xiāo)、、精確營(yíng)營(yíng)銷(xiāo)）案例兩城一家家機(jī)場(chǎng)旅客客推薦各各種套餐餐高考考生生推薦各各種業(yè)務(wù)務(wù)體育場(chǎng)觀觀眾推薦薦歌星歌歌曲關(guān)于10張標(biāo)簽表表，每張張表8000萬(wàn)記錄，，每張表表幾百幾幾千個(gè)標(biāo)標(biāo)簽字段段，關(guān)聯(lián)聯(lián)取數(shù)據(jù)據(jù)，秒級(jí)級(jí)出結(jié)果果的高效效方法?大數(shù)據(jù)關(guān)關(guān)聯(lián)查詢(xún)?cè)儎?chuàng)新案案例方案1：數(shù)據(jù)庫(kù)庫(kù)內(nèi)方案案把所有客客戶(hù)統(tǒng)一一視圖大大標(biāo)簽寬寬表先按按地市分分表，再再按號(hào)碼碼分別拆拆分為10000張表。每張小表表中包括括所有需需要的幾幾百、幾幾千個(gè)字字段。小小表總表表數(shù)為1萬(wàn)到幾萬(wàn)萬(wàn)之間，，詳細(xì)為為地市數(shù)數(shù)量*1000。有的省份份，小表表數(shù)據(jù)量量為2000條到8000條。前端端訪問(wèn)時(shí)時(shí)，不再再需要做做多表sql關(guān)聯(lián)，數(shù)數(shù)據(jù)量級(jí)級(jí)別為千千行級(jí)的的單表sql查詢(xún)語(yǔ)句句速度也也很快。。起10000個(gè)線程并并發(fā)執(zhí)行行，可以以做到實(shí)實(shí)時(shí)。方案2：數(shù)據(jù)庫(kù)庫(kù)外方案案把所有客客戶(hù)統(tǒng)一一視圖大大標(biāo)簽寬寬表按地地市分文文件，再再按號(hào)碼碼繼續(xù)拆拆分為1000個(gè)文件。。每個(gè)小文文件中包包括所有有需要的的幾百、、幾千個(gè)個(gè)字段。。小文件件總數(shù)量量為1萬(wàn)到幾萬(wàn)萬(wàn)之間，，詳細(xì)為為地市數(shù)數(shù)量*1000。如果是直直轄市，，直接拆拆分為10000個(gè)小文件件。使用標(biāo)準(zhǔn)準(zhǔn)C，開(kāi)發(fā)出出處理程程序，并并發(fā)啟動(dòng)動(dòng)1萬(wàn)到幾萬(wàn)萬(wàn)個(gè)線程程，每個(gè)個(gè)線程把把小文件件數(shù)據(jù)加加載到各各自?xún)?nèi)存存中。當(dāng)需要處處理數(shù)據(jù)據(jù)時(shí)，實(shí)實(shí)用LUA來(lái)訪問(wèn)數(shù)數(shù)據(jù)，每每個(gè)線程程需要處處理的數(shù)數(shù)據(jù)量為為千行級(jí)級(jí)。總體體速度應(yīng)應(yīng)該在毫毫表級(jí)，，可以實(shí)實(shí)時(shí)把數(shù)數(shù)據(jù)回傳傳給前端端。像有的省省，如果果地市用用戶(hù)提取取客戶(hù)群群，則同同樣只需需訪問(wèn)此此地市的的1000個(gè)小內(nèi)存存文件，，速度能能更快。。方案1細(xì)節(jié)：表文件、、和線程程的數(shù)量量可以根根據(jù)實(shí)際際需要調(diào)調(diào)整，可可以調(diào)整整到100張表、1000張表、或或者是100個(gè)文件、、1000文件、再再或者是是100個(gè)線程、、1000個(gè)線程。。具體還需需要查詢(xún)?cè)冑Y料，，依據(jù)現(xiàn)現(xiàn)場(chǎng)機(jī)器器配置，，做性能能調(diào)優(yōu)而而定。如果并發(fā)發(fā)線程壓壓力太大大的話，，可以考考慮改為為減少并并發(fā)線程程數(shù)，或或者改為為串行。。當(dāng)數(shù)據(jù)據(jù)無(wú)法做做大表關(guān)關(guān)聯(lián)時(shí)，，每次只只需從單單行記錄錄就可去去到。方案1細(xì)節(jié)：分表或分分文件時(shí)時(shí)，按手手機(jī)號(hào)碼碼尾號(hào)2位或3位來(lái)分，，手機(jī)號(hào)號(hào)碼尾號(hào)號(hào)本身是是均勻的的。在同同一地市市的小表表中，每每張小表表的數(shù)據(jù)據(jù)量是基基本接近近相同的的。地市之間間，考慮慮到不同同地市的的用戶(hù)數(shù)數(shù)不同，，則可以以對(duì)不同同地市的的分表或或分文件件數(shù)量做做優(yōu)化，，用戶(hù)數(shù)數(shù)多的地地市分表表和文件件多，用用戶(hù)數(shù)少少的地市市分表或或文件少少，盡量量和所有有的100、1000或10000以上的表表或文件件中數(shù)據(jù)據(jù)量保持持一致，，這樣并并發(fā)處理理線程同同時(shí)處理理，完成成時(shí)間也也能基本本相同。。方案2細(xì)節(jié)：數(shù)據(jù)為每每月或每每日凌晨晨初始化化讀入，，載入到到內(nèi)存后后。在上上班時(shí)間間訪問(wèn)，，直接查查詢(xún)內(nèi)存存靜態(tài)數(shù)數(shù)據(jù)，速速度快，，但也涉涉及到內(nèi)內(nèi)存分配配太大的的問(wèn)題。。此時(shí)，需需要考慮慮做并發(fā)發(fā)或者分分布式處處理。涉涉及到硬硬件投資資增加問(wèn)問(wèn)題，不不建議采采購(gòu)小型型機(jī)，改改為采購(gòu)購(gòu)刀片服服務(wù)器或或其它服服務(wù)器。。數(shù)據(jù)也可可采用前前端調(diào)用用時(shí)再動(dòng)動(dòng)態(tài)加載載，根據(jù)據(jù)機(jī)器配配置，讓讓線程分分批次加加載數(shù)據(jù)據(jù)并處理理。這樣樣對(duì)硬件件要求低低，但速速度相對(duì)對(duì)會(huì)慢。。方案2細(xì)節(jié)：前端向后后臺(tái)通信信采取socket方式，后后臺(tái)處理理完數(shù)據(jù)據(jù)后，可可以把最最終數(shù)據(jù)據(jù)合并，，再加載載到數(shù)據(jù)據(jù)庫(kù)中的的表，也也可以由由各線程程把各自自數(shù)據(jù)分分批插入入到數(shù)據(jù)據(jù)庫(kù)中的的表。數(shù)據(jù)加載載完成后后，再通通過(guò)socket通知前端端處理完完畢。LUA具體如何何處理和和優(yōu)化，，細(xì)節(jié)尚尚待研究究，需要要花時(shí)間間。細(xì)致工作作還有很很多，需需要繼續(xù)續(xù)研究和和深入下下去。方案2細(xì)節(jié)：如果要考考慮到硬硬件成本本、分布布式部署署、開(kāi)發(fā)發(fā)時(shí)間和和難度問(wèn)問(wèn)題，可可以接下下來(lái)優(yōu)化化為采用用hadoop方案。采用hadoop方案后，，整體數(shù)數(shù)據(jù)量在在千萬(wàn)級(jí)級(jí)，有些些省例外外，到了了億級(jí)。。硬件投投資改為為采購(gòu)幾幾臺(tái)PCServer，硬件投投入為幾幾萬(wàn)元。。數(shù)據(jù)都在在庫(kù)外處處理，NOSQL方式，數(shù)數(shù)據(jù)庫(kù)可可以改為為使用開(kāi)開(kāi)源數(shù)據(jù)據(jù)庫(kù)MySQL，存放配配置信息息。這樣樣DB2、Oracle或其它數(shù)數(shù)據(jù)庫(kù)都都可以替替換掉。。方案2細(xì)節(jié)：：整體來(lái)來(lái)說(shuō)，，實(shí)用用hadoop方式或或庫(kù)外外標(biāo)準(zhǔn)準(zhǔn)C開(kāi)發(fā)方方式后后，可可以更更有效效減少少中國(guó)國(guó)移動(dòng)動(dòng)在硬硬件上上的投投入，，在數(shù)數(shù)據(jù)庫(kù)庫(kù)的投投入。?？梢园寻压?jié)省省的成成本投投一部部分到到應(yīng)用用軟件件廠商商上。。這樣樣，中中國(guó)移移動(dòng)就就可以以和應(yīng)應(yīng)用軟軟件廠廠商實(shí)實(shí)現(xiàn)共共贏。。這也也是IT業(yè)界的的發(fā)展展趨勢(shì)勢(shì)。至于hadoop方案，，客戶(hù)戶(hù)統(tǒng)一一視圖圖標(biāo)簽簽月表表每月月生成成一次次，日日表每每日按按生產(chǎn)產(chǎn)一次次。生生成后后為靜靜態(tài)數(shù)數(shù)據(jù)，，每日日上班班時(shí)間間數(shù)據(jù)據(jù)不會(huì)會(huì)更新新，為為靜態(tài)態(tài)數(shù)據(jù)據(jù)。方案2細(xì)節(jié)：基于此特點(diǎn)點(diǎn)，可以在在每日凌晨晨把客戶(hù)統(tǒng)統(tǒng)一視圖數(shù)數(shù)據(jù)加載到到hadoop中，白天訪訪問(wèn)時(shí)直接接查詢(xún)數(shù)據(jù)據(jù)，速度快快，效率高高。數(shù)據(jù)加載到到內(nèi)存數(shù)據(jù)據(jù)庫(kù)中做查查詢(xún)，我目目前用到的的是solo+lucene，有的同事事用的是MongoDB。云計(jì)算方案案，應(yīng)該是是可以考慮慮借鑒谷歌歌做搜索查查詢(xún)這塊的的成功經(jīng)驗(yàn)驗(yàn)。云計(jì)算方案案，貌似用用流計(jì)算也也不錯(cuò)。Yahoo的S4聽(tīng)說(shuō)挺不錯(cuò)錯(cuò)?！墩撝袊?guó)》西方戰(zhàn)略家家思考如何何在關(guān)鍵點(diǎn)點(diǎn)上集結(jié)優(yōu)優(yōu)勢(shì)兵力，，而孫子研研究如何在在政治和心心理上取得得優(yōu)勢(shì)地位位，從而確確保勝利。。西方戰(zhàn)略略家通過(guò)打打勝仗檢驗(yàn)驗(yàn)自己的理理論，孫子子則通過(guò)不不戰(zhàn)而勝檢檢驗(yàn)自己的的理論。亨利·基辛格個(gè)人建議：：平時(shí)多積累累，“功功夫在詩(shī)外外”多做SWOT分析多關(guān)注大環(huán)