abit.io大數(shù)據與網絡輿情分析http://abit.io微趣大數(shù)據所有真實用戶都不獨立存在，緊密的社交圈在幫助用戶產生數(shù)據。社交大數(shù)據的內部爆炸可以為任意分析提供充足的數(shù)據支撐超過6億互聯(lián)網真實用戶檔案數(shù)據。每天新產生的數(shù)億條的評論，及過去4年間數(shù)百億的各類觀點?，F(xiàn)在可以在一個平臺上掌握所有的這些聲音。通過這些大數(shù)據可回答以下問題：誰/哪些人在討論一個什么問題他們的觀點和期望到底是什么可自由組織的問題影響力評估用戶作息時間群體/個體習慣對比分析（作息，上網）自然狀態(tài)下的用戶言論自然狀態(tài)下的用戶言論移動設備更替社交關系網結構社交關系結構群體/個體興趣對比分析網絡輿情分析微博新浪微博用戶6.5億，日活躍4600萬，騰訊微博用戶6.2億，日活躍約1億。全國政務微博總數(shù)17萬，2012年增長2.5倍（其中在新浪微博6萬）。在新浪微博開通的企業(yè)微博總數(shù)27萬，2012年增長1.2倍。微信微信用戶3億，日活躍約2億，公眾號約200萬，認證公眾號與服務號約20萬。新一輪的信息爆炸傳統(tǒng)門戶，論壇有價值信息量大約在一年1億條左右微博每天產生近2億條各類內容社交媒體特點海量數(shù)據大量長尾和碎片和噪音互聯(lián)網輿情現(xiàn)狀互聯(lián)網輿情現(xiàn)狀在今天的中國，任意可能被在全社會范圍內傳播的輿情都無法繞開微博這一傳播載體。只要內容具有傳播價值，數(shù)億微博用戶中總有人會將其從門戶，論壇，朋友圈及其它各類媒介中放到微博中進行傳播，因此微博可以說是大數(shù)據時代輿情監(jiān)測最重要的陣地。微博是目前中國唯一能夠滿足普通用戶將信息傳遞到全國皆知的需求的平臺。當前互聯(lián)網輿情監(jiān)測的思路方案及時獲取完整獲取判別熱度判別真假可擴展穩(wěn)定性API關鍵詞實時獲取XXXX非常穩(wěn)定頁面爬蟲重要優(yōu)先√√√√較穩(wěn)定主要的技術路線比較頁面爬蟲根據采集能力約束主要分為：“全采集”與“組織性采集”。案例–上海法官招嫖事件事件回放：2013.8.2網上開始大量傳播以視頻截圖為依據的披露上海高院法官集體招嫖的事件，該事件在全國范圍內造成大范圍的傳播與討論，造成惡劣影響，微趣輿情平臺在這條暴露微博僅僅轉發(fā)11次之前就捕獲了該微博。案例特點：爆料人在騰訊微博上注冊用戶并進行發(fā)布。該用戶爆料時，粉絲僅為9人，即初期整個互聯(lián)網中僅有9人有較小機會看到并傳播該信息。該信息經過4小時左右傳播后被刪除，刪除前僅轉發(fā)了65次，但最終在全網范圍內進行擴散。案例結論：輿情監(jiān)測必須全平臺。如僅監(jiān)測大號，無法確保輿情監(jiān)測業(yè)務的安全?；谏缃痪W絡的輿情傳播力非常大，一不注意就造成輿論災難。大數(shù)據采集社交媒體數(shù)據量較傳統(tǒng)門戶論壇增長了數(shù)百倍，傳統(tǒng)輿情平臺技術無力實現(xiàn)全數(shù)據采集。微博數(shù)據源都是高技術能力的互聯(lián)網公司，反采集技術成熟，難以攻破。（短信驗證，圖片識別等）大數(shù)據處理利用傳統(tǒng)的數(shù)據處理與存儲方式，要實時處理數(shù)以億計的數(shù)據需要投入龐大的硬件，一般公司無法承擔。例如鄧亞萍的即刻搜索，就投入了近700臺高性能服務器提供微博內容的搜索服務，但仍然數(shù)據缺失嚴重。輿情的發(fā)現(xiàn)任意輿情系統(tǒng)最終都需要將數(shù)據呈現(xiàn)在用戶面前，在大量相關數(shù)據面前，人一天滿負荷瀏覽最多不會超過2000條微博，但在大數(shù)據的基礎上，往往相關數(shù)據都會超過這個極限。因此如何實時將最重要的輿情信息優(yōu)先放到用戶面前成為重要問題。輿論噪音的辨別與去除社交平臺中存在大量受控制的機器賬號，總量驚人，這些機器賬號可以被利用快速增長某些內容的轉發(fā)量。需要有技術識別輿情的真假，防止被錯誤引導。輿情監(jiān)測的挑戰(zhàn)內容傳播分析真實傳播評估大數(shù)據采集從09年開始研發(fā)搭建的高效分布式采集平臺，將近百個采集點毫無規(guī)律地放置在全球各地，使采集能力大增并且不易被平臺防抓取技術攔截，已穩(wěn)定采集4年相關數(shù)據。大數(shù)據處理自主研發(fā)了國際上最先進的非關系型數(shù)據庫并利用分布式文件系統(tǒng)（hadoop）實現(xiàn)了低成本的高速數(shù)據讀寫。經測試同等硬件環(huán)境下，讀取速度比SQLServer或Oracle快20倍，寫入快5倍。輿情的發(fā)現(xiàn)基于國際上一些權威的傳播研究論文，設計出能夠實時評價輿情重要性的“熱度指數(shù)”，獲得國家相關獎項認可。輿論噪音的辨別與去除探查整個社交網絡數(shù)億用戶情況，通過真實度算法識別網絡機器人，確保去除虛假互聯(lián)網聲音。應對技術微博實時搜索微信實時搜索案例–平度事件最早影響力最大21-24號的數(shù)據統(tǒng)計日期微博數(shù)轉發(fā)數(shù)評論數(shù)微信數(shù)3.21486442201294213.22608781142774513.23614362971341003.24262396414241實時意見領袖的監(jiān)測傳播地域評估新媒體下的內容引導什么是傳統(tǒng)媒體？電視、廣播、報紙、雜志、布告欄、電線桿……什么是新媒體？網絡視頻，IPTV，移動電視，數(shù)字報紙，數(shù)字雜志，博客，微博……新媒體的優(yōu)勢傳播速度更快，信息更及時覆蓋面更廣，受眾更多互動性更強新媒體的特點消解邊界信息多元化和自由選擇突破時空限制小眾化與長尾效應自媒體什么是自媒體？@作業(yè)本784萬粉絲獨特的語言風格，契合時事熱點的創(chuàng)作每條微博都有上千乃至數(shù)萬轉發(fā)評論牛鬼蛇神屌絲聚會這是什么？@王左中右每天一個漢字，讀懂中國@小丑出品PS&吐槽新媒體平臺上的

內容包裝與品牌塑造獨特的原創(chuàng)內容有針對性的受眾群體緊抓熱點關鍵的傳播點良好的互動我買了這么多貨不對版的植物我會告訴你嗎？太長!toolong!發(fā)布微博時其他考量發(fā)布時間：中午十二點整后續(xù)：由韓寒在十分鐘后進行轉發(fā)后續(xù)：由亭林鎮(zhèn)工作室的微博以及其他朋友微博賬號進行轉發(fā)并持續(xù)發(fā)酵最