大數(shù)據(jù)BIGDATA大數(shù)據(jù)1大數(shù)據(jù)背景信息自由之戰(zhàn)數(shù)據(jù)爆炸數(shù)據(jù)帝國數(shù)據(jù)治國大數(shù)據(jù)背景2信息自由之戰(zhàn)—美國信息之于民主,就如貨幣之于經濟托馬斯杰斐遜,第三任美國總統(tǒng)美國三權分立總統(tǒng)任命的司法官員須經參議院確認最高法院可以宣布法律不合憲法信息自由之戰(zhàn)—美國3三權組織機構行政司法參議院眾議院副總統(tǒng)聯(lián)邦最高法院總統(tǒng)下屬機構州最高法院行政部門基層法院第四股力量(Fourthestate)新聞和報紙新聞自由、言論自由、知情權1948年,美國報紙編輯協(xié)會成立“世界信息自由委員會三權組織機構4約翰·摩斯——《信息自由法》(擔任美國國會議員25年,六朝元老、連選連任)1955年摩斯著手信息自由的立法工作以來,一系列列的法律層層疊加,不斷完善,美國的信息自由最終形成了一個體系,這個體系也成了世界上許多國家制定《信息自由法》的模板,截止2006年,已有60多個國家實施了類似的法案《信息自由法》〔FreedomofInformationAct簡稱FOIA,也譯作情報自由法)主要內容是規(guī)定民眾在獲得行政情報方面的權利和行政機關在向民眾提供行政情報方面的義務第一、聯(lián)邦政府的記錄和檔案原則上向所有的人開放,但是有九類政府情報可免于公開第二、公民可向任何一級政府機構提出查閱、索取復印件的申請第三、政府機構則必須公布本部門的建制和本部門各級組織受理情報咨詢、査找的程序、方法和項目,并提供信息分類索引細這分志律期建子的段式動后里關中謂論,并應得到)洗的優(yōu)先處約翰·摩斯——《信息自由法》5奧巴馬政府·政府的態(tài)度:大國新政—陽光是最好的防腐劑,建立一個透明開放的政府·政府的行動:《透明和開放的政府》放松對總統(tǒng)文件的管制(公眾可查閱)公開、發(fā)布信息政府的思想:依靠數(shù)據(jù)說話政府領導人:奧巴馬熱愛高新科技支持技術創(chuàng)新OBAMAO8TheFaceofChange奧巴馬政府6信息的自由、公開據(jù)急速增長火1三如何收集理和分析?以機器學習,數(shù)據(jù)挖為基礎的高級數(shù)據(jù)分析技從數(shù)據(jù)到知識,從知識到行動信息的自由、公開7數(shù)據(jù)帝國Wha么是數(shù)據(jù)::where:數(shù)據(jù)是哪來的?how、應對數(shù)據(jù)爆炸該如何做?什么是點據(jù)?數(shù)據(jù)是對信息記錄,其本身并無意義,把數(shù)據(jù)放置定的背景對數(shù)釋、賦予意義,則為信息。例如1.85″是一個數(shù)據(jù)奧巴馬身高1.85米”是一條信息數(shù)據(jù)帝國8數(shù)據(jù)的儲存單位單位英語標識大小例子Bit或個二進制數(shù)位:0或1字節(jié)Byte8Bit個英文字母:8Bit千字節(jié)KB1024Byte一頁紙上的文字:5KB兆字節(jié)MB1024KB首普通MP3的歌曲:4MB吉字節(jié)GB1024MB一部電影:1GB太字節(jié)TB美國國會圖書館所有登記印刷版書本的消息:15TB1024GB2011年底,其網(wǎng)絡備份的數(shù)據(jù)量為280太字節(jié)美國郵政局一年處理的信件大約為5拍拍子節(jié)1024TB谷歌每小時處理的數(shù)據(jù)為1拍艾字節(jié)1024EB相當與13億中國人人手一本500頁的書加起來澤字節(jié)ZB1024zB截止2010年,人類擁有的信息總量大概是12ZB堯字節(jié)1024YB超出想象數(shù)據(jù)的儲存單位92009年美國各行業(yè)數(shù)據(jù)存儲量(拍字節(jié))建筑業(yè)消費娛樂業(yè)服務資源行業(yè)用事業(yè)批發(fā)業(yè)教育業(yè)零售業(yè)投資證業(yè)34流程式制造業(yè)傳媒業(yè)高散式制造業(yè)(1998年,聯(lián)邦政府共擁有432所數(shù)據(jù)中心,專門負責各類數(shù)據(jù)的存儲和維護工作。2010年數(shù)據(jù)中心的總數(shù)躍升到2094所,翻了幾倍)2009年美國各行業(yè)數(shù)據(jù)存儲量(拍字節(jié))10理解大數(shù)據(jù)講解課件11理解大數(shù)據(jù)講解課件12理解大數(shù)據(jù)講解課件13理解大數(shù)據(jù)講解課件14理解大數(shù)據(jù)講解課件15理解大數(shù)據(jù)講解課件16理解大數(shù)據(jù)講解課件17理解大數(shù)據(jù)講解課件18理解大數(shù)據(jù)講解課件19理解大數(shù)據(jù)講解課件20理解大數(shù)據(jù)講解課件21理解大數(shù)據(jù)講解課件22理解大數(shù)據(jù)講解課件23理解大數(shù)據(jù)講解課件24理解大數(shù)據(jù)講解課件25理解大數(shù)據(jù)講解課件26理解大數(shù)據(jù)講解課件27理解大數(shù)據(jù)講解課件28理解大數(shù)據(jù)講解課件29理解大數(shù)據(jù)講解課件30理解大數(shù)據(jù)講解課件31理解大數(shù)據(jù)講解課件32理解大數(shù)據(jù)講解課件33理解大數(shù)據(jù)講解課件34理解大數(shù)據(jù)講解課件35理解大數(shù)據(jù)講解課件36理解大數(shù)據(jù)講解課件37理解大數(shù)據(jù)講解課件38理解大數(shù)據(jù)講解課件39理解大數(shù)據(jù)講解課件40理解大數(shù)據(jù)講解課件41理解大數(shù)據(jù)講解課件42理解大數(shù)據(jù)講解課件43理解大數(shù)據(jù)講解課件44理解大數(shù)據(jù)講解課件45理解大數(shù)據(jù)講解課件46理解大數(shù)據(jù)講解課件47理解大數(shù)據(jù)講解課件48理解大數(shù)據(jù)講解課件49大數(shù)據(jù)BIGDATA大數(shù)據(jù)50大數(shù)據(jù)背景信息自由之戰(zhàn)數(shù)據(jù)爆炸數(shù)據(jù)帝國數(shù)據(jù)治國大數(shù)據(jù)背景51信息自由之戰(zhàn)—美國信息之于民主,就如貨幣之于經濟托馬斯杰斐遜,第三任美國總統(tǒng)美國三權分立總統(tǒng)任命的司法官員須經參議院確認最高法院可以宣布法律不合憲法信息自由之戰(zhàn)—美國52三權組織機構行政司法參議院眾議院副總統(tǒng)聯(lián)邦最高法院總統(tǒng)下屬機構州最高法院行政部門基層法院第四股力量(Fourthestate)新聞和報紙新聞自由、言論自由、知情權1948年,美國報紙編輯協(xié)會成立“世界信息自由委員會三權組織機構53約翰·摩斯——《信息自由法》(擔任美國國會議員25年,六朝元老、連選連任)1955年摩斯著手信息自由的立法工作以來,一系列列的法律層層疊加,不斷完善,美國的信息自由最終形成了一個體系,這個體系也成了世界上許多國家制定《信息自由法》的模板,截止2006年,已有60多個國家實施了類似的法案《信息自由法》〔FreedomofInformationAct簡稱FOIA,也譯作情報自由法)主要內容是規(guī)定民眾在獲得行政情報方面的權利和行政機關在向民眾提供行政情報方面的義務第一、聯(lián)邦政府的記錄和檔案原則上向所有的人開放,但是有九類政府情報可免于公開第二、公民可向任何一級政府機構提出查閱、索取復印件的申請第三、政府機構則必須公布本部門的建制和本部門各級組織受理情報咨詢、査找的程序、方法和項目,并提供信息分類索引細這分志律期建子的段式動后里關中謂論,并應得到)洗的優(yōu)先處約翰·摩斯——《信息自由法》54奧巴馬政府·政府的態(tài)度:大國新政—陽光是最好的防腐劑,建立一個透明開放的政府·政府的行動:《透明和開放的政府》放松對總統(tǒng)文件的管制(公眾可查閱)公開、發(fā)布信息政府的思想:依靠數(shù)據(jù)說話政府領導人:奧巴馬熱愛高新科技支持技術創(chuàng)新OBAMAO8TheFaceofChange奧巴馬政府55信息的自由、公開據(jù)急速增長火1三如何收集理和分析?以機器學習,數(shù)據(jù)挖為基礎的高級數(shù)據(jù)分析技從數(shù)據(jù)到知識,從知識到行動信息的自由、公開56數(shù)據(jù)帝國Wha么是數(shù)據(jù)::where:數(shù)據(jù)是哪來的?how、應對數(shù)據(jù)爆炸該如何做?什么是點據(jù)?數(shù)據(jù)是對信息記錄,其本身并無意義,把數(shù)據(jù)放置定的背景對數(shù)釋、賦予意義,則為信息。例如1.85″是一個數(shù)據(jù)奧巴馬身高1.85米”是一條信息數(shù)據(jù)帝國57數(shù)據(jù)的儲存單位單位英語標識大小例子Bit或個二進制數(shù)位:0或1字節(jié)Byte8Bit個英文字母:8Bit千字節(jié)KB1024Byte一頁紙上的文字:5KB兆字節(jié)MB1024KB首普通MP3的歌曲:4MB吉字節(jié)GB1024MB一部電影:1GB太字節(jié)TB美國國會圖書館所有登記印刷版書本的消息:15TB1024GB2011年底,其網(wǎng)絡備份的數(shù)據(jù)量為280太字節(jié)美國郵政局一年處理的信件大約為5拍拍子節(jié)1024TB谷歌每小時處理的數(shù)據(jù)為1拍艾字節(jié)1024EB相當與13億中國人人手一本500頁的書加起來澤字節(jié)ZB1024zB截止2010年,人類擁有的信息總量大概是12ZB堯字節(jié)1024YB超出想象數(shù)據(jù)的儲存單位582009年美國各行業(yè)數(shù)據(jù)存儲量(拍字節(jié))建筑業(yè)消費娛樂業(yè)服務資源行業(yè)用事業(yè)批發(fā)業(yè)教育業(yè)零售業(yè)投資證業(yè)34流程式制造業(yè)傳媒業(yè)高散式制造業(yè)(1998年,聯(lián)邦政府共擁有432所數(shù)據(jù)中心,專門負責各類數(shù)據(jù)的存儲和維護工作。2010年數(shù)據(jù)中心的總數(shù)躍升到2094所,翻了幾倍)2009年美國各行業(yè)數(shù)據(jù)存儲量(拍字節(jié))59理解大數(shù)據(jù)講解課件60理解大數(shù)據(jù)講解課件61理解大數(shù)據(jù)講解課件62理解大數(shù)據(jù)講解課件63理解大數(shù)據(jù)講解課件64理解大數(shù)據(jù)講解課件65理解大數(shù)據(jù)講解課件66理解大數(shù)據(jù)講解課件67理解大數(shù)據(jù)講解課件68理解大數(shù)據(jù)講解課件69理解大數(shù)據(jù)講解課件70理解大數(shù)據(jù)講解課件71理解大數(shù)據(jù)講解課件72理解大數(shù)據(jù)講解課件73理解大數(shù)據(jù)講解課件74理解大數(shù)據(jù)講解課件75理解大數(shù)據(jù)講解課件76理解大數(shù)據(jù)講解課件77理解大數(shù)據(jù)講解課件78理解大數(shù)據(jù)講解課件79理解大數(shù)據(jù)講解課件80理解大數(shù)據(jù)講解課件81理解大數(shù)據(jù)講解課件82理