項目三

大數(shù)據(jù)思維人類社會的進步得益于哲學思想中的方法論，但是到了信息時代，隨著人類對世界認識的越來越數(shù)據(jù)化，人們感受到的世界不確定性越來越顯著，以至于我們按照傳統(tǒng)的機械思維模式，已很難做出準確的因果關系預測。當人們意識到影響世界的變量非常多，已經(jīng)無法通過簡單的方法或者公式得出結(jié)論時，人們嘗試采用一些針對隨機事件的方法來處理問題，用不確定性的眼光看待世界。大數(shù)據(jù)思維大數(shù)據(jù)思維在大數(shù)據(jù)時代，人們不得不轉(zhuǎn)變思維方式，努力把身邊的事物量化，再從數(shù)據(jù)的角度加以分析后獲得人與物、物與物之間相互聯(lián)系的規(guī)律，人們根據(jù)這些規(guī)律可以預見事物間的相關性，這就是大數(shù)據(jù)的思維方式。在方法論的層面，大數(shù)據(jù)是一種全新的思維方式，按照大數(shù)據(jù)的思維方式，人們的思維模式從抽樣統(tǒng)計思維轉(zhuǎn)向宏觀整體思維、由精確的數(shù)值計算轉(zhuǎn)向有偏差的數(shù)據(jù)分析、用定量的計算思維替代定性的理性思維。大數(shù)據(jù)的思維特點從理論上說，自然界和人類社會存在的數(shù)據(jù)是無限的，而人類采集、存儲數(shù)據(jù)、分析數(shù)據(jù)的能力卻是有限的，人們?nèi)绾卧跓o限的數(shù)據(jù)中找到所需的數(shù)據(jù)，就需要一種全新的大數(shù)據(jù)思維模式，這類似于經(jīng)典力學和相對論的誕生，改變了人們原有的思維模式。大數(shù)據(jù)的思維特點大數(shù)據(jù)的總體思維大數(shù)據(jù)技術(shù)的核心就是海量數(shù)據(jù)的實時采集、存儲和處理，如感應器、手機導航、網(wǎng)站等應用技術(shù)都能夠收集大量實時數(shù)據(jù)，同時分布式文件系統(tǒng)和分布式數(shù)據(jù)庫技術(shù)在理論上提供了近乎無限的數(shù)據(jù)存儲能力，而分布式并行編程框架MapReduce提供了強大的海量數(shù)據(jù)并行處理能力。2.1.1大數(shù)據(jù)的思維特點2.1大數(shù)據(jù)是在數(shù)據(jù)的復雜性和完整性的基礎上進一步揭示事物的相關性，在大數(shù)據(jù)的情形下，除了數(shù)據(jù)驗證已有結(jié)論外，我們還可以從數(shù)據(jù)出發(fā)，看數(shù)據(jù)本身能夠給出什么新的結(jié)論。數(shù)據(jù)分析完全可以直接針對全集數(shù)據(jù)而不是抽樣數(shù)據(jù)，使“樣本=總體”變?yōu)楝F(xiàn)實，不再受采樣方法的限制，并且可以在短時間內(nèi)迅速得到分析結(jié)果。大數(shù)據(jù)的總體思維大數(shù)據(jù)的思維特點2.1人們在采用抽樣分析時，必須追求分析方法的精確性，因為針對部分樣本的抽樣分析所得到的結(jié)果應用到全集數(shù)據(jù)后，誤差會被放大。也就是說，抽樣分析中的微小誤差被放大到全集數(shù)據(jù)后，就可能會變成一個很大的誤差。1.2大數(shù)據(jù)的非精確思維大數(shù)據(jù)的思維特點2.1解釋事物背后的發(fā)展機理預測未來可能發(fā)生的事件大數(shù)據(jù)的非因果性思維大數(shù)據(jù)的思維特點2.1傳統(tǒng)的統(tǒng)計學主要通過模型來探究變量之間的因果關系，根據(jù)模型預測變量的因變量，即首先假設事物之間存在某種因果關系，然后根據(jù)這個假設建立模型并驗證假設的因果關系。但是，現(xiàn)實世界的事物是普遍聯(lián)系的，因果關系只是事物之間相關關系的一種，認識事物之間的相關關系才是人們進一步了解事物的本質(zhì)內(nèi)涵的高層次認知需求。傳統(tǒng)的統(tǒng)計學主要通過模型來探究變量之間的因果關系，根據(jù)模型預測變量的因變量，即首先假設事物之間存在某種因果關系，然后根據(jù)這個假設建立模型并驗證假設的因果關系。但是，現(xiàn)實世界的事物是普遍聯(lián)系的，因果關系只是事物之間相關關系的一種，認識事物之間的相關關系才是人們進一步了解事物的本質(zhì)內(nèi)涵的高層次認知需求。大數(shù)據(jù)的非因果性思維大數(shù)據(jù)的思維特點2.1數(shù)據(jù)無法確定因果關系，但數(shù)據(jù)依然為人們提供了解決問題的新方法。因為數(shù)據(jù)中包含的信息可以幫助人們消除不確定性，分析數(shù)據(jù)的相關性就可以幫助人們得到想要的答案，這就是大數(shù)據(jù)思維的核心。1.2大數(shù)據(jù)的非因果性思維大數(shù)據(jù)的思維特點2.1在科學研究領域中的很長一段時期內(nèi)，研究方法分成傳統(tǒng)人工智能方法與數(shù)據(jù)驅(qū)動方法。對機器翻譯的研究，學者較多采用人工智能的方法，在實踐中，機器翻譯研究人員逐漸意識到了一個新問題：機器翻譯不能只是讓計算機熟悉常用規(guī)則，還必須教會計算機處理特殊的語言情況，但是教會計算機學會選詞是非常困難的。1.2以數(shù)據(jù)為中心大數(shù)據(jù)的思維特點2.1讓計算機去估算一個詞或一個詞組適合于用來翻譯另一種語言中的一個詞和詞組的可能性，然后再決定某個詞和詞組在另一種語言中的對等詞和詞組，但前提是需要足夠的數(shù)據(jù)量。1.32.1.4以數(shù)據(jù)為中心大數(shù)據(jù)的思維特點2.1在大數(shù)據(jù)時代，人們分析問題時可以盡可能地從多維度收集數(shù)據(jù)，人們以往的數(shù)據(jù)運用思維已不能適應新問題的解決方式。例如，如何從大量數(shù)據(jù)中收集有用的數(shù)據(jù)、如何確定數(shù)據(jù)的存儲方式、如何利用大數(shù)據(jù)幫助解決困境等問題。面對大數(shù)據(jù)產(chǎn)生的新問題，需要運用大數(shù)據(jù)的運營思維，用數(shù)據(jù)中的隱藏價值來解決生產(chǎn)、生活中的現(xiàn)實問題。1.3大數(shù)據(jù)的運營思維大數(shù)據(jù)的思維特點2.1數(shù)據(jù)收集取決于辨別數(shù)據(jù)價值的能力，取決于能否在大量數(shù)據(jù)中找出核心數(shù)據(jù)和頻繁使用的數(shù)據(jù)。如果只收集數(shù)據(jù)而不對數(shù)據(jù)進行分析，那么數(shù)據(jù)背后的價值就無法體現(xiàn)。因此，大數(shù)據(jù)的價值就是使數(shù)據(jù)處于“收集—應用”的良性循環(huán)中，并帶動更多的數(shù)據(jù)進入此循環(huán)中（見圖2-1）。在此循環(huán)過程中，主動收集和靈活使用是關鍵。1.3數(shù)據(jù)的收集大數(shù)據(jù)的思維特點2.1在運用大數(shù)據(jù)分析服務時，必須對所收集的海量數(shù)據(jù)進行有效的管理。數(shù)據(jù)管理主要包括：數(shù)據(jù)的來源、數(shù)據(jù)的完整性、數(shù)據(jù)的安全性、數(shù)據(jù)的準確性和穩(wěn)定性等。數(shù)據(jù)管理因在不同的應用背景而有所不同。1.3數(shù)據(jù)的分類大數(shù)據(jù)的思維特點2.1從4個維度進行數(shù)據(jù)分類的方法