數(shù)據(jù)庫原理與應(yīng)用教程(第3版)國家“十一五”規(guī)劃教材第16章數(shù)據(jù)倉庫與數(shù)據(jù)挖掘

16.1數(shù)據(jù)倉庫技術(shù)16.2聯(lián)機(jī)分析處理

16.3數(shù)據(jù)挖掘16.1數(shù)據(jù)倉庫技術(shù)16.1.1數(shù)據(jù)倉庫的概念及特點

16.1.2數(shù)據(jù)倉庫體系結(jié)構(gòu)

16.1.3數(shù)據(jù)倉庫的分類

16.1.4數(shù)據(jù)倉庫的開發(fā)

數(shù)據(jù)倉庫技術(shù)數(shù)據(jù)倉庫是進(jìn)行聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘的基礎(chǔ)，它從數(shù)據(jù)分析的角度將聯(lián)機(jī)事務(wù)中的數(shù)據(jù)經(jīng)過清理、轉(zhuǎn)換并加載到數(shù)據(jù)倉庫中，這些數(shù)據(jù)在數(shù)據(jù)倉庫中被合理的組織和維護(hù)，以滿足聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘的要求。

16.1.1數(shù)據(jù)倉庫的概念及特點面向主題

集成的數(shù)據(jù)

數(shù)據(jù)不可更新

數(shù)據(jù)隨時間不斷變化

使用數(shù)據(jù)倉庫是為了更好的支持制定決策

面向主題主題是一種抽象，它是在較高層次上將企業(yè)信息系統(tǒng)中的數(shù)據(jù)綜合、歸類并進(jìn)行分析利用，是對企業(yè)中某一宏觀分析領(lǐng)域所涉及的分析對象，是針對某一決策問題而設(shè)置的。面向主題的數(shù)據(jù)組織方式就是完整、統(tǒng)一地刻畫各個分析對象所涉及的企業(yè)的各項數(shù)據(jù)以及數(shù)據(jù)之間的聯(lián)系。在關(guān)系數(shù)據(jù)庫中，每個主題由一組相關(guān)的關(guān)系表或邏輯視圖來具體實現(xiàn)。主題中的所有表都通過一個公共鍵聯(lián)系起來，數(shù)據(jù)可以存儲在不同的介質(zhì)上，而且相同的數(shù)據(jù)可以既有綜合級又有細(xì)節(jié)級。

集成的數(shù)據(jù)數(shù)據(jù)倉庫中存儲的數(shù)據(jù)是從原來分散的各個子系統(tǒng)中提取出來的，但并不是原有數(shù)據(jù)的簡單拷貝，而是經(jīng)過統(tǒng)一、綜合這樣的過程。原因：源數(shù)據(jù)不適合分析處理，在進(jìn)入數(shù)據(jù)倉庫之前必須經(jīng)過綜合、清理等過程，拋棄分析處理不需要的數(shù)據(jù)項，增加一些可能涉及的外部數(shù)據(jù)。數(shù)據(jù)倉庫每個主題所對應(yīng)的源數(shù)據(jù)在原分散數(shù)據(jù)庫中有許多重復(fù)或不一致的地方，因而必須對數(shù)據(jù)進(jìn)行統(tǒng)一，消除不一致和錯誤的地方，以保證數(shù)據(jù)的質(zhì)量。數(shù)據(jù)不可更新從數(shù)據(jù)的使用方式上看，數(shù)據(jù)倉庫的數(shù)據(jù)不可更新是指當(dāng)數(shù)據(jù)被存放到數(shù)據(jù)倉庫之后，最終用戶只能進(jìn)行查詢、分析操作，而不能修改其中存儲的數(shù)據(jù)。

數(shù)據(jù)隨時間不斷變化數(shù)據(jù)倉庫的數(shù)據(jù)不可更新，但并不是說，數(shù)據(jù)從進(jìn)入數(shù)據(jù)倉庫以后就永遠(yuǎn)不變。從數(shù)據(jù)的內(nèi)容上看，數(shù)據(jù)倉庫存儲的是企業(yè)當(dāng)前的和歷史的數(shù)據(jù)。因而每隔一段固定的時間間隔后，操作型數(shù)據(jù)庫系統(tǒng)產(chǎn)生的數(shù)據(jù)需要經(jīng)過抽取、轉(zhuǎn)換過程以后集成到數(shù)據(jù)倉庫中。數(shù)據(jù)倉庫中的數(shù)據(jù)隨時間變化而定期地更新。數(shù)據(jù)倉庫體系結(jié)構(gòu)

操作型數(shù)據(jù)與分析型數(shù)據(jù)的區(qū)別

原始數(shù)據(jù)/操作型數(shù)據(jù)導(dǎo)出數(shù)據(jù)/DSS數(shù)據(jù)面向應(yīng)用，支持日常操作面向主題，支持管理需求數(shù)據(jù)詳細(xì)，處理細(xì)節(jié)問題綜合性強(qiáng)，或經(jīng)過提煉存取的瞬間是準(zhǔn)確值代表過去的數(shù)據(jù)可更新不可更新重復(fù)運(yùn)行啟發(fā)式運(yùn)行事務(wù)處理驅(qū)動分析處理驅(qū)動非冗余性時常有冗余處理需求事先可知，系統(tǒng)可按預(yù)計的工作量進(jìn)行優(yōu)化處理需求事先不知道對性能要求高對性能要求寬松用戶不必理解數(shù)據(jù)庫，只是輸入數(shù)據(jù)即可用戶需要理解數(shù)據(jù)庫，以從數(shù)據(jù)中得出有意義的結(jié)論數(shù)據(jù)倉庫的分類按照數(shù)據(jù)倉庫的規(guī)模與應(yīng)用層面來區(qū)分，數(shù)據(jù)倉庫大致可分為下列幾種：標(biāo)準(zhǔn)數(shù)據(jù)倉庫。數(shù)據(jù)集市。多層數(shù)據(jù)倉庫。聯(lián)合式數(shù)據(jù)倉庫。

標(biāo)準(zhǔn)數(shù)據(jù)倉庫是企業(yè)最常使用的數(shù)據(jù)倉庫，它依據(jù)管理決策的需求而將數(shù)據(jù)加以整理分析，再將其轉(zhuǎn)換到數(shù)據(jù)倉庫之中。這類數(shù)據(jù)倉庫是以整個企業(yè)為著眼點而建構(gòu)出來的，其數(shù)據(jù)都與整個企業(yè)的數(shù)據(jù)有關(guān)，用戶可以從中得到整個組織運(yùn)作的統(tǒng)計分析信息。數(shù)據(jù)集市針對某一主題或是某個部門而構(gòu)建的數(shù)據(jù)倉庫，規(guī)模會比標(biāo)準(zhǔn)數(shù)據(jù)倉庫小，且只存儲與部門或主題相關(guān)的數(shù)據(jù)，是數(shù)據(jù)體系結(jié)構(gòu)中的部門級數(shù)據(jù)倉庫。通常用于為單位的職能部門提供信息。例如，為是銷售部門、庫存和發(fā)貨部門、財務(wù)部門、高級管理部門等提供有用信息。還可用于將數(shù)據(jù)倉庫數(shù)據(jù)分段以反映按地理劃分的業(yè)務(wù)，其中每個地區(qū)都是相對自治的。

多層數(shù)據(jù)倉庫是標(biāo)準(zhǔn)數(shù)據(jù)倉庫與數(shù)據(jù)集市的組合應(yīng)用方式在整個架構(gòu)之中，有一個最上層的數(shù)據(jù)倉庫提供者，它將數(shù)據(jù)提供給下層的數(shù)據(jù)集市。

數(shù)據(jù)倉庫銷售數(shù)據(jù)集市市場數(shù)據(jù)集市商店數(shù)據(jù)集市用戶用戶用戶數(shù)據(jù)倉庫的開發(fā)

自頂向下，即從全面設(shè)計整個企業(yè)的數(shù)據(jù)倉庫模型開始。這是一種系統(tǒng)的解決方法，并能最大限度的減少集成問題，但費(fèi)用高，開發(fā)時間長，且缺乏靈活性，因為使整個企業(yè)的數(shù)據(jù)倉庫模型要達(dá)到一致是很困難的。自底向上，從設(shè)計和實現(xiàn)各個獨立的數(shù)據(jù)集市開始。這種方法費(fèi)用低，靈活性高，并能快速的回報投資。

推薦的數(shù)據(jù)倉庫開發(fā)方法數(shù)據(jù)倉庫的數(shù)據(jù)模式

典型的數(shù)據(jù)倉庫具有為數(shù)據(jù)分析而設(shè)計的模式，供OLAP工具進(jìn)行聯(lián)機(jī)分析處理。數(shù)據(jù)通常是多維的，包括維屬性和度量屬性，維屬性是分析數(shù)據(jù)的角度，度量屬性是要分析的數(shù)據(jù)，一般是數(shù)值型的。包含統(tǒng)計分析數(shù)據(jù)的表稱為事實數(shù)據(jù)表，通常比較大。

數(shù)據(jù)倉庫的架構(gòu)星型架構(gòu)雪花型架構(gòu)星型架構(gòu)

維度表只與事實表關(guān)聯(lián)，維度表彼此之間沒有任何聯(lián)系。每個維度表都有一個且只有一個列作為主碼，該主碼連接到事實數(shù)據(jù)表中的一個列上。雪花型架構(gòu)將一個維度表分解為多個表，每個表都連接到主維度表。16.2聯(lián)機(jī)分析處理聯(lián)機(jī)分析處理（OLAP）是專門為支持復(fù)雜的分析操作而設(shè)計的，側(cè)重于決策人員和高層管理人員的決策支持可以快速、靈活地進(jìn)行大數(shù)據(jù)量的復(fù)雜查詢以一種直觀易懂的形式將查詢結(jié)果提供給決策人員。以數(shù)據(jù)庫或數(shù)據(jù)倉庫為基礎(chǔ)，其最終的數(shù)據(jù)來源來自底層的數(shù)據(jù)庫系統(tǒng)。OLAP與OLTP的區(qū)別OLTP面向的是操作人員和底層管理人員，OLAP面向的是決策人員和高層管理人員；OLTP是對基本數(shù)據(jù)的查詢和增、刪、改操作處理，它以數(shù)據(jù)庫為基礎(chǔ)，OLAP更適合以數(shù)據(jù)倉庫為基礎(chǔ)的數(shù)據(jù)分析處理。OLAP所依賴的歷史的、導(dǎo)出的及經(jīng)綜合提煉的數(shù)據(jù)均來自O(shè)LTP所依賴的底層數(shù)據(jù)庫。OLAP數(shù)據(jù)較之OLTP數(shù)據(jù)要多一步數(shù)據(jù)多維化或綜合處理的操作。OLAP的基本概念度量屬性：是決策者所關(guān)心的具有實際意義的數(shù)量。例如，銷售量、庫存量等。維度（或簡稱為維）：是人們觀察數(shù)據(jù)的角度。

維的層次：人們觀察數(shù)據(jù)的角度（即某個維）還可以存在細(xì)節(jié)程度不同的多個描述方面，稱這多個描述方面為維的層次。維度成員：維度的一個取值稱為該維的一個維度成員

多維數(shù)組：一個多維數(shù)組可以表示為：（維1，維2，…，維n，變量）。

數(shù)據(jù)單元（單元格）：多維數(shù)組的取值稱為數(shù)據(jù)單元

多維度數(shù)據(jù)分析示例聯(lián)機(jī)分析處理的基本分析功能

上卷：在數(shù)據(jù)立方體中執(zhí)行聚集操作，通過在維層次中上升或消除某個或某些維來觀察更概況的數(shù)據(jù)

下鉆：通過在維層次中下降或引入某個或某些維來更細(xì)致的觀察數(shù)據(jù)。

切片：在給定的數(shù)據(jù)立方體的一個維上進(jìn)行的選擇操作，結(jié)果是得到了一個二維的平面數(shù)據(jù)。

切塊：在給定的數(shù)據(jù)立方體的兩個或多個維上進(jìn)行的選擇操作，結(jié)果得到了一個子立方體。轉(zhuǎn)軸：改變維的方向，將一個三維立方體轉(zhuǎn)變?yōu)橐幌盗卸S平面。

上卷操作示意圖城市上升到地區(qū)

下鉆操作示意圖季度下降到月

切片操作示意圖時間＝1季度切塊操作示意圖（地區(qū)＝“江蘇”

or“浙江”）And（時間＝“第一季度”

or“第二季度”）And（商品類型＝“家電”

or“食品”）

轉(zhuǎn)軸操作示意圖轉(zhuǎn)軸16.3數(shù)據(jù)挖掘如何從大量的數(shù)據(jù)中及時有效地提取有用的信息，是所有經(jīng)營管理者所面臨的一個共同的難題。為了解決這一難題，有關(guān)人員逐步研究開發(fā)了一系列的技術(shù)和方法，即數(shù)據(jù)庫知識發(fā)現(xiàn)和數(shù)據(jù)庫挖掘技術(shù)，其目標(biāo)就是要智能化和自動化地把數(shù)據(jù)轉(zhuǎn)換為有用的信息和知識。數(shù)據(jù)庫中的知識發(fā)現(xiàn)是識別數(shù)據(jù)庫中以前未知的、新穎的、潛在有用的和最終可被理解的模式的非平凡過程，而數(shù)據(jù)挖掘是數(shù)據(jù)庫知識發(fā)現(xiàn)過程的一個步驟。

數(shù)據(jù)挖掘過程1．?dāng)?shù)據(jù)準(zhǔn)備數(shù)據(jù)選擇：搜索所有與業(yè)務(wù)對象有關(guān)的內(nèi)部和外部數(shù)據(jù)信息，并從中選擇出適用于數(shù)據(jù)挖掘應(yīng)用的數(shù)據(jù)。

數(shù)據(jù)預(yù)處理：研究數(shù)據(jù)的質(zhì)量，為進(jìn)一步的數(shù)據(jù)分析作準(zhǔn)備，并確定將要進(jìn)行的挖掘操作的類型。

數(shù)據(jù)轉(zhuǎn)換：將數(shù)據(jù)轉(zhuǎn)換成一個分析模型，這個分析模型是針對數(shù)據(jù)挖掘算法建立的。其他過程2.數(shù)據(jù)挖掘

對所得到的經(jīng)過轉(zhuǎn)換的數(shù)據(jù)進(jìn)行挖掘，除了選擇合適的挖掘算法外，其余一切工作都能自動地完成。3．結(jié)果分析

解釋并評估結(jié)果。其使用的分析方法一般應(yīng)視數(shù)據(jù)挖掘操作而定，通常會用到可視化技術(shù)。4．知識的同化

將分析所得到的知識集成到業(yè)務(wù)信息系統(tǒng)的組織結(jié)構(gòu)中去。16.3.2數(shù)據(jù)挖掘知識發(fā)現(xiàn)數(shù)據(jù)挖掘和知識發(fā)現(xiàn)的研究的三根技術(shù)支柱：數(shù)據(jù)庫人工智能數(shù)理統(tǒng)計目前DMKD(數(shù)據(jù)挖掘與知識發(fā)現(xiàn))的主要研究內(nèi)容包括基礎(chǔ)理論、發(fā)現(xiàn)算法、數(shù)據(jù)倉庫、可視化技術(shù)、定性定量互換模型、知識表示方法、發(fā)現(xiàn)知識的維護(hù)和再利用、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)中的知識發(fā)現(xiàn)以及網(wǎng)上數(shù)據(jù)挖掘等。數(shù)據(jù)挖掘知識的分類廣義知識關(guān)聯(lián)知識分類知識預(yù)測型知識偏差型知識廣義知識廣義知識（Generalization）是指類別特征的概括性描述知識。根據(jù)數(shù)據(jù)的微觀特性發(fā)現(xiàn)其表征的、帶有普遍性的、較高層次概念的、中觀和宏觀的知識，反映同類事物共同性質(zhì)，是對數(shù)據(jù)的概括、精煉和抽象。關(guān)聯(lián)知識關(guān)聯(lián)知識（Association）是反映一個事件和其他事件之間依賴或關(guān)聯(lián)的知識。如果兩項或多項屬性之間存在關(guān)聯(lián)，那么其中一項的屬性值就可以依據(jù)其他屬性值進(jìn)行預(yù)測。關(guān)聯(lián)規(guī)則的發(fā)現(xiàn)可分為兩步。第一步是迭代識別所有的頻繁項目集，要求頻繁項目集的支持率不低于用戶設(shè)定的最低值；第二步是從頻繁項目集中構(gòu)造可信度不低于用戶設(shè)定的最低值的規(guī)則。識別或發(fā)現(xiàn)所有頻繁項目集是關(guān)聯(lián)規(guī)則發(fā)現(xiàn)算法的核心，也是計算量最大的部分。分類知識分類知識（Classification＆Clustering）是反映同類事物共同性質(zhì)的特征型知識和不同事物之間的差異型特征知識。最為典型的分類方法是基于決策樹的分類方法。它是從實例集中構(gòu)造決策樹，是一種有指導(dǎo)的學(xué)習(xí)方法。預(yù)測型知識預(yù)測型知識（Prediction）是根據(jù)時間序列型數(shù)據(jù)，由歷史的和當(dāng)前的數(shù)據(jù)去推測未來的數(shù)據(jù)，也可以認(rèn)為是以時間為關(guān)鍵屬性的關(guān)聯(lián)知識。

目前，時間序列預(yù)測方法有經(jīng)典的統(tǒng)計方法、神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)等。偏差型知識偏差型知識（Deviation）是對差異和極端特例的描述，揭示事物偏離常規(guī)的異?，F(xiàn)象，如標(biāo)準(zhǔn)類外的特例，數(shù)據(jù)聚類外的離群值等。所有這些知識都可以在不同的概念層次上被發(fā)現(xiàn)，并隨著概念層次的提升，從微觀到中觀、到宏觀，以滿足不同用戶不同層次決策的需要。16.3.3數(shù)據(jù)挖掘的常用技術(shù)和目標(biāo)1.常用技術(shù)

人工神經(jīng)網(wǎng)絡(luò)：仿照生理神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的非線形預(yù)測模型，通過學(xué)習(xí)進(jìn)行模式識別。

決策樹：代表決策集的樹形結(jié)構(gòu)。

遺傳算法：基于進(jìn)化理論，并采用遺傳結(jié)合、遺傳變異以及自然選擇等設(shè)計方法的優(yōu)化技術(shù)。

近鄰算法：將數(shù)據(jù)集合中每一個記錄進(jìn)行分類的方法。

規(guī)則推導(dǎo)：從統(tǒng)計意義上對數(shù)據(jù)中的“IF-Then”規(guī)則進(jìn)行尋找和推導(dǎo)。目標(biāo)數(shù)據(jù)挖掘用于實現(xiàn)特定的目標(biāo)，這些目標(biāo)可以分為以下幾個主要類別：預(yù)測：數(shù)據(jù)挖掘預(yù)測數(shù)據(jù)特定屬性的未來行為。如基于對顧客購買行為的分析，什么市場和銷售策略能產(chǎn)生更多利潤等。識別：數(shù)據(jù)挖掘可以基于數(shù)據(jù)模型識別一個事件、項目或活動的存在。如識別一個人或一組人訪問數(shù)據(jù)庫某一部分的權(quán)限，基于DNA序列中的某個特征序列識別基因的存在，等等。目標(biāo)（續(xù)）分類：數(shù)據(jù)挖掘可以劃分?jǐn)?shù)據(jù)，從而根據(jù)參數(shù)組合識別不同的分類和類別。如超級市場的顧客可以被分類為：尋找折扣的顧客，忠誠并且常來的顧客，只買特定品牌商品的顧客，不經(jīng)常來的顧客，等等。優(yōu)化：數(shù)據(jù)挖掘可以優(yōu)化對有限資源的使用，如時間、空間、資金或材料，在給定的約束條件內(nèi)最大化產(chǎn)出值，如銷售量或利潤。16.3.4數(shù)據(jù)挖掘工具有各種不同類型的數(shù)據(jù)挖掘工具和方法來實現(xiàn)知識提取。多數(shù)數(shù)據(jù)挖掘工具使用ODBC。多數(shù)工具可在Microsoft的Windows環(huán)境中運(yùn)行，一些工具還可在UNIX操作系統(tǒng)下運(yùn)行。工具（續(xù)）挖掘工具可以基于一些標(biāo)準(zhǔn)劃分為不同類型，下列是其中的一些標(biāo)準(zhǔn)：產(chǎn)品類型。產(chǎn)品特征。目的或目標(biāo)?；诋a(chǎn)品類型的挖掘的工具查詢管理者和報表作者。電子表格。多維數(shù)據(jù)庫。統(tǒng)計分析工具。人工智能工具。高級分析工具。圖像顯示工具?；诋a(chǎn)品特征的挖掘工具數(shù)據(jù)識別能力。多種形式的輸出，如打印輸出、屏幕輸出、標(biāo)準(zhǔn)圖形輸出、增強(qiáng)的圖形輸出等等。格式化能力，如行數(shù)據(jù)格式、列表、電子表格形式、多維數(shù)據(jù)庫、可視化等等。計算工具，如柱狀操作、交叉表能力、電子表格、多維電子表格等等。規(guī)范管理，允許最終用戶編寫并管理他們自己的規(guī)范。施行管理。基于目標(biāo)的挖掘工具所有應(yīng)用開發(fā)程序和數(shù)據(jù)挖掘工具都可以歸入以下三個操作類別：數(shù)據(jù)收集和檢索。操作監(jiān)測。探測和發(fā)現(xiàn)。16.3.5數(shù)據(jù)挖掘應(yīng)用數(shù)據(jù)挖掘技術(shù)可以應(yīng)