第3章大數(shù)據(jù)預(yù)處理數(shù)據(jù)預(yù)處理是數(shù)據(jù)分析過(guò)程中的關(guān)鍵環(huán)節(jié)，包括數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)規(guī)約和數(shù)據(jù)變換等步驟，旨在為后續(xù)的數(shù)據(jù)分析和建模提供高質(zhì)量的數(shù)據(jù)基礎(chǔ)。第3章大數(shù)據(jù)預(yù)處理3.1大數(shù)據(jù)預(yù)處理流程3.2數(shù)據(jù)清洗3.3數(shù)據(jù)集成3.4數(shù)據(jù)規(guī)約3.4數(shù)據(jù)變換3.5本章小結(jié)3.1大數(shù)據(jù)預(yù)處理流程圖3-1大數(shù)據(jù)預(yù)處理流程3.1大數(shù)據(jù)預(yù)處理流程3.2數(shù)據(jù)清洗在現(xiàn)實(shí)世界中，數(shù)據(jù)往往是不完整的（包含缺失值）、包含噪聲并且存在不一致性。數(shù)據(jù)清洗的任務(wù)就是嘗試填充缺失值、平滑噪聲、識(shí)別離群點(diǎn)，并糾正數(shù)據(jù)中的不一致之處。通過(guò)數(shù)據(jù)清洗，可以提高數(shù)據(jù)的質(zhì)量和準(zhǔn)確性，確保數(shù)據(jù)可靠性，為后續(xù)的數(shù)據(jù)分析和挖掘提供可靠的基礎(chǔ)。數(shù)據(jù)清洗不僅是數(shù)據(jù)處理過(guò)程中的關(guān)鍵步驟，也是確保數(shù)據(jù)分析結(jié)果準(zhǔn)確性的重要環(huán)節(jié)。3.2數(shù)據(jù)清洗3.2.1缺失值處理3.2.2噪聲過(guò)濾3.2.1缺失值處理對(duì)于缺失值的處理，不同的情況處理方法也不同，總的來(lái)說(shuō)，缺失值處理可概括為刪除法和插補(bǔ)法（或稱(chēng)填充法）兩類(lèi)方法。3.2數(shù)據(jù)清洗3.2.1缺失值處理1.刪除法2.填充法3.2數(shù)據(jù)清洗1.刪除法刪除法是對(duì)缺失值進(jìn)行處理的最原始的方法，它將存在缺失值的記錄刪除。3.2數(shù)據(jù)清洗2.填充法在大數(shù)據(jù)分析中，經(jīng)常面對(duì)的是海量數(shù)據(jù)，數(shù)據(jù)的屬性可能有幾十個(gè)甚至幾百個(gè)。因?yàn)橐粋€(gè)屬性值的缺失而放棄大量的其他屬性值會(huì)導(dǎo)致信息的極大浪費(fèi)。因此，針對(duì)這種情況產(chǎn)生了以可能值對(duì)缺失值進(jìn)行插補(bǔ)的思想和方法。3.2數(shù)據(jù)清洗2.填充法(1)固定值插補(bǔ)(2)統(tǒng)計(jì)值插補(bǔ)(3)最近鄰填充(4)插值法填充(5)預(yù)測(cè)估計(jì)法3.2數(shù)據(jù)清洗(1)固定值插補(bǔ)預(yù)先確定的特定值（如0或-1）來(lái)填充缺失值。3.2數(shù)據(jù)清洗(2)統(tǒng)計(jì)值插補(bǔ)根據(jù)數(shù)據(jù)的屬性，可以將數(shù)據(jù)分為定距型和非定距型。如果缺失值是定距型的，就可以使用該屬性存在值的平均值來(lái)插補(bǔ)缺失的值。如果缺失值是非定距型的，可以根據(jù)統(tǒng)計(jì)學(xué)中的眾數(shù)原理，使用該屬性的眾數(shù)（即出現(xiàn)頻率最高的值）來(lái)填補(bǔ)缺失的值。此外，如果數(shù)據(jù)符合較規(guī)范的分布規(guī)律，還可以考慮使用中值（中位數(shù)）插補(bǔ)。3.2數(shù)據(jù)清洗(3)最近鄰填充根據(jù)樣本之間的相似性，利用最近的鄰居樣本的值來(lái)填充缺失值。3.2數(shù)據(jù)清洗【例3-1】3.2數(shù)據(jù)清洗(4)插值法填充利用已知點(diǎn)建立合適的插值函數(shù)f(x)，未知值由對(duì)應(yīng)點(diǎn)xi求出的函數(shù)值f(xi)近似代替。插值法包括線性插值法、多項(xiàng)式插值法（包括拉格朗日插值法、牛頓插值法）等。3.2數(shù)據(jù)清洗【例3-2】3.2數(shù)據(jù)清洗(5)預(yù)測(cè)估計(jì)法預(yù)測(cè)估計(jì)法利用變量之間的關(guān)系，將有缺失值的字段作為待預(yù)測(cè)的變量，使用其他同類(lèi)別無(wú)缺失值的字段作為預(yù)測(cè)值，通過(guò)數(shù)據(jù)挖掘方法進(jìn)行預(yù)測(cè)，用推斷得到的該字段最大可能的取值進(jìn)行補(bǔ)充。3.2數(shù)據(jù)清洗3.2.2噪聲過(guò)濾噪聲（Noise）噪聲過(guò)濾3.2數(shù)據(jù)清洗噪聲（Noise）噪聲（Noise）是指數(shù)據(jù)中存在的隨機(jī)誤差或不相關(guān)信息，它可能對(duì)數(shù)據(jù)的準(zhǔn)確性和可靠性造成影響，使得數(shù)據(jù)中包含了不希望的隨機(jī)波動(dòng)或干擾。在數(shù)據(jù)處理和分析中，噪聲常常需要被過(guò)濾或消除，以減少對(duì)數(shù)據(jù)分析結(jié)果的負(fù)面影響。3.2數(shù)據(jù)清洗噪聲過(guò)濾對(duì)噪聲進(jìn)行過(guò)濾是數(shù)據(jù)處理和信號(hào)處理中常見(jiàn)的操作，可以通過(guò)各種技術(shù)和算法來(lái)降低噪聲對(duì)數(shù)據(jù)的影響，提高數(shù)據(jù)的質(zhì)量和可靠性。常見(jiàn)的噪聲過(guò)濾方法包括回歸法、均值平滑法、離群點(diǎn)分析和小波去噪等，這些方法可以幫助去除數(shù)據(jù)中的隨機(jī)波動(dòng)，使得數(shù)據(jù)更加清晰和可靠，從而更好地支持?jǐn)?shù)據(jù)分析和決策過(guò)程。3.2數(shù)據(jù)清洗噪聲過(guò)濾1.回歸法2.均值平滑法3.離群點(diǎn)分析4.人機(jī)交互檢測(cè)法3.2數(shù)據(jù)清洗1.回歸法回歸法是一種常用的噪聲過(guò)濾方法，它通過(guò)擬合數(shù)據(jù)的回歸模型，識(shí)別并剔除與模型偏離較大的數(shù)據(jù)點(diǎn)，從而減少噪聲對(duì)模型的影響?；貧w法特別適用于識(shí)別和處理線性關(guān)系的數(shù)據(jù)。3.2數(shù)據(jù)清洗【例3-3】利用線性回歸模型識(shí)別噪聲示例3.2數(shù)據(jù)清洗2.均值平滑法通過(guò)計(jì)算數(shù)據(jù)點(diǎn)周?chē)徑鼣?shù)據(jù)的均值來(lái)平滑數(shù)據(jù)，減少噪聲的影響。均值平滑法適用于時(shí)間序列數(shù)據(jù)的平滑處理，對(duì)于周期性的噪聲有一定效果。3.2數(shù)據(jù)清洗【例3-4】利用均值平滑法處理時(shí)間序列數(shù)據(jù)示例3.2數(shù)據(jù)清洗3.離群點(diǎn)分析離群點(diǎn)分析是通過(guò)聚類(lèi)等方法來(lái)檢測(cè)離群點(diǎn)，并將其刪除，從而實(shí)現(xiàn)去噪的方法。直觀上，落在簇集合之外的值被視為離群點(diǎn)。3.2數(shù)據(jù)清洗【例3-5】利用DBSCAN算法進(jìn)行離群點(diǎn)檢測(cè)示例3.2數(shù)據(jù)清洗4.人機(jī)交互檢測(cè)法人機(jī)交互檢測(cè)法是一種利用人與計(jì)算機(jī)交互檢查的方法，旨在幫助發(fā)現(xiàn)噪聲數(shù)據(jù)。該方法依賴(lài)于專(zhuān)業(yè)分析人員豐富的背景知識(shí)和實(shí)踐經(jīng)驗(yàn)，他們可以進(jìn)行人工篩選或者制定規(guī)則集，然后由計(jì)算機(jī)自動(dòng)處理，從而檢測(cè)出不符合業(yè)務(wù)邏輯的噪聲數(shù)據(jù)。3.2數(shù)據(jù)清洗3.3數(shù)據(jù)集成數(shù)據(jù)分析需要的數(shù)據(jù)往往分布在不同的數(shù)據(jù)源中，數(shù)據(jù)集成是將來(lái)自不同分散數(shù)據(jù)源的數(shù)據(jù)，在邏輯或物理上集成到一個(gè)統(tǒng)一的數(shù)據(jù)集合中的過(guò)程。在數(shù)據(jù)集成時(shí)，來(lái)自多個(gè)數(shù)據(jù)源的現(xiàn)實(shí)世界實(shí)體的表達(dá)形式是不一樣的，有可能不匹配，要考慮實(shí)體識(shí)別問(wèn)題和冗余屬性問(wèn)題，從而將源數(shù)據(jù)在最底層上加以轉(zhuǎn)換、提煉和集成。3.3數(shù)據(jù)集成3.3.1實(shí)體識(shí)別3.3.2冗余屬性識(shí)別3.3.1實(shí)體識(shí)別當(dāng)進(jìn)行實(shí)體識(shí)別時(shí)，需要處理不同數(shù)據(jù)源之間可能存在的同名異義、異名同義以及單位不統(tǒng)一等問(wèn)題，以統(tǒng)一不同源數(shù)據(jù)的矛盾之處。在進(jìn)行實(shí)體識(shí)別時(shí)可能會(huì)遇到以下情況：1.同名異義2.異名同義3.單位不統(tǒng)一可以采取以下方法來(lái)檢測(cè)和解決這些沖突1.屬性重命名2.屬性映射3.單位轉(zhuǎn)換或標(biāo)準(zhǔn)化3.3數(shù)據(jù)集成3.3.2冗余屬性識(shí)別數(shù)據(jù)集成往往會(huì)導(dǎo)致數(shù)據(jù)冗余，其中常見(jiàn)的情況包括同一屬性多次出現(xiàn)和同一屬性命名不一致導(dǎo)致重復(fù)。通過(guò)仔細(xì)整合不同數(shù)據(jù)源，可以減少甚至避免數(shù)據(jù)冗余和不一致，從而提高數(shù)據(jù)挖掘的速度和質(zhì)量。對(duì)于冗余屬性，可以先進(jìn)行分析和檢測(cè)，然后再進(jìn)行適當(dāng)?shù)奶幚?，比如刪除冗余屬性。3.3數(shù)據(jù)集成通過(guò)相關(guān)分析來(lái)檢測(cè)冗余屬性相關(guān)分析可以幫助理解兩個(gè)數(shù)值型屬性之間的關(guān)系，通過(guò)計(jì)算它們之間的相關(guān)系數(shù)來(lái)量化這種關(guān)系。相關(guān)系數(shù)的取值范圍通常在-1到1之間，表示兩個(gè)屬性之間的線性相關(guān)程度。以下是相關(guān)系數(shù)的一些常見(jiàn)取值和對(duì)應(yīng)含義：1.相關(guān)系數(shù)接近1表示兩個(gè)屬性之間存在強(qiáng)正相關(guān)關(guān)系，當(dāng)一個(gè)屬性增加時(shí)，另一個(gè)屬性也相應(yīng)增加。2.相關(guān)系數(shù)接近-1表示兩個(gè)屬性之間存在強(qiáng)負(fù)相關(guān)關(guān)系，當(dāng)一個(gè)屬性增加時(shí)，另一個(gè)屬性減少。3.相關(guān)系數(shù)接近0表示兩個(gè)屬性之間不存在線性相關(guān)關(guān)系。3.3數(shù)據(jù)集成3.4數(shù)據(jù)規(guī)約數(shù)據(jù)規(guī)約是基于挖掘分析需求和數(shù)據(jù)自身的特性，在原始數(shù)據(jù)上選擇和建立用戶感興趣的數(shù)據(jù)集合，通過(guò)刪除數(shù)據(jù)部分屬性、替換部分?jǐn)?shù)據(jù)表示形式等操作完成對(duì)數(shù)據(jù)集合中出現(xiàn)的偏差、重復(fù)、異常等數(shù)據(jù)的過(guò)濾工作，盡可能地保持原始數(shù)據(jù)的完整性，并最大程度地精簡(jiǎn)數(shù)據(jù)量，在得到相同（或者類(lèi)似相同）的分析結(jié)果前提下節(jié)省數(shù)據(jù)挖掘時(shí)間.數(shù)據(jù)規(guī)約的意義在于：1.降低無(wú)效、錯(cuò)誤數(shù)據(jù)對(duì)建模的影響，提高建模的準(zhǔn)確性。2.降低存儲(chǔ)數(shù)據(jù)的成本。3.少量且具有代表性的數(shù)據(jù)將大幅縮減數(shù)據(jù)分析所需的時(shí)間。3.4數(shù)據(jù)規(guī)約圖3-5數(shù)據(jù)規(guī)約3.4.1屬性規(guī)約3.4.2數(shù)值規(guī)約圖3-5數(shù)據(jù)規(guī)約3.4數(shù)據(jù)規(guī)約3.4.1屬性規(guī)約屬性規(guī)約通過(guò)屬性合并創(chuàng)建新屬性維度，或者直接刪除不相關(guān)的屬性來(lái)減少數(shù)據(jù)維度，進(jìn)而提高數(shù)據(jù)分析挖掘的效率，降低計(jì)算成本。屬性規(guī)約的目標(biāo)是尋找最小的屬性子集，并確保新數(shù)據(jù)子集的概率分布盡可能接近原始數(shù)據(jù)集的概率分布。3.4數(shù)據(jù)規(guī)約屬性規(guī)約常用方法1.合并屬性2.逐步向前選擇3.逐步向后刪除4.決策樹(shù)歸納5.主成分分析3.4數(shù)據(jù)規(guī)約1.合并屬性將一些舊屬性合并為新屬性。3.4數(shù)據(jù)規(guī)約2.逐步向前選擇從一個(gè)空屬性開(kāi)始，每次從原來(lái)屬性集合中選擇一個(gè)當(dāng)前最優(yōu)的屬性添加到當(dāng)前屬性子集中。直到無(wú)法選出最優(yōu)屬性或滿足一定閾值約束為止。3.4數(shù)據(jù)規(guī)約3.逐步向后刪除從一個(gè)全屬性集開(kāi)始，每次從當(dāng)前屬性子集中選擇一個(gè)當(dāng)前最差的屬性，并將其從當(dāng)前屬性子集中移除，直到無(wú)法選出最差屬性為止或滿足一定閾值約束為止。3.4數(shù)據(jù)規(guī)約4.決策樹(shù)歸納利用決策樹(shù)的歸納方法對(duì)初始數(shù)據(jù)進(jìn)行分類(lèi)歸納學(xué)習(xí)，獲得一個(gè)初始的決策樹(shù)，所有沒(méi)有出現(xiàn)在這個(gè)決策樹(shù)上的屬性均可認(rèn)為是無(wú)關(guān)屬性，因此將這些屬性從初始集合中刪除，就可以獲得一個(gè)最優(yōu)的屬性子集。3.4數(shù)據(jù)規(guī)約5.主成分分析主成分分析是一種用于連續(xù)屬性的數(shù)據(jù)降維方法。它通過(guò)構(gòu)造原始數(shù)據(jù)的正交變換，將數(shù)據(jù)轉(zhuǎn)化為一組新的變量，這些新變量被稱(chēng)為“主成分”。主成分是原始變量的線性組合，彼此互不相關(guān)。3.4數(shù)據(jù)規(guī)約計(jì)算步驟(1)標(biāo)準(zhǔn)化數(shù)據(jù)。(2)計(jì)算協(xié)方差矩陣。(3)計(jì)算特征值和特征向量。(4)選擇主成分?jǐn)?shù)量。(5)構(gòu)建投影矩陣。(6)數(shù)據(jù)轉(zhuǎn)換。3.4數(shù)據(jù)規(guī)約3.4.2數(shù)值規(guī)約數(shù)值規(guī)約通過(guò)選擇替代的、較小的數(shù)據(jù)來(lái)減少數(shù)據(jù)量，包括有參數(shù)方法和無(wú)參數(shù)方法兩類(lèi)。有參數(shù)方法使用模型來(lái)評(píng)估數(shù)據(jù)，只需存放模型參數(shù)，而無(wú)需存放實(shí)際數(shù)據(jù)，例如一元線性回歸、多元線性回歸和對(duì)數(shù)回歸。無(wú)參數(shù)方法需要存放實(shí)際數(shù)據(jù)，例如直方圖、聚類(lèi)和抽樣。3.4數(shù)據(jù)規(guī)約3.4.2數(shù)值規(guī)約1.有參數(shù)回歸2.直方圖3.聚類(lèi)4.抽樣3.4數(shù)據(jù)規(guī)約1.有參數(shù)回歸簡(jiǎn)單線性模型和對(duì)數(shù)線性模型可以用來(lái)近似給定的數(shù)據(jù)。3.4數(shù)據(jù)規(guī)約【例3-6】一元線性回歸示例3.4數(shù)據(jù)規(guī)約2.直方圖直方圖是一種流行的數(shù)據(jù)規(guī)約形式，通過(guò)分箱來(lái)近似數(shù)據(jù)的分布。對(duì)于屬性A的直方圖，會(huì)將A的數(shù)據(jù)分布劃分為不相交的子集或桶。如果每個(gè)桶只代表單個(gè)屬性值和頻率對(duì)，這種桶稱(chēng)為單桶。通常，桶表示給定屬性的一個(gè)連續(xù)區(qū)間。3.4數(shù)據(jù)規(guī)約【例3-7】直方圖示例3.4數(shù)據(jù)規(guī)約3.聚類(lèi)將數(shù)據(jù)元組劃分成組或者類(lèi)，同一組或類(lèi)中的元組比較相似，不同組成者類(lèi)中的元組彼此不相似，用數(shù)據(jù)的聚類(lèi)替換原始數(shù)據(jù)。聚類(lèi)技術(shù)的使用受限于實(shí)際數(shù)據(jù)的內(nèi)在分布，對(duì)于被污染的數(shù)據(jù)，這種技術(shù)比較有效。在數(shù)據(jù)規(guī)約中，用數(shù)據(jù)的簇替換實(shí)際數(shù)據(jù)。該技術(shù)的有效性依賴(lài)于簇的定義是否符合數(shù)據(jù)的分布性質(zhì)。3.4數(shù)據(jù)規(guī)約4.抽樣抽樣是使用數(shù)據(jù)的較小隨機(jī)樣本（子集）替換大的數(shù)據(jù)集，以減少計(jì)算成本、提高計(jì)算效率和保持?jǐn)?shù)據(jù)特征的目的。以下是常見(jiàn)的幾種抽樣方法：(1)簡(jiǎn)單隨機(jī)抽樣（SimpleRandomSampling）(2)分層抽樣（StratifiedSampling）(3)系統(tǒng)抽樣（SystematicSampling）(4)整群抽樣（ClusterSampling）(5)多階段抽樣（MultistageSampling）3.4數(shù)據(jù)規(guī)約3.4數(shù)據(jù)變換3.4數(shù)據(jù)變換3.4.1數(shù)據(jù)規(guī)范化3.4.2連續(xù)屬性離散化3.4.1數(shù)據(jù)規(guī)范化數(shù)據(jù)規(guī)范化（Normalization）可以將所有屬性數(shù)據(jù)按比例縮放到一個(gè)較小的特定范圍內(nèi)，如[0,1]或者[-1,1]，從而賦予所有屬性相同的權(quán)重，消除由于數(shù)據(jù)單位不同而引起的偏差。規(guī)范化的過(guò)程將原始的度量值轉(zhuǎn)換為無(wú)量綱的值，有助于提高數(shù)據(jù)分析的準(zhǔn)確性和穩(wěn)定性。3.4數(shù)據(jù)變換3.4.1數(shù)據(jù)規(guī)范化1.最小-最大規(guī)范化（Min-MaxNormalization）2.Z-score規(guī)范化（Standardization）3.小數(shù)定標(biāo)規(guī)范化（DecimalScaling）3.4數(shù)據(jù)變換1.最小-最大規(guī)范化（Min-MaxNormalization）將數(shù)值縮放到一個(gè)固定的范圍內(nèi)，通常是[0,1]或者[-1,1]。公式見(jiàn)式子（3-1）。其中，max為樣本數(shù)據(jù)的最大值；min為樣本數(shù)據(jù)的最小值。這種方法有一個(gè)缺陷就是當(dāng)有新數(shù)據(jù)加入時(shí)，可能導(dǎo)致max和min的變化，需要重新定義。3.4數(shù)據(jù)變換2.Z-score規(guī)范化（Standardization）將數(shù)據(jù)轉(zhuǎn)換成均值為0，標(biāo)準(zhǔn)差為1的標(biāo)準(zhǔn)正態(tài)分布。公式見(jiàn)式子（3-2）。其中，為所有樣本數(shù)據(jù)的均值；為所有樣本數(shù)據(jù)的標(biāo)準(zhǔn)差。3.4數(shù)據(jù)變換3.小數(shù)定標(biāo)規(guī)范化（DecimalScaling）將數(shù)值除以一個(gè)固定的基數(shù)，使得數(shù)值落在[-1,1]之間。公式見(jiàn)式子（3-3）。其中，j是滿足max{|x*|}<1的最小整數(shù)。3.4數(shù)據(jù)變換3.4.2連續(xù)屬性離散化連續(xù)屬性離散化的目的是在數(shù)據(jù)的取值范圍內(nèi)設(shè)定若干個(gè)離散的劃分點(diǎn)，將取值范圍劃分為一些離散化的區(qū)間，然后用不同的符號(hào)或整數(shù)值代表落在每個(gè)子區(qū)間中的數(shù)據(jù)值。離散化涉及兩個(gè)主要任務(wù)，即確定分類(lèi)數(shù)和如何將連續(xù)屬性值映射到這些分類(lèi)值。3.4數(shù)據(jù)變換常用的離散化方法1.等寬法（EqualWidthDiscretization）將連續(xù)屬性的取值范圍均勻劃分為若干個(gè)區(qū)間，每個(gè)區(qū)間的寬度相等。這種方法適用于數(shù)據(jù)的分布比較均勻的情況。2.等頻法（EqualFrequencyDiscretization）將連續(xù)屬性的取值按照頻率劃分為若干個(gè)區(qū)間，確保每個(gè)區(qū)間內(nèi)包含相似數(shù)量的數(shù)據(jù)點(diǎn)。這種方法適用于數(shù)據(jù)分布不均勻的情況。3.聚類(lèi)法（Cluster-BasedDiscretization）使用聚類(lèi)算法（如K-means）將連續(xù)屬性的值聚類(lèi)成若干個(gè)簇，然后將每個(gè)簇作為一個(gè)離散化的類(lèi)別。4.基于決策樹(shù)的離散化（DecisionTree-BasedDiscretization