大數(shù)據(jù)清洗01ONE數(shù)據(jù)清洗課堂研討任務(wù)描述知識(shí)準(zhǔn)備拓展訓(xùn)練CONTENTS目錄CONTENTSONE數(shù)據(jù)質(zhì)量的高低嚴(yán)重影響了工業(yè)、經(jīng)濟(jì)等社會(huì)的方方面面，數(shù)據(jù)質(zhì)量問題及其所導(dǎo)致的知識(shí)和決策錯(cuò)誤已經(jīng)在全球范圍內(nèi)造成了惡劣的后果，嚴(yán)重困擾著信息社會(huì)，大數(shù)據(jù)的廣泛應(yīng)用對(duì)數(shù)據(jù)質(zhì)量的保障提出了迫切需求。數(shù)據(jù)清洗是數(shù)據(jù)質(zhì)量管理的重要問題，其內(nèi)容十分豐富，包括缺失值處理、實(shí)體識(shí)別與真值發(fā)現(xiàn)，錯(cuò)記的主動(dòng)發(fā)現(xiàn)和修復(fù)等問題。張明對(duì)此產(chǎn)生了疑惑：什么是數(shù)據(jù)清洗呢？如何清洗“臟數(shù)據(jù)”呢？任務(wù)描述知識(shí)準(zhǔn)備

數(shù)據(jù)清洗是一種對(duì)數(shù)據(jù)進(jìn)行重新審查和校驗(yàn)的過程，目的在于刪除重復(fù)信息、糾正存在的錯(cuò)誤，并提供數(shù)據(jù)一致性。定義數(shù)據(jù)清洗的概念一知識(shí)準(zhǔn)備“臟數(shù)據(jù)”的類型二殘缺數(shù)據(jù)重復(fù)數(shù)據(jù)“臟數(shù)據(jù)”的類型錯(cuò)誤數(shù)據(jù)這一類數(shù)據(jù)主要是一些應(yīng)該有的信息缺失，如供應(yīng)商的名稱、分公司的名稱、客戶的區(qū)域信息缺失、業(yè)務(wù)系統(tǒng)中主表與明細(xì)表不能匹配等。這一類錯(cuò)誤產(chǎn)生的原因是業(yè)務(wù)系統(tǒng)不夠健全，在接收輸入后沒有進(jìn)行判斷直接寫入后臺(tái)數(shù)據(jù)庫造成的，比如：數(shù)值數(shù)據(jù)輸成全角數(shù)字字符、字符串?dāng)?shù)據(jù)后面有一個(gè)回車操作、日期格式不正確、日期越界等。對(duì)于這一類數(shù)據(jù)需將重復(fù)數(shù)據(jù)記錄的所有字段導(dǎo)出來，讓客戶確認(rèn)并整理。知識(shí)準(zhǔn)備數(shù)據(jù)清洗流程三在實(shí)際操作中，數(shù)據(jù)清洗通常會(huì)占據(jù)分析過程的50%～80%的時(shí)間。圖3-7為淺層次的數(shù)據(jù)清洗流程圖。知識(shí)準(zhǔn)備三數(shù)據(jù)清洗流程（一）預(yù)處理階段查看數(shù)據(jù)看元數(shù)據(jù)抽取一部分?jǐn)?shù)據(jù)，使用人工查看方式將數(shù)據(jù)導(dǎo)入處理工具12知識(shí)準(zhǔn)備三數(shù)據(jù)清洗流程（二）階段1：缺失值清洗缺失值是最常見的數(shù)據(jù)問題，處理缺失值也有很多方法。首先，確定缺失值范圍。對(duì)每個(gè)字段都計(jì)算其缺失值比例，然后按照缺失比例和字段重要性，分別制定策略，可用圖3-8表示。圖3-8

數(shù)據(jù)的重要性與缺失率關(guān)系比例圖知識(shí)準(zhǔn)備三數(shù)據(jù)清洗流程（三）階段2：格式內(nèi)容清洗時(shí)間、日期、數(shù)值、全半角等顯示格式不一致內(nèi)容中含有不該存在的字符內(nèi)容與該字段應(yīng)有內(nèi)容不符知識(shí)準(zhǔn)備三數(shù)據(jù)清洗流程（四）階段3：邏輯錯(cuò)誤清洗這部分的工作是去掉一些使用簡(jiǎn)單邏輯推理就可以直接發(fā)現(xiàn)問題的數(shù)據(jù)，防止分析結(jié)果走偏。主要包含去重、去除不合理值以及修正矛盾內(nèi)容。去重A去除不合理值B修正矛盾內(nèi)容C知識(shí)準(zhǔn)備三數(shù)據(jù)清洗流程（五）階段4：非需求數(shù)據(jù)清洗在進(jìn)行數(shù)據(jù)清洗時(shí)人們往往會(huì)把看上去不需要但實(shí)際上對(duì)業(yè)務(wù)很重要的字段刪了，又或者某個(gè)字段覺得有用，但又沒想好怎么用，不知道是否該刪。此時(shí)，如果數(shù)據(jù)量沒有大到不刪該字段就無法處理，則能不刪的字段盡量不刪。此外，應(yīng)該勤備份數(shù)據(jù)，以免誤刪數(shù)據(jù)影響后續(xù)分析。（六）階段5：關(guān)聯(lián)性驗(yàn)證如果數(shù)據(jù)有多個(gè)來源，則有必要進(jìn)行關(guān)聯(lián)性驗(yàn)證。例如，同時(shí)獲得某品牌汽車的線下購買信息，以及相應(yīng)汽車品牌的電話客服問卷信息，兩者通過姓名和手機(jī)號(hào)關(guān)聯(lián)。同一個(gè)人線下登記的車輛信息和線上問卷問出來的車輛信息如果不是同一輛，則該條數(shù)據(jù)需要調(diào)整或去除數(shù)據(jù)。課堂研討張明現(xiàn)在收集到一份“鏈家”平臺(tái)廣州地區(qū)的房屋出租信息，但不知道該用什么工具對(duì)這份數(shù)據(jù)進(jìn)行清洗，請(qǐng)你幫幫他。拓展訓(xùn)練01請(qǐng)使用至少兩種工具對(duì)采集后的“鏈家”平臺(tái)數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗。

數(shù)據(jù)清洗方法現(xiàn)實(shí)世界的數(shù)據(jù)常常是有噪聲、不完全的和不一致的。數(shù)據(jù)清洗過程通過填補(bǔ)遺漏數(shù)據(jù)、消除異常數(shù)據(jù)、平滑噪聲數(shù)據(jù)，以及糾正不一致的數(shù)據(jù)。遺漏數(shù)據(jù)處理假設(shè)在分析一個(gè)商場(chǎng)銷售數(shù)據(jù)時(shí)，發(fā)現(xiàn)有多個(gè)記錄中的屬性值為空，如顧客的收入屬性，對(duì)于為空的屬性值，可以采用以下方法進(jìn)行遺漏數(shù)據(jù)處理：忽略該條記錄。手工填補(bǔ)遺漏值。利用缺省值填補(bǔ)遺漏值。利用均值填補(bǔ)遺漏值。利用同類別均值填補(bǔ)遺漏值。利用最可能的值填補(bǔ)遺漏值。最后一種方法是一種較常用的方法。噪聲數(shù)據(jù)處理噪聲是指被測(cè)變量的一個(gè)隨機(jī)錯(cuò)誤和變化。下面通過給定一個(gè)數(shù)值型屬性，如價(jià)格，來說明平滑去噪的具體方法。方法被分為四種：Bin方法聚類方法人機(jī)結(jié)合檢查方法回歸方法噪聲數(shù)據(jù)處理Bin方法Bin方法通過利用相應(yīng)被平滑數(shù)據(jù)點(diǎn)的周圍點(diǎn)（近鄰），對(duì)一組排序數(shù)據(jù)進(jìn)行平滑。排序后數(shù)據(jù)分配到若干桶（稱為Buckets或Bins）中。對(duì)Bin的劃分方法一般有兩種，一種是等高方法，即每個(gè)Bin中的元素的個(gè)數(shù)相等；另一種是等寬方法，即每個(gè)Bin的取值間距（左右邊界之差）相同。噪聲數(shù)據(jù)處理例如：首先對(duì)價(jià)格數(shù)據(jù)進(jìn)行排序，然后將其劃分為若干等高度的Bin，即每個(gè)Bin包含三個(gè)數(shù)值

Bin均值平滑對(duì)每個(gè)Bin中所有值均用該Bin的均值替換。圖中第一個(gè)Bin中4、8、15均用該Bin的均值9替換Bin邊界平滑對(duì)于給定的Bin，利用每個(gè)Bin的邊界值（最大值或最小值），替換該Bin中的所有值。一般講，每個(gè)Bin的寬度越寬，其平滑效果越明顯。噪聲數(shù)據(jù)處理聚類方法通過聚類分析可幫助發(fā)現(xiàn)異常數(shù)據(jù)。相似或相鄰近的數(shù)據(jù)聚合在一起形成了各個(gè)聚類集合，而那些位于這些聚類集合之外的數(shù)據(jù)對(duì)象，自然而然就被認(rèn)為是異常數(shù)據(jù)。噪聲數(shù)據(jù)處理人機(jī)結(jié)合檢查方法通過人與計(jì)算機(jī)檢查相結(jié)合方法，可以幫助發(fā)現(xiàn)異常數(shù)據(jù)。如：利用基于信息論方法可幫助識(shí)別用于分類識(shí)別手寫符號(hào)庫中的異常模式；所識(shí)別出的異常模式可輸出到一個(gè)列表中；然后由人對(duì)這一列表中的各異常模式進(jìn)行檢查，并最終確認(rèn)無用的模式（真正異常的模式）。這種人機(jī)結(jié)合檢查方法比單純利用手工方法手寫符號(hào)庫進(jìn)行檢查要快許多。噪聲數(shù)據(jù)處理回歸方法可以利用擬合函數(shù)對(duì)數(shù)據(jù)進(jìn)行平滑。如：借助線性回歸方法，包括多變量回歸方法，就可以獲得的多個(gè)變量之間的一個(gè)擬合關(guān)系，從而達(dá)到利用一個(gè)（或一組）變量值來幫助預(yù)測(cè)另一個(gè)變量取值的目的。利用回歸分析方法所獲得的擬合函數(shù)，能夠幫助平滑數(shù)據(jù)及除去其中的噪聲。不一致數(shù)據(jù)處理現(xiàn)實(shí)世界的數(shù)據(jù)庫常出