數(shù)據(jù)挖掘：概念與技術(shù)JiaweiHanandMichelineKamber著MonrganKaufmannPublishersInc.范明孟小峰等譯機(jī)械工業(yè)出版社1/12/2023151CTO下載-數(shù)據(jù)挖掘概念與技術(shù)1/12/2023251CTO下載-數(shù)據(jù)挖掘概念與技術(shù)1/12/2023351CTO下載-數(shù)據(jù)挖掘概念與技術(shù)第1章引言英文幻燈片制作：JiaweiHan中文幻燈片編譯：范明1/12/2023451CTO下載-數(shù)據(jù)挖掘概念與技術(shù)第一章引論動(dòng)機(jī)：為什么要數(shù)據(jù)挖掘?什么是數(shù)據(jù)挖掘?數(shù)據(jù)挖掘：在什么數(shù)據(jù)上進(jìn)行?數(shù)據(jù)挖掘功能所有的模式都是有趣的嗎?數(shù)據(jù)挖掘系統(tǒng)分類數(shù)據(jù)挖掘的主要問(wèn)題1/12/2023551CTO下載-數(shù)據(jù)挖掘概念與技術(shù)動(dòng)機(jī):需要是發(fā)明之母數(shù)據(jù)爆炸問(wèn)題自動(dòng)的數(shù)據(jù)收集工具和成熟的數(shù)據(jù)庫(kù)技術(shù)導(dǎo)致大量數(shù)據(jù)存放在數(shù)據(jù)庫(kù),數(shù)據(jù)倉(cāng)庫(kù),和其它信息存儲(chǔ)中我們正被數(shù)據(jù)淹沒(méi),但卻缺乏知識(shí)解決辦法:數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘數(shù)據(jù)倉(cāng)庫(kù)與聯(lián)機(jī)分析處理(OLAP)從大型數(shù)據(jù)庫(kù)的數(shù)據(jù)中提取有趣的知識(shí)(規(guī)則,規(guī)律性,模式,限制等)1/12/2023651CTO下載-數(shù)據(jù)挖掘概念與技術(shù)數(shù)據(jù)處理技術(shù)的演進(jìn)1960s:數(shù)據(jù)收集,數(shù)據(jù)庫(kù)創(chuàng)建,IMS和網(wǎng)狀DBMS1970s:關(guān)系數(shù)據(jù)庫(kù)模型,關(guān)系DBMS實(shí)現(xiàn)1980s:RDBMS,先進(jìn)的數(shù)據(jù)模型(擴(kuò)充關(guān)系的,OO,演繹的,等.)和面向應(yīng)用的DBMS(空間的,科學(xué)的,工程的,等.)1990s—2000s:數(shù)據(jù)挖掘和數(shù)據(jù)倉(cāng)庫(kù),多媒體數(shù)據(jù)庫(kù),和Web數(shù)據(jù)庫(kù)1/12/2023751CTO下載-數(shù)據(jù)挖掘概念與技術(shù)什么是數(shù)據(jù)挖掘?數(shù)據(jù)挖掘(數(shù)據(jù)庫(kù)中知識(shí)發(fā)現(xiàn)):從大型數(shù)據(jù)庫(kù)中提取有趣的(非平凡的,

蘊(yùn)涵的,先前未知的

并且是潛在有用的)

信息或模式其它叫法和“insidestories”:數(shù)據(jù)挖掘:用詞不當(dāng)?數(shù)據(jù)庫(kù)中知識(shí)發(fā)現(xiàn)(挖掘)(Knowledgediscoveryindatabases,KDD),知識(shí)提取(knowledgeextraction),數(shù)據(jù)/模式分析(data/patternanalysis),數(shù)據(jù)考古(dataarcheology),數(shù)據(jù)捕撈(datadredging),信息收獲(informationharvesting),商務(wù)智能(businessintelligence),等.什么不是數(shù)據(jù)挖掘?(演繹)查詢處理.專家系統(tǒng)或小型機(jī)器學(xué)習(xí)(ML)/統(tǒng)計(jì)程序1/12/2023851CTO下載-數(shù)據(jù)挖掘概念與技術(shù)為什么要數(shù)據(jù)挖掘?—可能的應(yīng)用數(shù)據(jù)庫(kù)分析和決策支持市場(chǎng)分析和管理針對(duì)銷售(targetmarketing),顧客關(guān)系管理,購(gòu)物籃分析,交叉銷售(crossselling),市場(chǎng)分割(marketsegmentation)風(fēng)險(xiǎn)分析與管理預(yù)測(cè),顧客關(guān)系,改進(jìn)保險(xiǎn),質(zhì)量控制,競(jìng)爭(zhēng)能力分析欺騙檢測(cè)與管理其它應(yīng)用文本挖掘(新聞組,email,文檔資料)流數(shù)據(jù)挖掘(Streamdatamining)Web挖掘.DNA數(shù)據(jù)分析1/12/2023951CTO下載-數(shù)據(jù)挖掘概念與技術(shù)市場(chǎng)分析與管理(1)用于分析的數(shù)據(jù)源在哪?信用卡交易,會(huì)員卡,打折優(yōu)惠卷,顧客投訴電話,(公共)生活時(shí)尚研究針對(duì)銷售(Targetmarketing)找出顧客群,他們具有相同特征:興趣,收入水平,消費(fèi)習(xí)慣,等.確定顧客隨時(shí)間變化的購(gòu)買模式個(gè)人帳號(hào)到聯(lián)合帳號(hào)的轉(zhuǎn)變:結(jié)婚,等.交叉銷售分析(Cross-marketanalysis)產(chǎn)品銷售之間的關(guān)聯(lián)/相關(guān)基于關(guān)聯(lián)信息的預(yù)測(cè)1/12/20231051CTO下載-數(shù)據(jù)挖掘概念與技術(shù)市場(chǎng)分析與管理(2)顧客分類(Customerprofiling)數(shù)據(jù)挖掘能夠告訴我們什么樣的顧客買什么產(chǎn)品(聚類或分類)識(shí)別顧客需求對(duì)不同的顧客識(shí)別最好的產(chǎn)品使用預(yù)測(cè)發(fā)現(xiàn)什么因素影響新顧客提供匯總信息各種多維匯總報(bào)告統(tǒng)計(jì)的匯總信息(數(shù)據(jù)的中心趨勢(shì)和方差)1/12/20231151CTO下載-數(shù)據(jù)挖掘概念與技術(shù)法人分析和風(fēng)險(xiǎn)管理財(cái)經(jīng)規(guī)劃和資產(chǎn)評(píng)估現(xiàn)金流分析和預(yù)測(cè)臨時(shí)提出的資產(chǎn)評(píng)估交叉組合(cross-sectional)和時(shí)間序列分析(金融比率(financial-ratio),趨勢(shì)分析,等.)資源規(guī)劃:資源與開銷的匯總與比較競(jìng)爭(zhēng):管理競(jìng)爭(zhēng)者和市場(chǎng)指導(dǎo)對(duì)顧客分類和基于類的定價(jià)在高度競(jìng)爭(zhēng)的市場(chǎng)調(diào)整價(jià)格策略1/12/20231251CTO下載-數(shù)據(jù)挖掘概念與技術(shù)欺騙檢測(cè)和管理(1)應(yīng)用廣泛用于健康照料,零售,信用卡服務(wù),電訊(電話卡欺騙),等.方法使用歷史數(shù)據(jù)建立欺騙行為模型,使用數(shù)據(jù)挖掘幫助識(shí)別類似的實(shí)例例汽車保險(xiǎn):檢測(cè)這樣的人,他/她假造事故騙取保險(xiǎn)賠償洗錢:檢測(cè)可疑的金錢交易(USTreasury'sFinancialCrimesEnforcementNetwork)醫(yī)療保險(xiǎn):檢測(cè)職業(yè)病患者,醫(yī)生和介紹人圈1/12/20231351CTO下載-數(shù)據(jù)挖掘概念與技術(shù)欺騙檢測(cè)和管理(2)檢測(cè)不適當(dāng)?shù)尼t(yī)療處置澳大利亞健康保險(xiǎn)會(huì)(AustralianHealthInsuranceCommission)發(fā)現(xiàn)許多全面的檢查是請(qǐng)求做的,而不是實(shí)際需要的(每年節(jié)省100萬(wàn)澳元).檢測(cè)電話欺騙電話呼叫模式:通話距離,通話時(shí)間,每天或每周通話次數(shù).分析偏離期望的模式.英國(guó)電訊(BritishTelecom)識(shí)別頻繁內(nèi)部通話的呼叫者的離散群,特別是移動(dòng)電話,超過(guò)數(shù)百萬(wàn)美元的欺騙.零售分析家估計(jì),38%的零售業(yè)萎縮是由于不忠誠(chéng)的雇員造成的.1/12/20231451CTO下載-數(shù)據(jù)挖掘概念與技術(shù)其它應(yīng)用運(yùn)動(dòng)IBMAdvancedScout分析NBA的統(tǒng)計(jì)數(shù)據(jù)(阻擋投籃,助攻,和犯規(guī))獲得了對(duì)紐約小牛隊(duì)(NewYorkKnicks)和邁艾米熱隊(duì)(MiamiHeat)的競(jìng)爭(zhēng)優(yōu)勢(shì)天文借助于數(shù)據(jù)挖掘的幫助,JPL和PalomarObservatory發(fā)現(xiàn)了22顆類星體(quasars)InternetWebSurf-AidIBMSurf-Aid將數(shù)據(jù)挖掘算法用于有關(guān)交易的頁(yè)面的Web訪問(wèn)日志,以發(fā)現(xiàn)顧客喜愛(ài)的頁(yè)面,分析Web銷售的效果,改進(jìn)Web站點(diǎn)的組織,等.1/12/20231551CTO下載-數(shù)據(jù)挖掘概念與技術(shù)數(shù)據(jù)挖掘過(guò)程數(shù)據(jù)挖掘：KDD的核心.數(shù)據(jù)清理數(shù)據(jù)集成數(shù)據(jù)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)知識(shí)任務(wù)相關(guān)數(shù)據(jù)選擇數(shù)據(jù)挖掘模式評(píng)估1/12/20231651CTO下載-數(shù)據(jù)挖掘概念與技術(shù)KDD過(guò)程的步驟學(xué)習(xí)應(yīng)用領(lǐng)域:相關(guān)的先驗(yàn)知識(shí)和應(yīng)用的目標(biāo)創(chuàng)建目標(biāo)數(shù)據(jù)集:數(shù)據(jù)選擇數(shù)據(jù)清理和預(yù)處理:(可能占全部工作的60%!)數(shù)據(jù)歸約與變換:發(fā)現(xiàn)有用的特征,維/變量歸約,不變量的表示.選擇數(shù)據(jù)挖掘函數(shù)匯總,分類,回歸,關(guān)聯(lián),聚類.1/12/20231751CTO下載-數(shù)據(jù)挖掘概念與技術(shù)KDD過(guò)程的步驟(續(xù))選擇挖掘算法數(shù)據(jù)挖掘:搜索有趣的模式模式評(píng)估和知識(shí)表示可視化,變換,刪除冗余模式,等.發(fā)現(xiàn)知識(shí)的使用1/12/20231851CTO下載-數(shù)據(jù)挖掘概念與技術(shù)數(shù)據(jù)挖掘和商務(wù)智能

提高支持商務(wù)決策的潛能最終用戶商務(wù)分析人員數(shù)據(jù)分析人員DBA

制定決策數(shù)據(jù)表示可視化技術(shù)數(shù)據(jù)挖掘信息發(fā)現(xiàn)數(shù)據(jù)探查OLAP,MDA統(tǒng)計(jì)分析,查詢和報(bào)告數(shù)據(jù)倉(cāng)庫(kù)/數(shù)據(jù)集市數(shù)據(jù)源文字記錄,文件,信息提供者,數(shù)據(jù)庫(kù)系統(tǒng),OLTP系統(tǒng)1/12/20231951CTO下載-數(shù)據(jù)挖掘概念與技術(shù)典型的數(shù)據(jù)挖掘系統(tǒng)結(jié)構(gòu)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)清理數(shù)據(jù)集成過(guò)濾數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)挖掘引擎模式評(píng)估圖形用戶界面知識(shí)庫(kù)1/12/20232051CTO下載-數(shù)據(jù)挖掘概念與技術(shù)數(shù)據(jù)挖掘:在什么數(shù)據(jù)上進(jìn)行?關(guān)系數(shù)據(jù)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)事務(wù)(交易)數(shù)據(jù)庫(kù)先進(jìn)的數(shù)據(jù)庫(kù)和信息存儲(chǔ)面向?qū)ο蠛蛯?duì)象-關(guān)系數(shù)據(jù)庫(kù)空間和時(shí)間數(shù)據(jù)時(shí)間序列數(shù)據(jù)和流數(shù)據(jù)文本數(shù)據(jù)庫(kù)和多媒體數(shù)據(jù)庫(kù)異種數(shù)據(jù)庫(kù)和遺產(chǎn)數(shù)據(jù)庫(kù)WWW1/12/20232151CTO下載-數(shù)據(jù)挖掘概念與技術(shù)數(shù)據(jù)挖掘功能(1)概念描述:特征和區(qū)分概化,匯總,和比較數(shù)據(jù)特征,例如,干燥和潮濕的地區(qū)關(guān)聯(lián)(相關(guān)和因果關(guān)系)多維和單維關(guān)聯(lián)age(X,“20..29”)^income(X,“20..29K”)buys(X,“PC”) [support=2%,confidence=60%]contains(T,“computer”)

contains(T,“software”) [support=1%,confidence=75%]1/12/20232251CTO下載-數(shù)據(jù)挖掘概念與技術(shù)數(shù)據(jù)挖掘功能(2)分類和預(yù)測(cè)找出描述和識(shí)別類或概念的模型(函數(shù)),用于將來(lái)的預(yù)測(cè)例如根據(jù)氣候?qū)?guó)家分類,或根據(jù)單位里程的耗油量對(duì)汽車分類表示:判定樹(decision-tree),分類規(guī)則,神經(jīng)網(wǎng)絡(luò)預(yù)測(cè):預(yù)測(cè)某些未知或遺漏的數(shù)值值聚類分析類標(biāo)號(hào)(Classlabel)未知:對(duì)數(shù)據(jù)分組,形成新的類.例如,對(duì)房屋分類,找出分布模式聚類原則:最大化類內(nèi)的相似性,最小化類間的相似性1/12/20232351CTO下載-數(shù)據(jù)挖掘概念與技術(shù)數(shù)據(jù)挖掘功能(3)孤立點(diǎn)(Outlier)分析孤立點(diǎn):一個(gè)數(shù)據(jù)對(duì)象,它與數(shù)據(jù)的一般行為不一致孤立點(diǎn)可以被視為例外,但對(duì)于欺騙檢測(cè)和罕見(jiàn)事件分析,它是相當(dāng)有用的趨勢(shì)和演變分析趨勢(shì)和偏離:回歸分析序列模式挖掘,周期性分析基于相似的分析其它基于模式或統(tǒng)計(jì)的分析1/12/20232451CTO下載-數(shù)據(jù)挖掘概念與技術(shù)挖掘出的所有模式都是有趣的嗎?一個(gè)數(shù)據(jù)挖掘系統(tǒng)/查詢可以挖掘出數(shù)以千計(jì)的模式,并非所有的模式都是有趣的建議的方法:以人為中心,基于查詢的,聚焦的挖掘興趣度度量:一個(gè)模式是有趣的如果它是易于被人理解的,在某種程度上在新的或測(cè)試數(shù)據(jù)上是有效的,潛在有用的,新穎的,或驗(yàn)證了用戶希望證實(shí)的某種假設(shè)客觀與主觀的興趣度度量:客觀:基于模式的統(tǒng)計(jì)和結(jié)構(gòu),例如,支持度,置信度,等.主觀:基于用戶對(duì)數(shù)據(jù)的確信,例如,出乎意料,新穎性,可行動(dòng)性(actionability),等.1/12/20232551CTO下載-數(shù)據(jù)挖掘概念與技術(shù)能夠只發(fā)現(xiàn)有趣的模式嗎?發(fā)現(xiàn)所有有趣的模式:完全性數(shù)據(jù)挖掘系統(tǒng)能夠發(fā)現(xiàn)所有有趣的模式嗎?關(guān)聯(lián)vs.分類vs.聚類僅搜索有趣的模式:優(yōu)化數(shù)據(jù)挖掘系統(tǒng)能夠僅發(fā)現(xiàn)有趣的模式嗎?方法首先找出所有模式,然后過(guò)濾掉不是有趣的那些.僅產(chǎn)生有趣的模式—挖掘查詢優(yōu)化1/12/20232651CTO下載-數(shù)據(jù)挖掘概念與技術(shù)數(shù)據(jù)挖掘:多學(xué)科交叉

數(shù)據(jù)挖掘數(shù)據(jù)庫(kù)技術(shù)統(tǒng)計(jì)學(xué)其它學(xué)科信息科學(xué)機(jī)器學(xué)習(xí)可視化1/12/20232751CTO下載-數(shù)據(jù)挖掘概念與技術(shù)數(shù)據(jù)挖掘分類一般功能描述式數(shù)據(jù)挖掘預(yù)測(cè)式數(shù)據(jù)挖掘不同的角度,不同的分類待挖掘的數(shù)據(jù)庫(kù)類型待發(fā)現(xiàn)的知識(shí)類型所用的技術(shù)類型所適合的應(yīng)用類型1/12/20232851CTO下載-數(shù)據(jù)挖掘概念與技術(shù)數(shù)據(jù)挖掘分類的多維視圖待挖掘的數(shù)據(jù)庫(kù)關(guān)系的,事務(wù)的,面向?qū)ο蟮?對(duì)象-關(guān)系的,主動(dòng)的,空間的,時(shí)間序列的,文本的,多媒體的,異種的,遺產(chǎn)的,WWW,等.所挖掘的知識(shí)特征,區(qū)分,關(guān)聯(lián),分類,聚類,趨勢(shì),偏離和孤立點(diǎn)分析,等.多/集成的功能,和多層次上的挖掘所用技術(shù)面向數(shù)據(jù)庫(kù)的,數(shù)據(jù)倉(cāng)庫(kù)(OLAP),機(jī)器學(xué)習(xí),統(tǒng)計(jì)學(xué),可視化,神經(jīng)網(wǎng)絡(luò),等.適合的應(yīng)用零售,電訊,銀行,欺騙分析,DNA挖掘,股票市場(chǎng)分析,Web挖掘,Web日志分析,等1/12/20232951CTO下載-數(shù)據(jù)挖掘概念與技術(shù)OLAP挖掘:數(shù)據(jù)挖掘與數(shù)據(jù)倉(cāng)庫(kù)的集成數(shù)據(jù)挖掘系統(tǒng),DBMS,數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的耦合不耦合,松耦合,半緊密耦合,緊密耦合聯(lián)機(jī)分析挖掘挖掘與OLAP技術(shù)的集成交互挖掘多層知識(shí)通過(guò)下鉆,上卷,轉(zhuǎn)軸,切片,切塊等操作,在不同的抽象層挖掘知識(shí)和模式的必要性.多種挖掘功能的集成特征分類,先聚類在關(guān)聯(lián)1/12/20233051CTO下載-數(shù)據(jù)挖掘概念與技術(shù)OLAM的結(jié)構(gòu)數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)MDDBOLAM引擎OLAP引擎用戶GUIAPI數(shù)據(jù)立方體API數(shù)據(jù)庫(kù)API數(shù)據(jù)清理數(shù)據(jù)集成第3層OLAP/OLAM第2層MDDB第1層數(shù)據(jù)存儲(chǔ)第4層用戶界面過(guò)濾和集成過(guò)濾Databases挖掘查詢挖掘結(jié)果1/12/20233151CTO下載-數(shù)據(jù)挖掘概念與技術(shù)數(shù)據(jù)挖掘的主要問(wèn)題(1)挖掘方法和用戶交互在數(shù)據(jù)庫(kù)中挖掘不同類型的知識(shí)在多個(gè)抽象層的交互式知識(shí)挖掘結(jié)合背景知識(shí)數(shù)據(jù)挖掘語(yǔ)言和啟發(fā)式數(shù)據(jù)挖掘數(shù)據(jù)挖掘結(jié)果的表示和可視化處理噪音和不完全數(shù)據(jù)模式評(píng)估:興趣度問(wèn)題性能和可伸縮性(scalability)數(shù)據(jù)挖掘算法的性能和可伸縮性并行,分布和增量的挖掘方法1/12/20233251CTO下載-數(shù)據(jù)挖掘概念與技術(shù)數(shù)據(jù)挖掘的主要問(wèn)題(2)數(shù)據(jù)類型的多樣性問(wèn)題處理關(guān)系的和復(fù)雜類型的數(shù)據(jù)從異種數(shù)據(jù)庫(kù)和全球信息系統(tǒng)(WWW)挖掘信息應(yīng)用和社會(huì)效果問(wèn)題發(fā)現(xiàn)知識(shí)的應(yīng)用特定領(lǐng)域的數(shù)據(jù)挖掘工具智能查詢回答過(guò)程控制和決策制定發(fā)現(xiàn)知識(shí)與已有知識(shí)的集成:知識(shí)融合問(wèn)題數(shù)據(jù)安全,完整和私有的保護(hù)1/12/20233351CTO下載-數(shù)據(jù)挖掘概念與技術(shù)小結(jié)數(shù)據(jù)挖掘:從大量數(shù)據(jù)中發(fā)現(xiàn)有趣的模式數(shù)據(jù)庫(kù)技術(shù)的自然進(jìn)化,具有巨大需求和廣泛應(yīng)用KDD過(guò)程包括數(shù)據(jù)清理,數(shù)據(jù)集成,數(shù)據(jù)選擇,變換,數(shù)據(jù)挖掘,模式評(píng)估,和知識(shí)表示挖掘可以在各種數(shù)據(jù)存儲(chǔ)上進(jìn)行數(shù)據(jù)挖掘功能:特征,區(qū)分,關(guān)聯(lián),分類,聚類,孤立點(diǎn)和趨勢(shì)分析,等.數(shù)據(jù)挖掘系統(tǒng)的分類數(shù)據(jù)挖掘的主要問(wèn)題1/12/20233451CTO下載-數(shù)據(jù)挖掘概念與技術(shù)數(shù)據(jù)挖掘界簡(jiǎn)史1989IJCAIWorkshoponKnowledgeDiscoveryinDatabases(Piatetsky-Shapiro)KnowledgeDiscoveryinDatabases(G.Piatetsky-ShapiroandW.Frawley,1991)1991-1994WorkshopsonKnowledgeDiscoveryinDatabasesAdvancesinKnowledgeDiscoveryandDataMining(U.Fayyad,G.Piatetsky-Shapiro,P.Smyth,andR.Uthurusamy,1996)1995-1998InternationalConferencesonKnowledgeDiscoveryinDatabasesandDataMining(KDD’95-98)JournalofDataMiningandKnowledgeDiscovery(1997)1998ACMSIGKDD,SIGKDD’1999-2001conferences,andSIGKDDExplorationsMoreconferencesondataminingPAKDD,PKDD,SIAM-DataMining,(IEEE)ICDM,etc.1/12/20233551CTO下載-數(shù)據(jù)挖掘概念與技術(shù)參考文獻(xiàn)源DataminingandKDD(SIGKDDmemberCDROM):Conferenceproceedings:KDD,andothers,suchasPKDD,PAKDD,etc.Journal:DataMiningandKnowledgeDiscoveryDatabasefield(SIGMODmemberCDROM):Conferenceproceedings:ACM-SIGMOD,ACM-PODS,VLDB,ICDE,EDBT,DASFAAJournals:ACM-TODS,J.ACM,IEEE-TKDE,JIIS,etc.AIandMachineLearning:Conferenceproceedings:Machinelearning,AAAI,IJCAI,etc.Journals:MachineLearning,ArtificialIntelligence,etc.Statistics:Conferenceproceedings:JointStat.Meeting,etc.Journals:Annalsofstatistics,etc.Visualization:Conferenceproceedings:CHI,etc.Journals:IEEETrans.visualizationandcompute