信用卡中心數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目設(shè)計(jì)【摘要】近年來(lái)我國(guó)信用卡業(yè)務(wù)獲得了飛速的發(fā)展,商業(yè)銀行信用卡業(yè)務(wù)已經(jīng)逐步成為了一個(gè)成熟的金融市場(chǎng)的一種重要的商業(yè)產(chǎn)品,現(xiàn)在我國(guó)商業(yè)銀行信用卡業(yè)務(wù)正處于快速增長(zhǎng)的階段,隨著商業(yè)銀行信用卡業(yè)務(wù)的高速發(fā)展,銀行積累了大量的信用卡交易數(shù)據(jù),如何將這些數(shù)據(jù)變成有用的信息,使銀行的領(lǐng)導(dǎo)做出決策性的判斷,是信用卡分析集市需要解決的問(wèn)題。為了解決上述問(wèn)題,本課題對(duì)國(guó)內(nèi)某家中小型銀行的信用卡數(shù)據(jù)分析系統(tǒng)進(jìn)行設(shè)計(jì),并以數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市的理論為基礎(chǔ),結(jié)合該銀行的技術(shù)現(xiàn)狀和業(yè)務(wù)需求,建設(shè)了基于數(shù)據(jù)倉(cāng)庫(kù)的信用卡數(shù)據(jù)分析集市。支持多維分析和靈活的報(bào)表展現(xiàn)。本課題根據(jù)從源系統(tǒng)到用戶的數(shù)據(jù)流向,設(shè)計(jì)了臨時(shí)層、基礎(chǔ)數(shù)據(jù)層、數(shù)據(jù)匯總層三大數(shù)據(jù)層次。臨時(shí)層用于存放緩沖數(shù)據(jù)基本與源數(shù)據(jù)保持一致?；A(chǔ)數(shù)據(jù)層用于企業(yè)數(shù)據(jù)倉(cāng)庫(kù),存儲(chǔ)細(xì)節(jié)和歷史數(shù)據(jù)。數(shù)據(jù)匯總層用于數(shù)據(jù)集市,支持?jǐn)?shù)據(jù)挖掘,該層并且直接面向多維分析和靈活報(bào)表。每個(gè)層次根據(jù)不同需求而設(shè)計(jì),并且數(shù)據(jù)在導(dǎo)入的過(guò)程中存在一定依賴關(guān)系,基礎(chǔ)層依賴臨時(shí)層,匯總層依賴基礎(chǔ)層。本系統(tǒng)實(shí)現(xiàn)的信用卡數(shù)據(jù)分析集市使該銀行首次擁有了支持信用卡數(shù)據(jù)挖掘的數(shù)據(jù)分析平臺(tái)?！娟P(guān)鍵詞】數(shù)據(jù)倉(cāng)庫(kù),信用卡,數(shù)據(jù)分析,ETLDesignandImplementationofCreditCardAnalysisDataMarketBasedonDataWarehouse【Abstract】BankcreditcardbusinessinChinainrecentyearshasbeendevelopedrapidly,thebankcreditcardbusinesshasbecomeamaturefinancialmarketisakindofimportantcommercialproducts,nowChina'sbankcreditcardbusinessisinrapidgrowthstage,alongwiththehighspeeddevelopmentofbankcreditcardbusiness,thebanktransactionstoaccumulateahugemassofdata,howtoturndataintousefulinformation,sothattheleadershipofthebanktomakedecision-makingjudgment,isthecreditcardmarketanalysisproblemsneedtobesolved.Inordertosolvetheaboveproblems,thesubjectofadomesticsmallandmedium-sizedbankcreditcarddataanalysisofinformationsystemdesign,andbasedonthetheoryofthedatawarehouseanddatamart,combinedwiththecurrentsituationandbusinessneedsofthebank'sconstructionbasedondatawarehousecreditcarddatamarts.SupportmultidimensionalanalysisandflexiblereportsshowThissubjectfromthesourcedatasystemaccordingtotheuser'sdataflow,designthetemporarydatalayer,datacollectionlayerthreelargedatalevel.Thetemporarydatalayerstorecachedataandkeepalmostthesamewiththeoriginaldatabasicdatalayerfortheenterprisedatawarehouse,storedetailsandhistoricaldata.Datacollectionlayerappliedindatamart,andsupportthedataminingandsupportmultidimensionalanalysisandflexiblereports.Threelevelsareusingnormalize,de-normalizeandstructurecharacteristicsofstar-shapedmodel,stepbystepsummary.Ateachlevelinternalrationaldesignsubjectfieldsandentity,meettheneedsofdifferentdata.Thesystemoftherealizationofthecreditcarddataanalysistothebankfirstmarkethasthesupportofthecreditcarddataminingdataanalysisplatform.Theplatformtointegratethecreditcardtransactionsystem,collectionsystem,customerservicesystem,integralsystemfoursystem’ssourcedata,thatacomprehensiveanalysisofthedatabecomepossible.Asourcesystem,datawarehouse-adatamartthree-layernewarchitectureissettled,Eithersolvedthepastcreditcardbetweenmanagementinformationsystemandenterprisedatawarehousewithdataredundancyresultininconsistenciesorrealizationofaflexibleapplicationofthedataundertheunifiedstorage.【Keywords】DataWarehouse,CreditCard,DataAnalysis,ETL(ExtractionTransformationLoading)目錄緒論 1第一章 數(shù)據(jù)倉(cāng)庫(kù)簡(jiǎn)介 11.1數(shù)據(jù)倉(cāng)庫(kù)出現(xiàn)的背景 11.2數(shù)據(jù)倉(cāng)庫(kù)的特性 21.3數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)要求及需要解決的問(wèn)題 21.4數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)與OLTP系統(tǒng)的比較 31.5本章小結(jié) 3第二章 可行性分析與需求分析 42.1可行性分析 42.2需求分析 42.3本章小結(jié) 11第三章 項(xiàng)目概述 123.1項(xiàng)目背景 123.2項(xiàng)目總體描述 123.3項(xiàng)目?jī)?nèi)容描述 123.4本章小結(jié) 13第四章 信用卡中心數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目總體設(shè)計(jì) 144.1項(xiàng)目總體設(shè)計(jì)思路 144.2項(xiàng)目整體流程規(guī)劃 144.3項(xiàng)目總體設(shè)計(jì)原則 154.4本章小結(jié) 15第五章 信用卡中心數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目詳細(xì)設(shè)計(jì) 165.1項(xiàng)目的概念模型設(shè)計(jì) 165.2項(xiàng)目的邏輯模型設(shè)計(jì) 165.3項(xiàng)目的物理模型設(shè)計(jì) 225.4項(xiàng)目的物理數(shù)據(jù)庫(kù)設(shè)計(jì) 245.5ETL調(diào)度的設(shè)計(jì) 295.6用Cognos工具展示報(bào)表的表樣的設(shè)計(jì) 305.7本章小結(jié) 32第六章 項(xiàng)目的實(shí)現(xiàn)及報(bào)表展示 336.1系統(tǒng)環(huán)境需求 336.2項(xiàng)目實(shí)現(xiàn)過(guò)程 336.3項(xiàng)目實(shí)現(xiàn)過(guò)程中用到的ETL算法 346.4項(xiàng)目報(bào)表展示 356.4本章小結(jié) 38后記 39致謝 39參考文獻(xiàn) 40附錄一: 411)項(xiàng)目中用到的相關(guān)工具及技術(shù)介紹 412)配置運(yùn)行環(huán)境時(shí)需要注意要點(diǎn) 42附錄二: 441)項(xiàng)目包里的“PRO_CREDITCARD”文件夾下的各種PL文件說(shuō)明 442)PERL部分腳本代碼示例 46緒論隨著我國(guó)市場(chǎng)經(jīng)濟(jì)的繁榮和發(fā)展,國(guó)內(nèi)信用卡業(yè)也獲得了飛速發(fā)展。伴隨著信用卡業(yè)務(wù)量的不斷增長(zhǎng),國(guó)內(nèi)信用卡行業(yè)的市場(chǎng)競(jìng)爭(zhēng)也日趨激烈。因此各大銀行需要建立專門的組織機(jī)構(gòu)和專業(yè)隊(duì)伍從事數(shù)據(jù)分析工作。數(shù)據(jù)分析的內(nèi)容包括為業(yè)務(wù)管理提供統(tǒng)計(jì)報(bào)表,在市場(chǎng)營(yíng)銷、風(fēng)險(xiǎn)管理、客戶關(guān)系管理等方面,利用報(bào)表分析工具對(duì)信用卡數(shù)據(jù)進(jìn)行深度的挖掘,利用分析成果指導(dǎo)業(yè)務(wù)決策。本課題基于數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市的基本理論,以實(shí)際開(kāi)發(fā)過(guò)程和開(kāi)發(fā)成果為基礎(chǔ),主要從總體技術(shù)方案和數(shù)據(jù)庫(kù)設(shè)計(jì)兩個(gè)方面,描述了某銀行信用卡數(shù)據(jù)分析集市的設(shè)計(jì)和實(shí)現(xiàn)。主要內(nèi)容包括以下幾方面:數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)ETL技術(shù)作業(yè)調(diào)度數(shù)據(jù)模型建設(shè)cognos報(bào)表展示。數(shù)據(jù)倉(cāng)庫(kù)簡(jiǎn)介1.1數(shù)據(jù)倉(cāng)庫(kù)出現(xiàn)的背景在數(shù)據(jù)庫(kù)技術(shù)的支持下,一大批成熟的業(yè)務(wù)信息系統(tǒng)投入運(yùn)行,為企業(yè)發(fā)展做出了巨大貢獻(xiàn)。各類信息系統(tǒng)大多屬于面向事務(wù)處理的OLTP系統(tǒng),經(jīng)過(guò)多年的運(yùn)行,積累了大量的數(shù)據(jù),而管理決策層對(duì)數(shù)據(jù)分析基礎(chǔ)平臺(tái)的需求卻日益強(qiáng)烈。數(shù)據(jù)倉(cāng)庫(kù)概念的提出者是美國(guó)著名信息工程專家WilliamInmon博士,他在90年代初提出了數(shù)據(jù)倉(cāng)庫(kù)概念的一個(gè)表述。他認(rèn)為:“數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題的(SubjectOriented)、集成的(Integrated)、相對(duì)穩(wěn)定的(Non-Volatile)、反映歷史變化(TimeVariant)的數(shù)據(jù)集合,用于支持管理決策和信息的全局共享。”它的出現(xiàn)主要由兩方面的因素:需求的變化。業(yè)務(wù)系統(tǒng)的建設(shè)逐漸完善。分析類需求不斷增加。不斷增加的信息孤島導(dǎo)致數(shù)據(jù)集成問(wèn)題不斷增加。技術(shù)發(fā)展非常迅速。關(guān)系數(shù)據(jù)庫(kù)技術(shù)日趨成熟。報(bào)表和復(fù)雜查詢處理起來(lái)非常困難。各個(gè)系統(tǒng)之間數(shù)據(jù)不一致。1.2數(shù)據(jù)倉(cāng)庫(kù)的特性數(shù)據(jù)倉(cāng)庫(kù)的特性有以下幾個(gè):面向主題的(SubjectOriented):是指數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的信息是按主題進(jìn)行組織的,而不是像業(yè)務(wù)支撐系統(tǒng)那樣是按照業(yè)務(wù)功能進(jìn)行組織的。集成的(Integrated):是指數(shù)據(jù)倉(cāng)庫(kù)中的信息不是從各個(gè)業(yè)務(wù)系統(tǒng)中簡(jiǎn)單抽取出來(lái)的,而是經(jīng)過(guò)一系列加工、整理和匯總的過(guò)程,因此數(shù)據(jù)倉(cāng)庫(kù)中的信息是關(guān)于整個(gè)企業(yè)的一致的全局信息。非易失的(Non-Volatile):數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)通常以批量方式加載和被訪問(wèn),歷史數(shù)據(jù)一般不被更新。當(dāng)產(chǎn)生信息的后繼變化時(shí),變化會(huì)被記錄下來(lái)。這樣,數(shù)據(jù)倉(cāng)庫(kù)中就保留了數(shù)據(jù)的歷史狀況。隨時(shí)間變化(TimeVariant):是指數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的信息并不只是反映企業(yè)當(dāng)前的狀態(tài),而是記錄了從過(guò)去某一時(shí)點(diǎn)到當(dāng)前各個(gè)階段的信息。通過(guò)這些信息,可以對(duì)企業(yè)的發(fā)展歷程和未來(lái)趨勢(shì)做出定量分析和預(yù)測(cè)。而信息本身相對(duì)穩(wěn)定,是指一旦某個(gè)數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)以后,一般很少進(jìn)行修改,更多的是對(duì)信息進(jìn)行查詢操作。依據(jù)上面的定義,有人可能會(huì)把數(shù)據(jù)倉(cāng)庫(kù)簡(jiǎn)單地理解為僅僅是一個(gè)大型的數(shù)據(jù)存儲(chǔ)機(jī)制,是一個(gè)靜態(tài)的概念。實(shí)際上,數(shù)據(jù)倉(cāng)庫(kù)更像一個(gè)過(guò)程,這個(gè)過(guò)程涉及數(shù)據(jù)的收集、整理和加工,生成決策所需要的信息,并且最終把這些信息提供給需要這些信息的使用者,供他們做出改善業(yè)務(wù)經(jīng)營(yíng)的正確決策。數(shù)據(jù)倉(cāng)庫(kù)的重點(diǎn)與要求就是能夠準(zhǔn)確、安全、可靠地從業(yè)務(wù)系統(tǒng)中取出數(shù)據(jù),經(jīng)過(guò)加工轉(zhuǎn)換成有規(guī)律信息之后,為管理人員進(jìn)行分析使用。因此數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)動(dòng)態(tài)的概念,應(yīng)該稱為數(shù)據(jù)倉(cāng)庫(kù)工程DataWarehousing。1.3數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)要求及需要解決的問(wèn)題數(shù)據(jù)倉(cāng)庫(kù)中沒(méi)有聯(lián)機(jī)的數(shù)據(jù)更新,只有非常少的一些鎖定需要;而且對(duì)于遠(yuǎn)程處理接口的需要也只是最基本的。但是數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)需求比較多:管理大量數(shù)據(jù)的能力和元數(shù)據(jù)管理。能夠管理多種介質(zhì),高效地裝載數(shù)據(jù)。能夠輕松容易有效的使用索引和監(jiān)視數(shù)據(jù)。對(duì)于接口?用各種不同的技術(shù)接受和傳送數(shù)據(jù)。允許程序員/設(shè)計(jì)者對(duì)數(shù)據(jù)存放位置的控制并能從一批介質(zhì)上將數(shù)據(jù)快速、完全地恢復(fù)?，F(xiàn)有的操作型數(shù)據(jù)庫(kù)系統(tǒng)(OLTP)用來(lái)處理分析型應(yīng)用存在很多的問(wèn)題,都能在數(shù)據(jù)倉(cāng)庫(kù)中得到解決,例如:數(shù)據(jù)可信性:兩個(gè)部門提供的數(shù)據(jù)是不一樣的,讓管理者無(wú)所適從。數(shù)據(jù)動(dòng)態(tài)集成問(wèn)題:不同的需求,要求將操作型環(huán)境和分析型環(huán)境相分離。歷史數(shù)據(jù)問(wèn)題:單項(xiàng)系統(tǒng)之間保留的歷史數(shù)據(jù)時(shí)間范圍不一致,無(wú)法滿足DSS分析的需要。報(bào)表的生產(chǎn)率問(wèn)題:由于OLTP的單項(xiàng)系統(tǒng)導(dǎo)致數(shù)據(jù)的分散性和相同元素定義不一致導(dǎo)致不可能把數(shù)據(jù)轉(zhuǎn)換成信息。1.4數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)與OLTP系統(tǒng)的比較1.5本章小結(jié)本章主要講述了數(shù)據(jù)倉(cāng)庫(kù)出現(xiàn)的背景及數(shù)據(jù)倉(cāng)庫(kù)的一些相關(guān)特性,數(shù)據(jù)倉(cāng)庫(kù)作為一個(gè)分析型的系統(tǒng),用來(lái)為管理層的決策、管理行為提供服務(wù)。與傳統(tǒng)的操作型的系統(tǒng)相比較,數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)擁有很多的特性和優(yōu)勢(shì)。可行性分析與需求分析2.1可行性分析可行性研究是抽象和簡(jiǎn)化了的系統(tǒng)分析和設(shè)計(jì)的全工程,它的目標(biāo)是用最小代價(jià)盡快確定問(wèn)題是否能夠解決,以避免盲目投資帶來(lái)的巨大浪費(fèi)。而現(xiàn)存系統(tǒng)存在的問(wèn)題及薄弱環(huán)節(jié)有以下幾點(diǎn):(1)目前信用卡系統(tǒng)并非完整的核心系統(tǒng),由尚未集中的重要數(shù)據(jù)需要集中整理,前臺(tái)交易系統(tǒng)數(shù)據(jù)繁多,操作量太大,系統(tǒng)的實(shí)時(shí)性較差。(2)銀行卡的發(fā)卡結(jié)構(gòu)不合理,信用卡滲透率低。(3)授權(quán)中心業(yè)務(wù)過(guò)于繁忙的問(wèn)題。而新建成的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)能滿足根據(jù)業(yè)務(wù)需求抽取倉(cāng)庫(kù)中的相關(guān)數(shù)據(jù),制成卡量-時(shí)間分析統(tǒng)計(jì)表、卡量-地區(qū)分析統(tǒng)計(jì)表、客戶量-時(shí)間分析統(tǒng)計(jì)表、客戶量-地區(qū)分析統(tǒng)計(jì)表。從技術(shù)上有系統(tǒng)主要采用cognos報(bào)表開(kāi)發(fā)工具結(jié)合oracle數(shù)據(jù)庫(kù)來(lái)完成,從經(jīng)濟(jì)上有提高銀行的業(yè)務(wù)率,提高查詢效率,減少分析人員的工作時(shí)間。從操作可行上有系統(tǒng)采用的cognos報(bào)表展現(xiàn)工具,該報(bào)表工具采用excel格式是大家熟悉報(bào)表樣式。從社會(huì)因素上有各大銀行都在建立自己的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng),這是未來(lái)發(fā)展的趨勢(shì),也是銀行未來(lái)有利競(jìng)爭(zhēng)的關(guān)鍵因素。綜合以上的幾個(gè)方面,系統(tǒng)具有很高的開(kāi)發(fā)可行性。2.2需求分析需求分析是為了項(xiàng)目能順利的開(kāi)發(fā),減少大量開(kāi)發(fā)成本,減小開(kāi)發(fā)風(fēng)險(xiǎn)。而且有利于進(jìn)一步定制軟件開(kāi)發(fā)的細(xì)節(jié)問(wèn)題,便于用戶與開(kāi)發(fā)商協(xié)調(diào)工作。2.2.1以下表格是客戶提出的報(bào)表業(yè)務(wù)需求,均需滿足:發(fā)卡量滿足的要求:以時(shí)間、地區(qū)為緯度,得到各項(xiàng)指標(biāo)。指標(biāo) 業(yè)務(wù)定義總發(fā)卡量 所有卡片量,卡表里所有記錄不作任何剔除有效卡 同時(shí)滿足以下條件:1、卡片狀態(tài)為不1,2的;2、卡片在有效期內(nèi)的;3、剔除開(kāi)卡半年外未激活卡;4、對(duì)應(yīng)賬戶的鎖定碼狀態(tài)非(R,L,S,D,T類)注意本指標(biāo)為時(shí)點(diǎn)值。當(dāng)月新增發(fā)卡量 激活日期在當(dāng)月的卡片(按2009-08月份為當(dāng)月)新客戶發(fā)卡 該客戶在統(tǒng)計(jì)周期(即2009-08月之前)之前從未持有過(guò)卡(即持有有效卡的),在統(tǒng)計(jì)周期內(nèi)有符合上述定義的客戶新增發(fā)卡量老客戶發(fā)卡 在統(tǒng)計(jì)周期之前已持有卡,在統(tǒng)計(jì)周期內(nèi)(即2009-08月內(nèi))有符合上述定義的客戶新增發(fā)卡量一年以上回流客戶發(fā)卡 客戶曾持有卡,統(tǒng)計(jì)周期前12月前(即2008-08-01)已注銷名下所有卡片,統(tǒng)計(jì)周期內(nèi)有新增發(fā)卡一年以內(nèi)回流客戶發(fā)卡 客戶曾持有卡,統(tǒng)計(jì)周期前12月內(nèi)(即2008-09-01后)已注銷名下所有卡片,統(tǒng)計(jì)周期內(nèi)有新增發(fā)卡當(dāng)月發(fā)卡當(dāng)月注銷 統(tǒng)計(jì)當(dāng)月發(fā)卡當(dāng)月注銷新增過(guò)期失效卡 在統(tǒng)計(jì)周期內(nèi)失效的卡片當(dāng)年發(fā)卡當(dāng)年注銷 統(tǒng)計(jì)年初至統(tǒng)計(jì)日期新增發(fā)卡量,在同期間注銷的卡量客戶量報(bào)表滿足的要求:以時(shí)間、地區(qū)、性別三個(gè)緯度,滿足各項(xiàng)指標(biāo)。指標(biāo) 業(yè)務(wù)定義總客戶量 所有的唯一客戶記錄數(shù)有效客戶量 統(tǒng)計(jì)時(shí)點(diǎn)客戶至少有一個(gè)有效卡的當(dāng)月新增客戶量 該客戶在統(tǒng)計(jì)周期之前從未持有過(guò)卡的客戶,在統(tǒng)計(jì)周期之內(nèi)擁有至少一張有效卡的當(dāng)月注銷客戶量 該客戶名下最后一個(gè)卡在當(dāng)期內(nèi)注銷的客戶量人均持卡 有效卡/有效客戶量人均余額 有效卡的總余額/有效客戶量累計(jì)注銷客戶 所有卡中,在統(tǒng)計(jì)時(shí)點(diǎn)已為注銷的客戶過(guò)期客戶 統(tǒng)計(jì)時(shí)點(diǎn)客戶名下所有卡片已過(guò)有效期,必須為非注銷客戶其它客戶 總客戶量-有效客戶-累計(jì)注銷客戶-過(guò)期客戶(3)賬戶報(bào)表滿足的要求:以時(shí)間、地區(qū)作為緯度,滿足各項(xiàng)指標(biāo)。指標(biāo) 業(yè)務(wù)定義總賬戶數(shù) 所有的賬戶數(shù)量有效賬戶數(shù) 所有賬戶中,銷戶日期不為3000-12-31的,且賬戶狀態(tài)不為C當(dāng)月新增賬戶數(shù) 在統(tǒng)計(jì)周期內(nèi)新增的有效賬戶當(dāng)月注銷賬戶數(shù) 在統(tǒng)計(jì)周期內(nèi)銷戶的賬戶戶均余額 有效賬戶余額匯總/有效賬戶數(shù)總逾期余額 逾期狀態(tài)不為0的有效賬戶余額匯總2.2.2數(shù)據(jù)描述靜態(tài)數(shù)據(jù):源表數(shù)據(jù)2.2.3碼表中各字段的取值范圍分析源表中給出的三張表格客戶信息匯總表(CCM_CUST_AGG_INFO),賬戶信息匯總表(CCM_ACCT_AGG_INFO),卡信息匯總表(CCM_CARD_AGG_INFO)中,在以后的詳細(xì)設(shè)計(jì)中都會(huì)建立碼表,所以必須在需求分析階段確立各個(gè)代碼表選取字段的取值范圍,以便確立字段的取值類型及字段長(zhǎng)度。字段 取值范圍性別代碼 MF證件類型代碼 010409學(xué)歷代碼 0102030405國(guó)家代碼 CHM婚姻狀況代碼 0102住房類型代碼 010203040506職務(wù)代碼 0001020304職稱代碼 03行業(yè)代碼 002595單位性質(zhì)代碼 0機(jī)構(gòu)代碼 營(yíng)銷渠道代碼 010209授信額度 取現(xiàn)額度 可用額度 公私客戶標(biāo)識(shí)代碼 1員工標(biāo)志 01客戶逾期狀態(tài) 12456表2-2-3碼表中的相關(guān)字段的取值分析ORG代碼 101102013發(fā)卡機(jī)構(gòu)代碼 發(fā)卡類別代碼 001002009營(yíng)銷渠道代碼 01020509賬戶余額 上期余額 活動(dòng)狀態(tài)代碼 000100賬戶狀態(tài)代碼 DAIZ逾期狀態(tài)代碼 04569封鎖碼狀態(tài)代碼 CZU信用額度 發(fā)卡機(jī)構(gòu)代碼 營(yíng)銷渠道代碼 000S020X010309BIN編號(hào) 356839406252622658543159LOGO代碼 303003016013012103203226233202卡面類型代碼 00010203047706卡片狀態(tài)代碼 0封鎖碼狀態(tài)代碼 0USYL人民幣本周期總授權(quán)限額 美元本周期總授權(quán)限額 卡等級(jí)標(biāo)識(shí) 01022.2.4樣本數(shù)據(jù)取值分析表2-2-4樣本數(shù)據(jù)取值分析選取字段 取值類型及字段長(zhǎng)度 取值結(jié)構(gòu) 是否有不符合的數(shù)據(jù)卡號(hào) VARCHAR2(50) 19位數(shù)值 無(wú)客戶號(hào) VARCHAR2(50) 19位數(shù)值 無(wú)賬戶號(hào) VARCHAR2(50) 19位數(shù)值,前3位是0 無(wú)卡的到期日 DATE(7) 日期大于2009-08-31 無(wú)卡的開(kāi)卡日期 DATE(7) 小于銷卡日期且2009-08-31 無(wú)卡的激活日期 DATE(7) 在開(kāi)卡日期和銷卡日期之間 無(wú)卡的銷卡日期 DATE(7) 大于開(kāi)卡日期 無(wú)賬戶狀態(tài)代碼 VARCHAR2(3) 取值范圍是D、A、I、Z 無(wú)賬戶余額 NUMBER(22) 數(shù)值可以大于、小于、等于0 無(wú)逾期狀態(tài)代碼 VARCHAR(1) 取值范圍是0-9 無(wú)賬戶的開(kāi)戶日期 DATE(7) 開(kāi)戶日期小于銷戶日期 無(wú)賬戶的銷戶日期 DATE(7) 銷戶日期大于開(kāi)戶日期 無(wú)2.2.5入倉(cāng)字段選取分析表2-2-5入倉(cāng)庫(kù)的字段選取分析需求項(xiàng)(分析指標(biāo)) 選取字段 選取原因總發(fā)卡量 卡號(hào) 統(tǒng)計(jì)所有卡號(hào)就可以滿足需求有效卡 卡號(hào)到期日 滿足卡片在有效期內(nèi)開(kāi)卡日期 剔除開(kāi)卡半年內(nèi)未激活的卡激活日期銷卡日期 篩選非注銷卡條件當(dāng)月新增發(fā)卡量 卡號(hào)激活日期 根據(jù)激活日期可以選出滿足條件的卡片新客戶發(fā)卡 卡號(hào)客戶號(hào)開(kāi)卡日期 選出客戶從未持有過(guò)卡激活日期 滿足卡是新增發(fā)卡老客戶發(fā)卡 卡號(hào)客戶號(hào)開(kāi)卡日期 選出曾持有過(guò)卡的客戶激活日期 滿足卡是新增發(fā)卡一年以上回流客戶發(fā)卡 卡號(hào)客戶號(hào)銷卡日期 選出在統(tǒng)計(jì)周期之前已注銷名下所有卡激活日期 統(tǒng)計(jì)周期內(nèi)有新增發(fā)卡一年以內(nèi)回流客戶發(fā)卡 卡號(hào)客戶號(hào)銷卡日期 選出在統(tǒng)計(jì)周期之前已注銷名下所有卡激活日期 統(tǒng)計(jì)周期內(nèi)有新增發(fā)卡當(dāng)月發(fā)卡當(dāng)月注銷 卡號(hào)開(kāi)卡日期 在當(dāng)月開(kāi)卡銷卡日期 在當(dāng)月注銷卡新增過(guò)期失效卡 卡號(hào)到期日 統(tǒng)計(jì)周期內(nèi)到期的銷卡日期 統(tǒng)計(jì)周期內(nèi)銷卡的當(dāng)年發(fā)卡當(dāng)年注銷 卡號(hào)開(kāi)卡日期 統(tǒng)計(jì)周期開(kāi)卡銷卡日期 統(tǒng)計(jì)周期銷卡總客戶量 客戶號(hào) 有效客戶量 客戶號(hào)卡號(hào) 統(tǒng)計(jì)周期客戶持有至少一張有效卡到期日開(kāi)卡日期銷卡日期激活日期 當(dāng)月新增客戶量 客戶號(hào)卡號(hào)開(kāi)卡日期 統(tǒng)計(jì)周期前是否持有卡啊到期日 統(tǒng)計(jì)周期后至少擁有一張卡銷卡日期激活日期 當(dāng)月注銷客戶量 客戶號(hào)卡號(hào)銷卡日期 銷卡日期在當(dāng)月則此客戶為注銷客戶人均持卡 客戶號(hào) 有效卡/有效客戶量卡號(hào)到期日開(kāi)卡日期銷卡日期激活日期 人均余額 客戶號(hào)賬號(hào) 有效卡對(duì)應(yīng)的賬號(hào)賬戶余額卡號(hào) 有效卡到期日開(kāi)卡日期銷卡日期激活日期 累計(jì)注銷客戶 客戶號(hào)卡號(hào) 客戶名下所有卡片銷卡日期 卡片是否為注銷卡過(guò)期客戶 客戶號(hào)卡號(hào)銷卡日期 此客戶必須為非銷卡客戶到期日 此客戶到期日在統(tǒng)計(jì)時(shí)點(diǎn)前其他客戶 客戶號(hào) 總客戶量-有效客戶-累計(jì)注銷客戶-過(guò)期客戶卡號(hào)到期日開(kāi)卡日期銷卡日期激活日期 總賬戶數(shù) 賬號(hào) 有效賬戶數(shù) 賬號(hào)銷戶日期 銷戶日期為3000-12-31賬戶狀態(tài)代碼 賬戶狀態(tài)不為C當(dāng)月新增賬戶數(shù) 賬號(hào)開(kāi)戶日期 開(kāi)戶日期在統(tǒng)計(jì)周期內(nèi)此賬戶為新增賬戶當(dāng)月注銷賬戶數(shù) 賬號(hào)銷戶日期 銷戶日期在統(tǒng)計(jì)周期內(nèi)此賬戶為注銷賬戶戶均余額 賬號(hào)銷戶日期 有效賬戶賬戶狀態(tài)代碼賬戶余額 總逾期余額 賬號(hào)銷戶日期 有效賬戶賬戶狀態(tài)代碼賬戶余額逾期狀態(tài)代碼 逾期狀態(tài)代碼不為02.2.6報(bào)表需求滿足度分析表2-2-6報(bào)表需求滿足度分析報(bào)表展示結(jié)果 分析過(guò)程 滿足程度 總發(fā)卡量 根據(jù)憑證表按照日期,地區(qū)分組 能 有效發(fā)卡量 根據(jù)憑證有效歷史表按照日期,地區(qū)分組 能 當(dāng)月新增發(fā)卡量 根據(jù)憑證表選出激活日期為周期內(nèi)史表,按照激活日期,地區(qū)分組 能 新客戶發(fā)卡情況 根據(jù)憑證表選出激活日期在當(dāng)月的用戶,并且統(tǒng)計(jì)時(shí)間前開(kāi)卡記錄為空 能 老客戶發(fā)卡情況 根據(jù)憑證表選出激活日期在當(dāng)月的用戶,并且統(tǒng)計(jì)時(shí)間前開(kāi)卡記錄不為空 能 一年以上回流客戶發(fā)卡情況 根據(jù)憑證表選出激活日期在當(dāng)月的用戶,并且在當(dāng)事人狀態(tài)歷史中銷戶狀態(tài)的最大結(jié)束日期小于統(tǒng)計(jì)日期?1年 能 一年以內(nèi)回流客戶發(fā)卡情況 根據(jù)憑證表選出激活日期在當(dāng)月的用戶,并且在當(dāng)事人狀態(tài)歷史中銷戶狀態(tài)的最大結(jié)束日期在統(tǒng)計(jì)日期?1年與統(tǒng)計(jì)日期之間 能 當(dāng)月發(fā)卡當(dāng)月注銷 根據(jù)憑證選擇發(fā)卡日期,銷卡日期在統(tǒng)計(jì)周期內(nèi)的卡號(hào) 能 新增過(guò)期失效卡 根據(jù)憑證選擇到期日在統(tǒng)計(jì)周期內(nèi)的卡號(hào) 能 總客戶量 根據(jù)當(dāng)事人表按照日期,地區(qū)分組 能 有效客戶量 在有效卡歷史表中選出固定日期有效的卡號(hào),通過(guò)關(guān)聯(lián)當(dāng)事人憑證關(guān)系歷史選出關(guān)聯(lián)的客戶號(hào),再進(jìn)行去重操作。 能 當(dāng)月新增客戶量 通過(guò)憑證狀態(tài)歷史關(guān)聯(lián)當(dāng)事人選擇出客戶號(hào)但是此客戶號(hào)不存在根據(jù)憑證表關(guān)聯(lián)當(dāng)事人憑證關(guān)系歷史選擇出在統(tǒng)計(jì)日期前開(kāi)卡篩選的客戶號(hào)里面。 能 當(dāng)月注銷客戶量 當(dāng)事人憑證關(guān)系歷史選出在統(tǒng)計(jì)周期內(nèi)狀態(tài)全為解除狀態(tài)的客戶號(hào)。 能 人均持卡 有效卡的數(shù)量/有效客戶量能 人均余額 根據(jù)有效卡卡號(hào)關(guān)聯(lián)協(xié)議憑證關(guān)系歷史選出其賬戶所對(duì)應(yīng)的余額進(jìn)行求和運(yùn)算/有效客戶數(shù)量 能 過(guò)期客戶 可以根據(jù)總客戶量-注銷客戶量?客戶名下所有卡片都為失效狀態(tài)的卡片量 能 其他客戶 總客戶量-有效客戶-累計(jì)注銷客戶-過(guò)期客戶能 總賬戶 根據(jù)協(xié)議表選著賬號(hào)字段,進(jìn)行count操作就可 能 有效賬戶 協(xié)議狀態(tài)歷史選擇統(tǒng)計(jì)周期狀態(tài)是有效的賬號(hào),進(jìn)行count的操作 能 當(dāng)月新增賬戶數(shù) 協(xié)議表中開(kāi)戶日期在統(tǒng)計(jì)周期內(nèi) 能 當(dāng)月注銷賬戶數(shù) 協(xié)議表中銷戶日期在統(tǒng)計(jì)周期內(nèi) 能 戶均余額 通過(guò)協(xié)議狀態(tài)歷史選擇出有效的賬號(hào)關(guān)聯(lián)賬戶余額歷史求出對(duì)應(yīng)的余額在進(jìn)行求和操作/有效賬戶數(shù) 能 總逾期余額 通過(guò)協(xié)議狀態(tài)歷史選擇出狀態(tài)為有效并且與逾期狀態(tài)不為0的對(duì)應(yīng)賬號(hào)關(guān)聯(lián)賬戶余額歷史求出對(duì)應(yīng)的余額在進(jìn)行求和操作. 能 2.3本章小結(jié)本章分析了本系統(tǒng)的可行性,分別從技術(shù)可行性、操作可行性、經(jīng)濟(jì)可行性、社會(huì)可行性等各方面都進(jìn)行了分析;另外對(duì)源系統(tǒng)給的報(bào)表進(jìn)行了樣本數(shù)據(jù)取值的分析和入倉(cāng)字段選取的確立和分析。這些需求的分析將影響到以后在報(bào)表中用戶查詢到的數(shù)據(jù)指標(biāo)的準(zhǔn)確性。因此這部分內(nèi)容還得在以后的開(kāi)發(fā)過(guò)程中不斷與業(yè)務(wù)人員溝通并完善。項(xiàng)目概述3.1項(xiàng)目背景XXX銀行是我們公司的客戶,是國(guó)內(nèi)知名的股份制商業(yè)銀行。在信用卡業(yè)務(wù)營(yíng)銷方面的水平處于國(guó)內(nèi)商行的前列。前兩天,XXX銀行信用卡中心市場(chǎng)部的徐經(jīng)理打來(lái)電話,希望我們幫忙建設(shè)卡中心的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng),以便了解信用卡的開(kāi)卡情況和使用情況,為下一年的營(yíng)銷目標(biāo)提供決策支持。3.2項(xiàng)目總體描述本課題基于數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市的基本理論,結(jié)合企業(yè)已有信息系統(tǒng)的現(xiàn)狀和信息總體規(guī)劃,以實(shí)際開(kāi)發(fā)過(guò)程和開(kāi)發(fā)成果為基礎(chǔ),主要從總體技術(shù)方案和數(shù)據(jù)庫(kù)設(shè)計(jì)兩個(gè)方面來(lái)描述描述XXX銀行信用卡數(shù)據(jù)分析集市的設(shè)計(jì)和實(shí)現(xiàn)。(1).設(shè)計(jì)和實(shí)現(xiàn)信用卡數(shù)據(jù)分析系統(tǒng)的總體架構(gòu)。研究了成熟的基于數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的數(shù)據(jù)分析平臺(tái)架構(gòu)特點(diǎn),結(jié)合企業(yè)現(xiàn)有信息系統(tǒng)架構(gòu)和實(shí)際業(yè)務(wù)需求,設(shè)計(jì)了基于數(shù)據(jù)倉(cāng)庫(kù)的生產(chǎn)環(huán)境,應(yīng)用于報(bào)表類數(shù)據(jù)分析。(2).設(shè)計(jì)和實(shí)現(xiàn)信用卡數(shù)據(jù)分析集市的數(shù)據(jù)架構(gòu)。本系統(tǒng)把數(shù)據(jù)從源到應(yīng)用的數(shù)據(jù)流向,分為臨時(shí)層、基礎(chǔ)數(shù)據(jù)層、數(shù)據(jù)匯總層、報(bào)表集市層四大層次,臨時(shí)層用于存放緩沖數(shù)據(jù)基本與源數(shù)據(jù)保持一致?；A(chǔ)數(shù)據(jù)層用于企業(yè)數(shù)據(jù)倉(cāng)庫(kù),存儲(chǔ)細(xì)節(jié)和歷史數(shù)據(jù),整合了來(lái)自各個(gè)源系統(tǒng)的數(shù)據(jù)。數(shù)據(jù)匯總層用于支持?jǐn)?shù)據(jù)挖掘和支持?jǐn)?shù)據(jù)集市。數(shù)據(jù)集市層則直接面向多維分析和靈活報(bào)表。四個(gè)層次主要使用規(guī)范化結(jié)構(gòu)特點(diǎn),逐級(jí)匯總。各層次內(nèi)部合理設(shè)計(jì)主題域和實(shí)體,形成不同的數(shù)據(jù)粒度,滿足不同的數(shù)據(jù)需求。3.3項(xiàng)目?jī)?nèi)容描述本課題所要建設(shè)的信用卡數(shù)據(jù)分析系統(tǒng),它需要建設(shè)主要內(nèi)容包括以下幾個(gè)方面:(1). 數(shù)據(jù)模型建設(shè)通過(guò)本項(xiàng)目的實(shí)施,完成數(shù)據(jù)倉(cāng)庫(kù)的基礎(chǔ)層模型建設(shè)。本項(xiàng)目至少完成了當(dāng)事人、協(xié)議和事件三個(gè)主題。數(shù)據(jù)模型包括邏輯模型和物理模型。邏輯模型使用ERWIN工具,物理模型的工具也是使用ERWIN(可以使用excel工具)。(2). 物理數(shù)據(jù)庫(kù)設(shè)計(jì)根據(jù)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)架構(gòu)中不同的區(qū)域,設(shè)計(jì)了不同的scheme對(duì)數(shù)據(jù)進(jìn)行存放,對(duì)scheme進(jìn)行過(guò)相應(yīng)的文檔說(shuō)明。(3). ETL腳本開(kāi)發(fā)1)針對(duì)倉(cāng)庫(kù)臨時(shí)層的樣本數(shù)據(jù),開(kāi)發(fā)加載腳本將樣本數(shù)據(jù)加載到Oracle數(shù)據(jù)庫(kù)中。并使用了Oracle的加載工具進(jìn)行加載。2)針對(duì)倉(cāng)庫(kù)的基礎(chǔ)層數(shù)據(jù)模型,開(kāi)發(fā)轉(zhuǎn)換腳本將數(shù)據(jù)轉(zhuǎn)換到基礎(chǔ)層模型中。針對(duì)不同的模型表,選擇了相對(duì)應(yīng)的ETL算法。腳本具體的技術(shù)形式使用Perl腳本嵌入SQL語(yǔ)句的形式。3)針對(duì)報(bào)表展現(xiàn)部分,根據(jù)報(bào)表的加工邏輯開(kāi)發(fā)ETL腳本對(duì)數(shù)據(jù)進(jìn)行加工,供報(bào)表展現(xiàn)使用。(4). ETL調(diào)度設(shè)計(jì)因?yàn)楸卷?xiàng)目中沒(méi)有采用現(xiàn)成的ETL調(diào)度工具,所以對(duì)本項(xiàng)目中ETL調(diào)度系統(tǒng)進(jìn)行了設(shè)計(jì)。具體包括:1)ETL任務(wù)定義,包括命名規(guī)范及每個(gè)具體任務(wù)的命名;2)依賴關(guān)系定義:針對(duì)不同的ETL任務(wù),確認(rèn)其執(zhí)行的前置依賴任務(wù)。3)自動(dòng)化批處理程序的開(kāi)發(fā)(5). 報(bào)表開(kāi)發(fā)按照業(yè)務(wù)需求,利用報(bào)表工具(Cognos)開(kāi)發(fā)出相關(guān)的報(bào)表來(lái)展示。3.4本章小結(jié)本章介紹了項(xiàng)目建設(shè)的背景,信用卡數(shù)據(jù)分析系統(tǒng)的總體技術(shù)方案和數(shù)據(jù)庫(kù)的設(shè)計(jì),并詳細(xì)介紹了項(xiàng)目的內(nèi)容和需要完成哪些工作,為下面的設(shè)計(jì)提供了素材。項(xiàng)目概述主要的作用是清晰的定義了接下來(lái)項(xiàng)目的進(jìn)行需要哪些工作,為后面的項(xiàng)目的規(guī)劃作準(zhǔn)備。信用卡中心數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目總體設(shè)計(jì)4.1項(xiàng)目總體設(shè)計(jì)思路XXX銀行信用卡數(shù)據(jù)倉(cāng)庫(kù)建設(shè)采用“總體規(guī)劃,分步實(shí)施,急用先行”的總體建設(shè)思路。在建設(shè)實(shí)施層面,采用分步實(shí)施的原則,同時(shí)要求提高項(xiàng)目的可控性,減輕項(xiàng)目風(fēng)險(xiǎn)。在應(yīng)用建設(shè)方面,對(duì)于信用卡業(yè)務(wù)部門管理報(bào)表需求,以及董事長(zhǎng)、行長(zhǎng)等公司決策層的管理要求,要優(yōu)先實(shí)現(xiàn);并且將來(lái)數(shù)據(jù)中心里數(shù)據(jù)量的積累,要求為管理層和運(yùn)營(yíng)層的各種數(shù)據(jù)需求提供數(shù)據(jù)分析和報(bào)表展現(xiàn)服務(wù)。4.2項(xiàng)目整體流程規(guī)劃(1)項(xiàng)目整體規(guī)劃流程圖如下: (2)項(xiàng)目實(shí)施過(guò)程中需要完成的任務(wù)有:需求分析分析樣本數(shù)據(jù),根據(jù)每個(gè)業(yè)務(wù)需求指標(biāo)確定口徑。同時(shí)編寫(xiě)好需求規(guī)格說(shuō)明書(shū)文檔ODS層將樣本數(shù)據(jù)導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)的ODS層建模邏輯模型建設(shè)、物理模型建設(shè)同時(shí)編寫(xiě)好詳細(xì)設(shè)計(jì)文檔基礎(chǔ)層根據(jù)建好的物理模型,用ETL將數(shù)據(jù)從ODS層導(dǎo)入基礎(chǔ)層匯總層根據(jù)業(yè)務(wù)分析需求將基礎(chǔ)層數(shù)據(jù)用ETL導(dǎo)入?yún)R總層Cognos展示將數(shù)據(jù)結(jié)構(gòu)導(dǎo)入framework繼續(xù)進(jìn)行加工分析,并打包和發(fā)布,最后在ReportStudio中進(jìn)行展示4.3項(xiàng)目總體設(shè)計(jì)原則可擴(kuò)充性原則:所選用的系統(tǒng)軟硬件平臺(tái)具有良好的可擴(kuò)充能力,支持系統(tǒng)規(guī)模的擴(kuò)大和業(yè)務(wù)范圍的擴(kuò)展,能夠滿足今后業(yè)務(wù)發(fā)展的需要,在不更改系統(tǒng)整體架構(gòu)的前提下,方便的支持系統(tǒng)擴(kuò)充。開(kāi)放性原則:系統(tǒng)應(yīng)遵循開(kāi)放標(biāo)準(zhǔn),適應(yīng)將來(lái)業(yè)務(wù)和技術(shù)發(fā)展的需求,系統(tǒng)建設(shè)具有較強(qiáng)的獨(dú)立性和高度的可擴(kuò)展性。除提供標(biāo)準(zhǔn)的開(kāi)放式技術(shù)接口外,還能夠完成與現(xiàn)有相關(guān)系統(tǒng)的完全對(duì)接。先進(jìn)性原則:系統(tǒng)技術(shù)架構(gòu)與技術(shù)實(shí)現(xiàn)手段在金融行業(yè)內(nèi)具有一定的領(lǐng)先性。前瞻性原則:系統(tǒng)總體架構(gòu)和軟件體系結(jié)構(gòu)具有前瞻性,充分考慮未來(lái)業(yè)務(wù)發(fā)展和管理的變化,方便對(duì)新業(yè)務(wù)和新需求的擴(kuò)展和支持。高效性原則:系統(tǒng)具備對(duì)大規(guī)模數(shù)據(jù)量、大規(guī)模數(shù)量用戶的處理能力,并在大數(shù)據(jù)量以及大規(guī)模數(shù)量用戶的情況下仍能高效地運(yùn)行。穩(wěn)定性原則:系統(tǒng)能滿足業(yè)務(wù)高峰處理的需要,適應(yīng)各種特殊情況給系統(tǒng)帶來(lái)的壓力。安全性原則:系統(tǒng)建立在成熟穩(wěn)定的硬件環(huán)境和應(yīng)用軟件基礎(chǔ)上,通過(guò)完善的備份恢復(fù)策略、安全控制機(jī)制、運(yùn)行管理監(jiān)控和故障處理手段來(lái)保障系統(tǒng)的安全、穩(wěn)定。可維護(hù)性原則:系統(tǒng)提供對(duì)運(yùn)行情況的完善的監(jiān)測(cè)和控制功能,方便系統(tǒng)的維護(hù),在系統(tǒng)處理異常時(shí)能夠根據(jù)日志,快捷方便的定位出錯(cuò)誤位置、原因,并可主動(dòng)告警。4.4本章小結(jié)本章主要講述了項(xiàng)目的總體設(shè)計(jì)思路及整體的流程規(guī)劃,從項(xiàng)目的確定到項(xiàng)目的完成里,總體設(shè)計(jì)雖然不是最重要的,但也是不可缺少的,在總體設(shè)計(jì)中,不必追求項(xiàng)目的具體實(shí)施細(xì)節(jié),不必糾結(jié)于一些編碼的生成,這些工作可以在后面的詳細(xì)設(shè)計(jì)中來(lái)做,在整體的角度來(lái)評(píng)估、衡量項(xiàng)目的整體流程和一些需要遵循的原則。信用卡中心數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目詳細(xì)設(shè)計(jì)5.1項(xiàng)目的概念模型設(shè)計(jì) 概念模型是現(xiàn)實(shí)業(yè)務(wù)的直接的、直觀的反映,概念模型不需要經(jīng)過(guò)太多的邏輯處理就能實(shí)現(xiàn),將現(xiàn)實(shí)中的業(yè)務(wù)邏輯和業(yè)務(wù)之間的聯(lián)系用E-R圖能直觀的表示出來(lái),本項(xiàng)目的概念模型如下圖:圖5-1-1項(xiàng)目的概念模型5.2項(xiàng)目的邏輯模型設(shè)計(jì)5.2.1邏輯模型的主題分析和確定1.當(dāng)事人(PARTY)是指銀行作為一個(gè)金融機(jī)構(gòu)所服務(wù)的任意對(duì)象和感興趣進(jìn)行分析的各種個(gè)人客戶或團(tuán)體客戶等。該項(xiàng)目中有客戶量分析,都是個(gè)人客戶,沒(méi)有團(tuán)體客戶,所以確定個(gè)人客戶為當(dāng)事人主題。2.協(xié)議(AGREEMENT)是金融機(jī)構(gòu)與客戶之間針對(duì)某種特定產(chǎn)品或服務(wù)而簽立的契約關(guān)系。該項(xiàng)目中當(dāng)事人客戶和產(chǎn)品卡之間是用過(guò)賬戶建立關(guān)系的,所以確定賬戶為協(xié)議主題。3.事件(EVENT)是銀行與客戶或潛在客戶之間的聯(lián)系或交易活動(dòng),它記錄了詳細(xì)的行為和交易數(shù)據(jù),包括存取款,查詢,網(wǎng)上交易等。該項(xiàng)目中有客戶的各種交易記錄,所以確定交易事件為事件主題。對(duì)每個(gè)主題進(jìn)行的分割,是為了更加明確和清晰每個(gè)主題的結(jié)構(gòu),便于對(duì)業(yè)務(wù)需求的闡釋更加合理和規(guī)范,使建立的邏輯模型更加符合實(shí)際的業(yè)務(wù)需求。5.2.2各個(gè)主題的劃分和分析1.當(dāng)事人(PARTY)主題1)根據(jù)項(xiàng)目需求對(duì)客戶量的分析要求,我們需要獲取的數(shù)據(jù)有總客戶量,有效客戶量,當(dāng)月新增客戶量,當(dāng)月注銷客戶量,人均持卡,人均余額,累計(jì)注銷客戶,過(guò)期客戶,其他客戶。根據(jù)這些需求我們有以下分析:2)當(dāng)成為銀行的一個(gè)客戶時(shí),銀行會(huì)給每個(gè)客戶分配客戶號(hào)。銀行通過(guò)分析客戶號(hào)可以來(lái)統(tǒng)計(jì)該行客戶的數(shù)量。所以需要建立當(dāng)事人重要日期歷史表。3)銀行每次吸納一個(gè)客戶,基本信息都是要錄入并保存的。例如:姓名,性別,出生日期,證件代碼等,所以需要建立當(dāng)事人基本信息歷史表4)本次項(xiàng)目主要研究的是信用卡服務(wù),所以一個(gè)客戶的信用等級(jí)是至關(guān)重要的。根據(jù)客戶的收入情況,工作單位等信息來(lái)評(píng)估一個(gè)人的信用等級(jí),然而一個(gè)人的信用等級(jí)是可以變化的,不是一塵不變的,所以我們需要記錄每個(gè)客戶的限額歷史,需要建立當(dāng)事人限額歷史表。5)為了要判斷每個(gè)當(dāng)事人的狀態(tài),需要建立當(dāng)事人狀態(tài)歷史表。當(dāng)事人(PARTY)主題設(shè)計(jì)如下圖:圖5-2-2-1當(dāng)事人主題的邏輯模型2.協(xié)議(AGREEMENT)主題1)根據(jù)項(xiàng)目需求對(duì)賬戶的分析要求,我們需要獲取的數(shù)據(jù)有總賬戶數(shù),有效賬戶數(shù),當(dāng)月新增賬戶數(shù),當(dāng)月注銷賬戶數(shù),戶均余額,總逾期額。根據(jù)這些需求我們有以下分析:2)與客戶號(hào)一樣,每個(gè)賬戶號(hào)都有自己的基本信息歷史表,用來(lái)記錄賬戶的基本信息。所以需要建立協(xié)議基本歷史表。3)客戶需要開(kāi)立賬戶才能使用銀行里服務(wù),每個(gè)客戶可以開(kāi)多個(gè)賬戶,也可以注銷賬戶,而銀行需要記錄這些歷史,所以還需要建立協(xié)議重要日期歷史表。4)每個(gè)賬戶都有一個(gè)狀態(tài),根據(jù)它的狀態(tài)來(lái)分辨它是否是有效賬戶,所以我們需要建立一張協(xié)議狀態(tài)歷史表[9]。5)每個(gè)客戶有多個(gè)賬戶號(hào),而每個(gè)賬戶號(hào)的限額是在變化的,所以需要建立協(xié)議限額歷史表。6)信用卡不是產(chǎn)品,是一種憑證,它不能單獨(dú)作為一個(gè)主題,必須放在協(xié)議主題下,客戶通過(guò)持有卡然后才有信用卡,所以建立一個(gè)協(xié)議憑證之間的關(guān)系歷史表。7)為了使當(dāng)事人和協(xié)議之間建立關(guān)系,我們需要建立當(dāng)事人協(xié)議關(guān)系歷史表。根據(jù)憑證的特點(diǎn),建立憑證的基本信息歷史表,如下圖:圖5-2-2-2憑證的邏輯模型圖5-2-2-3協(xié)議主題的邏輯模型3.事件(EVENT)主題每個(gè)客戶每天都會(huì)進(jìn)行許多操作,每個(gè)操作都會(huì)產(chǎn)生數(shù)據(jù),比如一次查詢,一次轉(zhuǎn)賬,一次交易,銀行需要記錄這些操作,所以需要建立一張事件信息歷史表。該表中的字段有交易事件編號(hào),客戶號(hào),卡號(hào),賬號(hào),交易日期,交易代碼,原交易幣種,原交易金額[10]。事件(EVENT)主題設(shè)計(jì)如下圖:圖5-2-2-4事件主題的邏輯模型5.2.3主題與主題之間的關(guān)系分析每個(gè)客戶有一個(gè)客戶號(hào),一個(gè)客戶號(hào)下面有多個(gè)賬戶,一個(gè)賬戶號(hào)下面又有多張卡。一個(gè)客戶號(hào)可以對(duì)應(yīng)多個(gè)賬戶號(hào),一個(gè)賬戶號(hào)可以對(duì)應(yīng)多個(gè)卡號(hào)?？蛻糁荒芡ㄟ^(guò)賬戶管理卡號(hào),所以需要建立當(dāng)事人和協(xié)議之間的關(guān)系歷史,還有協(xié)議和憑證之間的關(guān)系歷史?；A(chǔ)層:(黃色為當(dāng)事人主題,綠色為協(xié)議主題,藍(lán)色為事件主題),如下圖圖5-2-3所有主題及主題關(guān)系的邏輯模型5.3項(xiàng)目的物理模型設(shè)計(jì)5.3.1當(dāng)事人(PARTY)主題根據(jù)邏輯模型關(guān)系分析得到物理模型如下圖:圖5-3-1當(dāng)事人主題物理模型5.3.2協(xié)議(AGREEMENT)主題 根據(jù)邏輯模型關(guān)系分析得到物理模型如下圖:圖5-3-2協(xié)議主題物理模型5.3.3事件(EVENT)主題根據(jù)邏輯模型關(guān)系分析得到物理模型圖如下圖:圖5-3-3事件主題物理模型5.3.4各主題之間的物理模型關(guān)系根據(jù)邏輯模型關(guān)系分析得到物理模型圖。基礎(chǔ)層:(黃色為當(dāng)事人主題,綠色為協(xié)議主題,藍(lán)色為事件主題),如下圖:圖5-3-4所主題及主題關(guān)系物理模型5.4項(xiàng)目的物理數(shù)據(jù)庫(kù)設(shè)計(jì)根據(jù)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)架構(gòu)中不同的區(qū)域,設(shè)計(jì)了四個(gè)scheme進(jìn)行對(duì)數(shù)據(jù)進(jìn)行存放,分別為:源系統(tǒng)數(shù)據(jù),臨時(shí)區(qū),基礎(chǔ)層,匯總層。并在數(shù)據(jù)庫(kù)中創(chuàng)建了四個(gè)用戶:源數(shù)據(jù)庫(kù),用戶名edw_ods;基礎(chǔ)層數(shù)據(jù)庫(kù),用戶名edw_basic;匯總層數(shù)據(jù)庫(kù),用戶名edw_summary。1.edw_summary分別存放每一scheme的表,edw_temp用戶管理臨時(shí)區(qū)中的表,臨時(shí)區(qū)中表基于ODS層進(jìn)行數(shù)據(jù)抽取,數(shù)據(jù)清洗等。2.edw_ods用戶是存放從從EXCEL中抽取的數(shù)據(jù),這一步首先經(jīng)過(guò)數(shù)據(jù)清理,然會(huì)經(jīng)過(guò)ETL抽取過(guò)程把源數(shù)據(jù)存放在已經(jīng)建立好的ODS層的表中。3.edw_basic用戶是數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)層的用戶,這一層首先要根據(jù)業(yè)務(wù)需求建立物理模型,然后轉(zhuǎn)化成物理模型,然后根據(jù)物理模型建立對(duì)應(yīng)的基礎(chǔ)層的表,然后用ETL過(guò)程把ODS層中的數(shù)據(jù)抽取到基礎(chǔ)層所建立的表中。4.edw_summary用戶是數(shù)據(jù)倉(cāng)庫(kù)匯總層,這一層是根據(jù)業(yè)務(wù)的需求把我們需要的一些數(shù)據(jù)先計(jì)算出來(lái),在這一層建立一些表,用于存放這些數(shù)據(jù),然后用ETL算法從基礎(chǔ)層抽取數(shù)據(jù),進(jìn)行輕度匯總。物理