DB15內(nèi)蒙古自治區(qū)市場(chǎng)監(jiān)督管理局發(fā)布 II 1 1 1 2 2 3 8 10I躍晨科技有限公司、北京東方金信科技有限公司、北京東方國(guó)信科技股份有限公司、天科技發(fā)展有限公司、同方知網(wǎng)（北京）技術(shù)有限公司、內(nèi)蒙古縱橫云技術(shù)有限公司。大數(shù)據(jù)平臺(tái)數(shù)據(jù)接入質(zhì)量規(guī)范本標(biāo)準(zhǔn)適用于內(nèi)蒙古自治區(qū)各數(shù)據(jù)提供單位接入大數(shù)據(jù)平臺(tái)過程中的數(shù)據(jù)質(zhì)量保障工GB/T5271.1信息技術(shù)詞匯第1部分：GB/T36344信息技術(shù)數(shù)據(jù)質(zhì)量評(píng)GB/T5271.1、GB/T36344和SY/T6227-2005界定的術(shù)語和定義適用于本文件。為了便于使用，以12數(shù)據(jù)標(biāo)準(zhǔn)體系質(zhì)量控制數(shù)據(jù)采集質(zhì)量控制數(shù)據(jù)存儲(chǔ)質(zhì)量控制數(shù)據(jù)使用質(zhì)量控制圖1整體流程圖6.1數(shù)據(jù)標(biāo)準(zhǔn)體系質(zhì)量控制數(shù)據(jù)標(biāo)準(zhǔn)更新至數(shù)據(jù)標(biāo)準(zhǔn)管理模塊中，數(shù)據(jù)標(biāo)準(zhǔn)制定流程3數(shù)據(jù)標(biāo)準(zhǔn)編制數(shù)據(jù)標(biāo)準(zhǔn)發(fā)布數(shù)據(jù)標(biāo)準(zhǔn)送審稿征求意見數(shù)據(jù)標(biāo)準(zhǔn)屬性收集整理數(shù)據(jù)標(biāo)準(zhǔn)變更數(shù)據(jù)標(biāo)準(zhǔn)初稿數(shù)據(jù)標(biāo)準(zhǔn)管理決策者數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)標(biāo)準(zhǔn)管理組織協(xié)調(diào)者版本發(fā)布數(shù)據(jù)標(biāo)準(zhǔn)編制數(shù)據(jù)標(biāo)準(zhǔn)發(fā)布數(shù)據(jù)標(biāo)準(zhǔn)送審稿征求意見數(shù)據(jù)標(biāo)準(zhǔn)屬性收集整理數(shù)據(jù)標(biāo)準(zhǔn)變更數(shù)據(jù)標(biāo)準(zhǔn)初稿數(shù)據(jù)標(biāo)準(zhǔn)管理決策者數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)標(biāo)準(zhǔn)管理組織協(xié)調(diào)者版本發(fā)布數(shù)據(jù)標(biāo)準(zhǔn)審查數(shù)據(jù)標(biāo)準(zhǔn)管理執(zhí)行者提供數(shù)據(jù)屬性信息圖2數(shù)據(jù)標(biāo)準(zhǔn)制定流程b)數(shù)據(jù)標(biāo)準(zhǔn)初稿進(jìn)行多次的討論和豐富后，數(shù)據(jù)標(biāo)準(zhǔn)管理決策者數(shù)據(jù)標(biāo)準(zhǔn)管理決策者果數(shù)據(jù)標(biāo)準(zhǔn)管理組織協(xié)調(diào)者準(zhǔn)管理組織協(xié)調(diào)者數(shù)據(jù)標(biāo)準(zhǔn)發(fā)布數(shù)據(jù)標(biāo)準(zhǔn)錄入控?cái)?shù)據(jù)標(biāo)準(zhǔn)管理執(zhí)行者制定數(shù)據(jù)標(biāo)準(zhǔn)接口數(shù)據(jù)質(zhì)量管理數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行結(jié)果圖3數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行流程4在變更需求審批表中簽在變更需求審批表中簽署意見版本發(fā)布版本發(fā)布數(shù)據(jù)標(biāo)準(zhǔn)變更審議數(shù)據(jù)標(biāo)準(zhǔn)變更項(xiàng)發(fā)起數(shù)據(jù)標(biāo)準(zhǔn)變更需求發(fā)起數(shù)據(jù)標(biāo)準(zhǔn)變更需求執(zhí)行者圖4數(shù)據(jù)標(biāo)準(zhǔn)維護(hù)流程b)由數(shù)據(jù)標(biāo)準(zhǔn)管理組織協(xié)調(diào)機(jī)構(gòu)進(jìn)行標(biāo)準(zhǔn)變更的審核；d)決策層將審批結(jié)果反饋給標(biāo)準(zhǔn)管理組織5c)支持對(duì)元數(shù)據(jù)的監(jiān)控，控制數(shù)據(jù)庫和表結(jié)構(gòu)的異常修改，數(shù)據(jù)源數(shù)據(jù)源接入源數(shù)據(jù)標(biāo)準(zhǔn)層源數(shù)據(jù)緩沖區(qū)初步質(zhì)量檢核定時(shí)采集結(jié)束開始結(jié)束全量采集增量采集圖5采集階段流程基于檢核規(guī)則對(duì)數(shù)據(jù)檢核流程圖見圖6：6檢核對(duì)象綁定開始數(shù)據(jù)源接入檢核方案創(chuàng)建檢核任務(wù)創(chuàng)建開始任務(wù)調(diào)度規(guī)則綁定任務(wù)調(diào)度結(jié)束數(shù)據(jù)質(zhì)量報(bào)告任務(wù)日志任務(wù)執(zhí)行結(jié)束圖6數(shù)據(jù)檢核2)確定待檢核的對(duì)象，即選取待檢核的數(shù)據(jù)庫、待檢核的表f)支持生成數(shù)據(jù)質(zhì)量報(bào)告并提供下載功能，基于質(zhì)量報(bào)告可實(shí)現(xiàn)異常數(shù)據(jù)發(fā)現(xiàn)a)支持對(duì)數(shù)據(jù)進(jìn)行監(jiān)控，明確數(shù)據(jù)的來b)支持?jǐn)?shù)據(jù)地圖、血緣分析、影響分析等方式的數(shù)據(jù)展現(xiàn)；7數(shù)據(jù)采集數(shù)據(jù)存數(shù)據(jù)采集數(shù)據(jù)存儲(chǔ)質(zhì)量報(bào)告整改分析數(shù)據(jù)告警質(zhì)量評(píng)分開始結(jié)束權(quán)限控制系統(tǒng)審計(jì)圖7數(shù)據(jù)全流程監(jiān)控流程圖b)使用階段支持?jǐn)?shù)據(jù)及功能的權(quán)限控制；R=(1I/D)*(100-W)………………D——需要進(jìn)行檢核的數(shù)據(jù)集，對(duì)于關(guān)系型數(shù)據(jù)庫來說，一個(gè)數(shù)據(jù)集由若干條記錄組成；W——規(guī)則對(duì)應(yīng)權(quán)重值，需人工設(shè)置每個(gè)規(guī)則的權(quán)重。W——規(guī)則對(duì)應(yīng)權(quán)重值，需人工設(shè)置每個(gè)規(guī)則的權(quán)重；D——需要進(jìn)行檢核的數(shù)據(jù)集，對(duì)于關(guān)系型數(shù)據(jù)庫來說，一個(gè)數(shù)據(jù)集由若干條記錄組成；n——條檢核任務(wù)中檢核規(guī)則的個(gè)數(shù)。8sa=(1-錯(cuò)誤數(shù)據(jù)總量/檢核數(shù)據(jù)總量)*wasb=(1-錯(cuò)誤數(shù)據(jù)表數(shù)量/檢核數(shù)據(jù)表數(shù)量)*wbsc=(1-錯(cuò)誤數(shù)據(jù)表數(shù)量/照管數(shù)據(jù)表數(shù)量)*wcP=(sa+sb+sc+sd)/4…………（3）sa——評(píng)分計(jì)算指標(biāo)之?dāng)?shù)據(jù)問題評(píng)分；wa——評(píng)分計(jì)算指標(biāo)----數(shù)據(jù)問題權(quán)重；sb——評(píng)分計(jì)算指標(biāo)之檢核指標(biāo)問題評(píng)分；wb——評(píng)分計(jì)算指標(biāo)----檢查指標(biāo)問題權(quán)重；sc——評(píng)分計(jì)算指標(biāo)之指標(biāo)問題評(píng)分；wc——評(píng)分計(jì)算指標(biāo)----指標(biāo)問題權(quán)重；sd——評(píng)分計(jì)算指標(biāo)之自定義評(píng)分。9能借鑒的價(jià)值會(huì)大大降低，完整性是數(shù)據(jù)質(zhì)量評(píng)估標(biāo)12A.2規(guī)范性1注2：和數(shù)據(jù)歸檔一樣甚至更重要，在一個(gè)完整的數(shù)據(jù)規(guī)A=滿足數(shù)據(jù)標(biāo)準(zhǔn)要求的數(shù)據(jù)集中B=被評(píng)價(jià)的數(shù)據(jù)集中元素個(gè)數(shù)2注1：數(shù)據(jù)模型是一種直觀描述組織數(shù)據(jù)結(jié)構(gòu)的手段，是A=滿足數(shù)據(jù)模型要求的數(shù)據(jù)集中B=被評(píng)價(jià)的數(shù)據(jù)集中元素個(gè)數(shù)3注1：元數(shù)據(jù)標(biāo)注、描述或刻畫其他數(shù)據(jù)、以使檢索或使A=滿足元數(shù)據(jù)定義的數(shù)據(jù)集中元B=被評(píng)價(jià)的數(shù)據(jù)集中元素個(gè)數(shù)4注1：業(yè)務(wù)規(guī)則是一種權(quán)威性原則或業(yè)務(wù)方針，用來描述注2：評(píng)價(jià)數(shù)據(jù)質(zhì)量時(shí)需要檢查是否存在良好歸檔的業(yè)務(wù)A=滿足業(yè)務(wù)規(guī)則的數(shù)據(jù)集中元素B=被評(píng)價(jià)的數(shù)據(jù)集中元素個(gè)數(shù)5據(jù)A=滿足參考數(shù)據(jù)規(guī)則的數(shù)據(jù)集中B=被評(píng)價(jià)的數(shù)據(jù)集中元素個(gè)數(shù)6A=滿足安全規(guī)范的數(shù)據(jù)集中元素B=被評(píng)價(jià)的數(shù)據(jù)集中元素個(gè)數(shù)據(jù)集合是否保持了統(tǒng)一的格式。數(shù)據(jù)質(zhì)量的一致性主要體現(xiàn)在數(shù)據(jù)1同一數(shù)據(jù)在不同位置存儲(chǔ)或被在不同位置的數(shù)據(jù)的同一數(shù)據(jù)B=被評(píng)價(jià)的數(shù)據(jù)集中元素個(gè)數(shù)；2根據(jù)一致性約束規(guī)則檢查關(guān)聯(lián)B=被評(píng)價(jià)的數(shù)據(jù)集中元素個(gè)數(shù)；1A=滿足數(shù)據(jù)正確性要求的數(shù)據(jù)集中元素的個(gè)B=被評(píng)價(jià)的數(shù)據(jù)集中元素個(gè)數(shù)；2B=被評(píng)價(jià)的數(shù)據(jù)集中元素個(gè)數(shù)；3A=重復(fù)數(shù)據(jù)集中元素的個(gè)數(shù)B=被評(píng)價(jià)的數(shù)據(jù)集中元素個(gè)數(shù)；4B=被評(píng)價(jià)的數(shù)據(jù)集中元素個(gè)數(shù)；5B=被評(píng)價(jià)的數(shù)據(jù)集中元素個(gè)數(shù)；數(shù)據(jù)唯一不重復(fù)。即唯一性是指度量哪些數(shù)據(jù)是重復(fù)數(shù)據(jù)或者數(shù)據(jù)的哪些屬性是重a)查找到的信息和主題不完全一致，但確是其