基于元數(shù)據(jù)智能治理的電力數(shù)據(jù)要素價值挖掘成果背景成果內(nèi)容成果價值典型應用案例目錄

CO

N

T

E

N

T01成果背景自十八大以來，從國家發(fā)展到某著名企業(yè)數(shù)字化轉型都對數(shù)據(jù)治理提出了明確要求，數(shù)據(jù)治理已經(jīng)成為釋放數(shù)據(jù)要素價值、占據(jù)國際數(shù)字競爭制高點的迫切需要。背景PROJECTBACKGROUND國家發(fā)展方向黨的十八大以來，以習近平同志為核心的黨中央高度重視數(shù)字化發(fā)展，明確提出建設數(shù)字中國。2022年6月22日，習近平總書記在主持召開中央全面深化改革委員會第二十六次會議時強調(diào)，促進數(shù)據(jù)高效流通使用、賦能實體經(jīng)濟，統(tǒng)籌推進數(shù)據(jù)產(chǎn)權、流通交易、收益分配、安全治理，加快構建數(shù)據(jù)基礎制度體系。會議還審議通過了《關于構建數(shù)據(jù)基礎制度更好發(fā)揮數(shù)據(jù)要素作用的意見》。數(shù)據(jù)要素國家治理體系是指統(tǒng)籌數(shù)據(jù)要素流通與應用的一系列相互關聯(lián)、相互協(xié)調(diào)的制度安排，體現(xiàn)在國家、行業(yè)、區(qū)域、企業(yè)、個人等不同層面，涉及科技、產(chǎn)業(yè)、社會等不同應用領域以及數(shù)據(jù)采集、存儲、加工、分析等不同管理階段。構建數(shù)據(jù)要素國家治理體系不僅是我國推進國家治理現(xiàn)代化的迫切需要，而且是我國釋放數(shù)據(jù)要素價值、占據(jù)國際數(shù)字競爭制高點的迫切需要。某著名企業(yè)發(fā)展方向某著名企業(yè)公司明確提出了建設“數(shù)字某著名企業(yè)”和數(shù)字化轉型的目標，進一步強調(diào)了強化數(shù)據(jù)資產(chǎn)管理，挖掘數(shù)據(jù)資產(chǎn)價值，落實國家大數(shù)據(jù)發(fā)展戰(zhàn)略的戰(zhàn)略舉措，這些都要求夯實數(shù)據(jù)治理基礎，通過加強元數(shù)據(jù)管理、數(shù)據(jù)標準管理、數(shù)據(jù)質(zhì)量管理等數(shù)據(jù)治理工作，為開展數(shù)據(jù)資產(chǎn)管理創(chuàng)造良好的戰(zhàn)略環(huán)境和制度基礎，也為促進數(shù)據(jù)價值釋放打好數(shù)據(jù)基礎。數(shù)據(jù)定義管理數(shù)據(jù)標準管理：內(nèi)外部不同來源的業(yè)務數(shù)據(jù)，其數(shù)據(jù)標準存在不一致的情況；其次是隨著業(yè)務變化而發(fā)生的數(shù)據(jù)標變化，無法及時更新對應的數(shù)據(jù)治理規(guī)則。元數(shù)據(jù)管理：電力企業(yè)主要針對結構化數(shù)據(jù)的技術元數(shù)據(jù)實現(xiàn)了自動采集，而通過管理手段完善管理元數(shù)據(jù)和業(yè)務元數(shù)據(jù)。此外在非結構化數(shù)據(jù)的元數(shù)據(jù)管控上處于起步階段。數(shù)據(jù)質(zhì)量治理數(shù)據(jù)質(zhì)量管理：數(shù)據(jù)質(zhì)量規(guī)則清單主要依賴于人工經(jīng)驗梳理和維護，目前情況下只能覆蓋核心業(yè)務和部分常規(guī)業(yè)務，對于新興業(yè)務和外部業(yè)務覆蓋率仍有待加強。質(zhì)量問題分析：在對數(shù)據(jù)問題進行分析時，無法完全擺脫對業(yè)務專家的依賴，在支持基層業(yè)務人員開展治理時，服務質(zhì)量有待提高。知識沉淀數(shù)據(jù)治理知識管理：元數(shù)據(jù)、數(shù)據(jù)標準、數(shù)據(jù)質(zhì)量規(guī)則、問題數(shù)據(jù)分析結果、整改指引、整改經(jīng)驗等方面的知識獨立積累，數(shù)據(jù)治理知識未能全面有效地形成體系。傳統(tǒng)數(shù)據(jù)治理過程傳統(tǒng)數(shù)據(jù)治理問題多源異構數(shù)據(jù)的數(shù)據(jù)定義與標準不統(tǒng)一，數(shù)據(jù)覆蓋不全數(shù)據(jù)治理過程缺乏自動化和智能化手段，效率較低數(shù)據(jù)標準和數(shù)據(jù)質(zhì)量規(guī)則的時效性無法保障治理專家知識未能有效利用，問題發(fā)現(xiàn)效率不高數(shù)據(jù)治理知識融合程度低，無法多維度的查詢和展示關聯(lián)信息PROBLEM

STATUS在大數(shù)據(jù)時代，傳統(tǒng)的數(shù)據(jù)治理手段已無法應付治理過程產(chǎn)生的問題，例如多源異構數(shù)據(jù)的獲取和定義、數(shù)據(jù)治理效率、標準和規(guī)則的時效性、治理知識的利用率、多維治理知識的融合等問題。增強型數(shù)據(jù)管理利用ML（機器學習）和AI（人工智能）技術優(yōu)化并改進運營。它還促進了元數(shù)據(jù)角色的轉變，從協(xié)助數(shù)據(jù)審計、沿襲和匯報轉為支持動態(tài)系統(tǒng)。增強型數(shù)據(jù)管理產(chǎn)品能夠審查大量的運營數(shù)據(jù)樣本，包括實際查詢、性能數(shù)據(jù)和方案。利用現(xiàn)有的使用情況和工作負載數(shù)據(jù)，增強型引擎能夠對運營進行調(diào)整，并優(yōu)化配置、安全性和性能。DEVELOPMENTTREND在面臨上述問題時，如果還是依靠傳統(tǒng)”人海戰(zhàn)術“的數(shù)據(jù)治理模式，將無法適應業(yè)務數(shù)字化轉型的要求。因此，云南某著名企業(yè)在實踐中嘗試通過自動化和智能化的數(shù)據(jù)治理手段實現(xiàn)基于元數(shù)據(jù)的智能治理，深挖電力數(shù)據(jù)要素價值，“以智促質(zhì)、以質(zhì)增值”。在Gartner

2020年發(fā)布的“數(shù)據(jù)與分析領域的十大技術趨勢”中給出了這樣的預測智能化技術的發(fā)展驅使數(shù)據(jù)治理變革！知識圖譜技術智能分析技術智能識別技術支持對文檔、圖片、音頻、視頻等的元數(shù)據(jù)識別支持對業(yè)務數(shù)據(jù)進行智能數(shù)據(jù)標準挖掘根據(jù)元數(shù)據(jù)、標準和數(shù)據(jù)的變化情況的智能分析，并自動更新規(guī)則。根據(jù)治理案例庫知識，根據(jù)規(guī)則執(zhí)行結果智能分析問題原因?；谠獢?shù)據(jù)，自動提取元數(shù)據(jù)相關的關聯(lián)信息構建治理知識圖譜““02成果內(nèi)容云南某著名企業(yè)基于元數(shù)據(jù)的智能治理經(jīng)歷理論研究、平臺建設、場景應用三個階段，從“治理知識圖譜化”、”元數(shù)據(jù)自動化管理”等五個關鍵方向進行突破?；跀?shù)據(jù)治理智能化技術的平臺建設數(shù)據(jù)治理智能化技術應用場景治理知識的圖譜化構建研究元數(shù)據(jù)自動化管理技術研究數(shù)據(jù)標準自動生成技術研究數(shù)據(jù)規(guī)則自動生成技術研究數(shù)據(jù)質(zhì)量問題智能分析技術研究知識圖譜構建元數(shù)據(jù)管理數(shù)據(jù)標準生成應用場景方案03

場景應用為實現(xiàn)“以智促質(zhì)、以質(zhì)增值”的目標，云南某著名企業(yè)公司通過對治理理論體系的研究提出了”治理知識圖譜化“等五個改進點，打造數(shù)據(jù)治理智能化技術的平臺建設，以應用場景實現(xiàn)價值挖掘，初步探索了一條智能化數(shù)據(jù)治理的前進方向。0102平臺建設統(tǒng)一大數(shù)據(jù)治理體系研究數(shù)據(jù)規(guī)則生成數(shù)據(jù)問題智能分析業(yè)務應用云電貸彩云充一部手機辦事通…元數(shù)據(jù)管理 數(shù)據(jù)標準管理 數(shù)據(jù)質(zhì)量檢查 質(zhì)量問題處理元數(shù)據(jù)質(zhì)量評估 業(yè)務標準智能生成 基于數(shù)據(jù)抽樣的質(zhì)量檢查 冗余數(shù)據(jù)發(fā)現(xiàn) 質(zhì)量問題根因分析元數(shù)據(jù)動態(tài)標簽 基于數(shù)據(jù)挖掘的質(zhì)量檢查 基于信標機制的數(shù)據(jù)自生成 動化稽核本體映射 自然語言理解、生成 數(shù)據(jù)特征抽樣本體對齊 數(shù)據(jù)特征識別算法 數(shù)據(jù)挖掘算法 哈希算法 機器學習深度學習面向數(shù)據(jù)治理的電力知識人工智能算法體系知識挖掘 概念動態(tài)映射 認知計算 特征分布、特征聚類 推理決策 概率計算 冗余計算 數(shù)據(jù)修復INTELLIGENTGOVERNANCE

SYSTEM基于元數(shù)據(jù)的智能治理體系主要分為兩層，一是基礎數(shù)據(jù)治理底層技術服務能力，基于機器學習、自然語言處理、智能算法等技術能力，面向電力數(shù)據(jù)治理問題所構建的基礎技術服務能力。二是智能數(shù)據(jù)治理框架，在應用數(shù)據(jù)治理技術服務能力的基礎上，根據(jù)治理應用需求搭建的智能數(shù)據(jù)治理平臺?；A數(shù)據(jù)治理底層技術服務能力服數(shù)實據(jù) 元 體 知識反饋/數(shù) 關據(jù) 系 質(zhì)量問題智能分析智 取 數(shù)據(jù)治理

質(zhì)量規(guī)則執(zhí)行策略 質(zhì)量規(guī)則自動評估抽能 知識圖譜

數(shù)據(jù)質(zhì)量報告 質(zhì)量問題治理案例務 采 數(shù)據(jù)標準識別 質(zhì)量規(guī)則自生成 質(zhì)量治理案例庫 智能推薦集 數(shù) （面向數(shù)據(jù)治理 數(shù)據(jù)標準挖掘 質(zhì)量規(guī)則自適應據(jù) 的電力知識庫） 標準智能落標挖掘智能數(shù)據(jù)治理平臺技術實現(xiàn)思路-多源異構數(shù)據(jù)的元數(shù)據(jù)智能識別多源異構數(shù)據(jù)不可知企業(yè)管理者業(yè)務人員數(shù)據(jù)資產(chǎn)不清晰電力新能源銀行客戶服務……有什么數(shù)業(yè)務含義傳統(tǒng)據(jù)可以用？是什么？思路智能化應用價值提供元數(shù)據(jù)自動化和智能化技術，為跨域數(shù)據(jù)的數(shù)據(jù)構建統(tǒng)一的元數(shù)據(jù)模型，統(tǒng)一數(shù)據(jù)的含義描述，為數(shù)據(jù)治理打好基礎。思路元數(shù)據(jù)智能識別統(tǒng)一元數(shù)據(jù)模型元數(shù)據(jù)自動補充技術亮點通過構建多源異構的元數(shù)據(jù)模型，將企業(yè)內(nèi)外部數(shù)據(jù)的元數(shù)據(jù)基于業(yè)務對象進行重新組織；利用元數(shù)據(jù)智能識別，在技術元數(shù)據(jù)基礎上提取完善業(yè)務元數(shù)據(jù)和管理元數(shù)據(jù)，構建結構統(tǒng)一、維度多樣的數(shù)據(jù)資產(chǎn)目錄。TECHNICALREALIZATIONIDEAS構建統(tǒng)一的元數(shù)據(jù)模型，支持多源異構數(shù)據(jù)的元數(shù)據(jù)智能識別傳統(tǒng)流程傳統(tǒng)流程傳統(tǒng)流程基于智能化技術構建元數(shù)據(jù)管理業(yè)務流程技術實現(xiàn)思路-構建數(shù)據(jù)治理知識圖譜，實現(xiàn)多元數(shù)據(jù)知識的融合以識別的技術元數(shù)據(jù)為枝干，自動采集“元數(shù)據(jù)與標準、標準與規(guī)則、規(guī)則與治理案例、規(guī)則與質(zhì)量問題、元數(shù)據(jù)之間的父子關系”等信息形成樹葉，構建具備實體、關系、屬性等信息的治理知識圖譜，以此圖譜作為整個智能數(shù)據(jù)治理的基座和核心。數(shù)據(jù)融合程度低企業(yè)管理者業(yè)務人員這個規(guī)則所引用的標準？這個元數(shù)據(jù)的標準是？數(shù)據(jù)關系無法建立元數(shù)據(jù)規(guī)則標準……治理案例……實體/關系/屬性/抽取元數(shù)據(jù)標準規(guī)則治理案例智能落標，建立元數(shù)據(jù)與標準關系根據(jù)標準，生成質(zhì)量規(guī)則，抽取標準與規(guī)則關系根據(jù)規(guī)則執(zhí)行問題情況，智能推薦治理案例，抽取其關系元數(shù)據(jù)之間的父子關系，比如庫表與字段的關系。IMPLEMENTATION

SCHEME以技術元數(shù)據(jù)為基，通過多元的關系數(shù)據(jù)，構建統(tǒng)一的治理知識圖譜技術實現(xiàn)思路-通過智能化技術，實現(xiàn)提標準和規(guī)則的自生成工作效率低業(yè)務協(xié)作繁雜數(shù)據(jù)管理者業(yè)務人員數(shù)據(jù)源IT人員數(shù)據(jù)結果數(shù)據(jù)需求數(shù)據(jù)需求1000yearshave

passed……

電力銀行新能源……減少人為的參與，

提高數(shù)據(jù)治理工作效率。應用價值數(shù)據(jù)標準智能挖掘數(shù)據(jù)標準智能落標質(zhì)量規(guī)則自動生成質(zhì)量規(guī)則自動適應技術亮點IMPLEMENTATION

SCHEME基于元數(shù)據(jù)實現(xiàn)數(shù)據(jù)標準和質(zhì)量規(guī)則自動生成，并支持規(guī)則的動態(tài)更新基于治理知識圖譜，定位元數(shù)據(jù)對應的數(shù)據(jù)信息，通過對數(shù)據(jù)特征進行智能挖掘和識別生成數(shù)據(jù)標準；根據(jù)元數(shù)據(jù)與數(shù)據(jù)標準落標關系，遵循規(guī)則生成規(guī)范自動生成數(shù)據(jù)質(zhì)量規(guī)則，將數(shù)據(jù)質(zhì)量指標作為元數(shù)據(jù)的管理元數(shù)據(jù)反哺、完善治理知識圖譜。知識圖譜基于元數(shù)據(jù)落標的數(shù)據(jù)標準基于數(shù)據(jù)標準變更基于元數(shù)據(jù)變更基于數(shù)據(jù)變化趨勢技術實現(xiàn)思路-利用治理案例知識沉淀，實現(xiàn)質(zhì)量問題的智能分析數(shù)據(jù)不可控數(shù)據(jù)質(zhì)量不高數(shù)據(jù)覆蓋范圍質(zhì)量規(guī)則質(zhì)量問題問題分析質(zhì)量問題智能分析治理案例智能推薦技術亮點則的執(zhí)行結果中質(zhì)量問題的特征情況，通過算法技術計算特征的相似程度，自動的推薦問題分析原因，以及治理案例，使用戶通過治理知識圖譜能夠一站式查詢所有相關治理知識。IMPLEMENTATION

SCHEME根據(jù)學習治理案例問題特征，利用算法實現(xiàn)質(zhì)量問題的快速定位結合云南某著名企業(yè)數(shù)據(jù)治理所積累的知識庫，利用機器學習技術，訓練質(zhì)量問題分析模型，根據(jù)數(shù)據(jù)質(zhì)量規(guī)采集存儲加工算法可視化大數(shù)據(jù)治理體系銀行數(shù)據(jù)其他外部數(shù)據(jù)電調(diào)力度應數(shù)用據(jù)統(tǒng)一元模型智能數(shù)據(jù)治理平臺OVERALLSTRUTURE

DESIGN大數(shù)據(jù)應用智能識別知識圖譜元數(shù)據(jù)智能評分數(shù)據(jù)治理知識圖譜數(shù)據(jù)質(zhì)量規(guī)則自動適應質(zhì)量問題智能推薦元模型管理數(shù)據(jù)質(zhì)量規(guī)則自動生成元數(shù)據(jù)智能感知元數(shù)據(jù)自動采集自動采集數(shù)據(jù)標準自動生成大數(shù)據(jù)應用場景數(shù)據(jù)標準智能挖掘數(shù)字某著名企業(yè)數(shù)據(jù)服務新能源數(shù)據(jù)云電貸一部手機辦事通彩云充………………………………平臺通過智能和自動化手段實現(xiàn)多源異構數(shù)據(jù)的治理，有效的支撐數(shù)據(jù)交互服務和大數(shù)據(jù)應用。通過多源異構數(shù)據(jù)，利用元數(shù)據(jù)的智能識別技術，實現(xiàn)元數(shù)據(jù)自動管理，并基于元數(shù)據(jù)構成，實現(xiàn)數(shù)據(jù)標準和質(zhì)量規(guī)則的自動生成，以及智能化的問題分析處理和治理知識圖譜的自動構建。智能治理平臺關鍵技術-非結構化數(shù)據(jù)的元數(shù)據(jù)智能感知技術TECHNOLOGICAL

INNOVATION通過對業(yè)務對象非結構化數(shù)據(jù)的識別，利用自然語言處理、圖像特征識別、語言識別、動態(tài)特征識別等智能技術，可快速對圖像、文檔、音頻、視頻等非結構化數(shù)據(jù)的元數(shù)據(jù)信息的分析和識別。文檔圖片音頻視頻類型元數(shù)據(jù)技術元數(shù)據(jù)設備名稱設備類型設備參數(shù)業(yè)務元數(shù)據(jù)摘要關鍵字管理元數(shù)據(jù)歸屬部門算法識別類型元數(shù)據(jù)技術元數(shù)據(jù)設備類型業(yè)務元數(shù)據(jù)名牌參數(shù)管理元數(shù)據(jù)管理人員OCR特征識別語言識別動態(tài)特征識別類型元數(shù)據(jù)技術元數(shù)據(jù)設備名稱業(yè)務元數(shù)據(jù)熱詞類型元數(shù)據(jù)技術元數(shù)據(jù)設備名稱設備類型業(yè)務元數(shù)據(jù)名牌參數(shù)外部特征熱詞關鍵技術-構建電力元數(shù)據(jù)知識圖譜TECHNOLOGICAL

INNOVATION首先對業(yè)務系統(tǒng)數(shù)據(jù)庫采集技術元數(shù)據(jù)，構建知識圖譜原型；其次根據(jù)從技術文檔、規(guī)范制度、數(shù)據(jù)特征中智能識別的業(yè)務元數(shù)據(jù)和管理元數(shù)據(jù)，提取實體、關系、屬性等信息，不斷循環(huán)完善知識圖譜，形成體系化、一站式的圖譜。技術元數(shù)據(jù)新能源設備表設備編號設備名稱…………業(yè)務數(shù)據(jù)庫采集管理元數(shù)據(jù)歸屬部門 管理人員………… …………業(yè)務元數(shù)據(jù)名牌參數(shù) 熱詞外部特征 摘要智能識別設備編號設備名稱管理人員熱詞…………歸屬部門充電樁設備TECHNOLOGICAL

INNOVATION通過在數(shù)據(jù)治理知識圖譜中選擇業(yè)務對象的相關字段，可以在數(shù)據(jù)挖掘頁面可通過數(shù)據(jù)特征算法計算出該字段的數(shù)據(jù)類型特征分布情況，以此作為在業(yè)務發(fā)生變動時，對數(shù)據(jù)標準的變化感知和完善補充，重點強化對外部數(shù)據(jù)的元數(shù)據(jù)管控能力和數(shù)據(jù)治理能力。步驟一：通過知識圖譜，選擇需要進行標準挖掘的字段元數(shù)據(jù)步驟二：自動定位到該字段，通過智能算法進行數(shù)據(jù)特征分析，可分析初該字段長度、枚舉值、值域等數(shù)據(jù)特征，最后人工確定后形成標準。關鍵技術-數(shù)據(jù)質(zhì)量規(guī)則自生成自適應技術TECHNOLOGICAL

INNOVATION數(shù)據(jù)質(zhì)量規(guī)則通過元數(shù)據(jù)的庫表名稱、字段名稱、數(shù)據(jù)標準的關系信息，利用規(guī)則生成引擎，對參數(shù)和標準信息按照規(guī)則腳本規(guī)范進行組裝，形成可執(zhí)行的SQL腳本。并支持通過感知元數(shù)據(jù)、數(shù)據(jù)標準和數(shù)據(jù)特征變化情況，進行自適應更新。通過這項技術實現(xiàn)普適性數(shù)據(jù)質(zhì)量規(guī)則的生成，實現(xiàn)數(shù)據(jù)治理的全域覆蓋。庫表名稱字段名稱數(shù)據(jù)標準規(guī)則模板規(guī)則腳本規(guī)范標準參數(shù)規(guī)則生成引擎規(guī)則生成參數(shù)信息提取Select*from充電樁設備表twhere

t.設備類型notin(‘02’,’03’,’05’,’09’)舉例規(guī)則列表關鍵技術-質(zhì)量問題自動化歸因分析技術TECHNOLOGICAL

INNOVATION數(shù)據(jù)質(zhì)量問題自動化歸因分析基于云南某著名企業(yè)歷年積累的數(shù)據(jù)質(zhì)量問題分析報告、整改指引等治理案例信息，采用基于特征相似度計算，分析匹配，形成最佳的綜合治理建議推薦。以治理知識圖譜為基礎，實現(xiàn)通過元數(shù)據(jù)對數(shù)據(jù)治理相關所有信息的的統(tǒng)一查詢。已標注的充電樁治理案例信息治理案例庫獲取標注數(shù)據(jù)根據(jù)充電樁設備類型規(guī)則執(zhí)行的問題，匹配到充電樁治理案例03成果價值基于元數(shù)據(jù)的智能治理經(jīng)過一年的實踐，已覆蓋銀行、新能源、客戶服務等應用場景，有效促進了電力數(shù)據(jù)要素價值挖掘與釋放。15000+已管理的元數(shù)據(jù)41

0

0

+10+支持數(shù)據(jù)服務

支撐大數(shù)據(jù)應用52

0

+支撐應用場景623000+自動生成規(guī)則31

0

0

0

+處理數(shù)據(jù)問題PRACTICAL

VALUE成果應用于云南某著名企業(yè)公司智能數(shù)據(jù)治理平臺，為公司提供了全域數(shù)據(jù)質(zhì)量輔助：通過1年的應用，在擴大元數(shù)據(jù)覆蓋、解決多源異構問題、實現(xiàn)智能化管控等方面均取得明顯成效，治理后的數(shù)據(jù)交換服務已覆蓋銀行、新能源、客戶服務等應用場景，有效支撐大數(shù)據(jù)應用落地，促進了電力數(shù)據(jù)要