大數(shù)據(jù)白皮書(2022年)_第1頁
大數(shù)據(jù)白皮書(2022年)_第2頁
大數(shù)據(jù)白皮書(2022年)_第3頁
大數(shù)據(jù)白皮書(2022年)_第4頁
大數(shù)據(jù)白皮書(2022年)_第5頁
已閱讀5頁,還剩64頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

No.202225

大數(shù)據(jù)白皮書

(2022年)

中國信息通信研究院

2023年1月

前言

中央全面深化改革委員會第二十六次會議指出,數(shù)據(jù)作為新型生

產(chǎn)要素,是數(shù)字化、網(wǎng)絡(luò)化、智能化的基礎(chǔ),已快速融入生產(chǎn)、分配、

流通、消費和社會服務(wù)管理等各個環(huán)節(jié),深刻改變著生產(chǎn)方式、生活

方式和社會治理方式。大數(shù)據(jù)是數(shù)據(jù)的集合,是圍繞數(shù)據(jù)形成的一套

技術(shù)體系,并衍生出了豐富的產(chǎn)業(yè)生態(tài),成為釋放數(shù)據(jù)價值的重要引

擎。

近一年來,從宏觀看,各國通過政策、法案、設(shè)立機構(gòu)等方式,

持續(xù)推進自身大數(shù)據(jù)戰(zhàn)略,我國黨中央、國務(wù)院圍繞數(shù)據(jù)要素市場建

設(shè)、數(shù)據(jù)要素價值釋放密集提出一系列重要論斷、作出一系列戰(zhàn)略部

署,進一步增強了我國大數(shù)據(jù)發(fā)展動能。從微觀看,數(shù)據(jù)存儲與計算、

數(shù)據(jù)管理、數(shù)據(jù)流通、數(shù)據(jù)應(yīng)用、數(shù)據(jù)安全五大核心領(lǐng)域均伴隨相關(guān)

政策、技術(shù)、產(chǎn)業(yè)、應(yīng)用的不斷演進,發(fā)展目標(biāo)進一步明確和豐富,

發(fā)展成效不斷顯現(xiàn)。

本白皮書是中國信通院自2014年以來第七次發(fā)布的大數(shù)據(jù)白皮

書。本白皮書聚焦過去一年來大數(shù)據(jù)領(lǐng)域不斷涌現(xiàn)的新技術(shù)、新模式、

新業(yè)態(tài),分析總結(jié)全球和我國大數(shù)據(jù)發(fā)展的總體態(tài)勢,并重點針對數(shù)

據(jù)存儲與計算、數(shù)據(jù)管理、數(shù)據(jù)流通、數(shù)據(jù)應(yīng)用、數(shù)據(jù)安全五大核心

領(lǐng)域,逐一分析、探討其發(fā)展現(xiàn)狀、特征、問題和趨勢,最后對我國

大數(shù)據(jù)未來發(fā)展進行展望與研判。希望本白皮書為社會各界深入了解

大數(shù)據(jù)領(lǐng)域提供有價值的參考。

大數(shù)據(jù)白皮書(2022年)

一、大數(shù)據(jù)發(fā)展總體態(tài)勢

2022年,全球大數(shù)據(jù)技術(shù)產(chǎn)業(yè)與應(yīng)用創(chuàng)新不斷邁向新高度。宏觀

看,國際方面,美歐、韓日、澳洲通過政策、法案、設(shè)立機構(gòu)等形式,

持續(xù)深化實施自身大數(shù)據(jù)戰(zhàn)略。國內(nèi)方面,黨中央、國務(wù)院再次做出

一系列重要部署,我國大數(shù)據(jù)領(lǐng)域良好的發(fā)展態(tài)勢進一步鞏固。微觀

看,數(shù)據(jù)存儲與計算、數(shù)據(jù)管理、數(shù)據(jù)流通、數(shù)據(jù)應(yīng)用、數(shù)據(jù)安全五

大核心領(lǐng)域發(fā)展成效不斷顯現(xiàn)。本章將對國內(nèi)外大數(shù)據(jù)領(lǐng)域的最新進

展進行總體敘述。

(一)各國深化推進自身大數(shù)據(jù)戰(zhàn)略

近一年來,美歐、韓日、澳洲通過政策、法案、設(shè)立機構(gòu)等形式,

持續(xù)深化推進自身大數(shù)據(jù)戰(zhàn)略。

美歐發(fā)布法案,確保數(shù)據(jù)價值在隱私保護的前提下釋放。美國眾

議院和參議院于2022年6月發(fā)布了《美國數(shù)據(jù)隱私和保護法案》討論

稿,該法案在制度設(shè)計上既考慮了增強個人數(shù)據(jù)權(quán)利的國際趨勢,又

包含數(shù)據(jù)價值釋放的內(nèi)容。法案并未禁止一般個人數(shù)據(jù)處理活動,而

是為個人提供了“選擇退出”方式,以促進對個人數(shù)據(jù)的合理利用。

歐洲議會于2022年4月就歐盟《數(shù)據(jù)治理法案》進行最終投票表決,

并獲得議會批準。該法案是落實《歐洲數(shù)據(jù)戰(zhàn)略》的重要舉措,構(gòu)建

了三個適用于各個行業(yè)的數(shù)據(jù)共享機制,確保在符合歐洲公共利益和

數(shù)據(jù)提供者合法權(quán)益的條件下,實現(xiàn)數(shù)據(jù)更廣泛的國際共享。法案構(gòu)

建了適用于所有部門的數(shù)據(jù)使用權(quán)基本規(guī)則,將促進個人和企業(yè)自愿

1

大數(shù)據(jù)白皮書(2022年)

共享數(shù)據(jù),并統(tǒng)一某些公共部門數(shù)據(jù)的使用條件。

韓日設(shè)置專門機構(gòu),推進各行業(yè)數(shù)字化轉(zhuǎn)型。韓國在2022年4月

成立了以國務(wù)總理作為委員長的“國家數(shù)據(jù)政策委員會”,作為國家

數(shù)據(jù)和新產(chǎn)業(yè)政策的管理機構(gòu),并于9月召開了韓國國家數(shù)據(jù)政策委

員會的第一次會議,發(fā)表了對8個數(shù)據(jù)領(lǐng)域、5個新產(chǎn)業(yè)領(lǐng)域、共計13

個領(lǐng)域的改善計劃,目標(biāo)是在韓國打造全球頂級水平的數(shù)字力量。

2021年9月,日本政府成立數(shù)字廳,成為負責(zé)日本行政數(shù)字化的最高

部門,旨在構(gòu)建更完善的數(shù)字政府,推動數(shù)字化轉(zhuǎn)型,目標(biāo)為“用智

能手機在60秒內(nèi)完成所有行政程序”,最大程度利用數(shù)字技術(shù)優(yōu)勢,

將數(shù)字科技作為全新要素融入傳統(tǒng)社會,促進經(jīng)濟社會形態(tài)積極轉(zhuǎn)型。

澳洲發(fā)布國家數(shù)據(jù)安全戰(zhàn)略,開始構(gòu)建國家數(shù)據(jù)安全框架。2022

年4月,澳大利亞內(nèi)政部頒布《國家數(shù)據(jù)安全行動計劃》,其為澳大

利亞首個國家數(shù)據(jù)安全行動計劃,意味著澳大利亞的國家數(shù)據(jù)安全框

架正式開始構(gòu)建?!缎袆佑媱潯分铝τ诮⒁粋€全國性的方法來保護

公民數(shù)據(jù),保護公民的數(shù)據(jù)(收集、處理和存儲在數(shù)字系統(tǒng)和網(wǎng)絡(luò)上

的信息)免受侵害,同時為政府、企業(yè)和個人構(gòu)建數(shù)據(jù)安全要求。

(二)我國大數(shù)據(jù)發(fā)展態(tài)勢好動力足

我國大數(shù)據(jù)經(jīng)過多年高速發(fā)展,不斷取得重要突破,呈現(xiàn)良好發(fā)

展態(tài)勢。一是產(chǎn)業(yè)規(guī)模高速增長,2021年,我國大數(shù)據(jù)產(chǎn)業(yè)規(guī)模增加

到1.3萬億元,復(fù)合增長率超過30%1;二是創(chuàng)新能力不斷增強,2021

1國家互聯(lián)網(wǎng)信息辦公室《數(shù)字中國發(fā)展報告(2021年)》,2022年7月

2

大數(shù)據(jù)白皮書(2022年)

年我國發(fā)表大數(shù)據(jù)領(lǐng)域論文量占全球31%2,大數(shù)據(jù)相關(guān)專利受理總

數(shù)占全球超50%,均位居第一3;三是生態(tài)體系持續(xù)優(yōu)化,2021年我

國大數(shù)據(jù)市場主體總量超18萬家4,一批大數(shù)據(jù)龍頭企業(yè)快速崛起,

初步形成了大企業(yè)引領(lǐng)、中小企業(yè)協(xié)同、創(chuàng)新企業(yè)不斷涌現(xiàn)的發(fā)展格

局;四是市場前景廣受認可,我國大數(shù)據(jù)領(lǐng)域投融資金額多年來總體

呈現(xiàn)上升趨勢,2021年大數(shù)據(jù)相關(guān)企業(yè)獲投總金額超過800億元5,

再創(chuàng)歷史新高。

近一年,我國在政策、人才、資金等方面持續(xù)加碼,為大數(shù)據(jù)后

續(xù)發(fā)展注入強勁動力。

政策方面,中央、地方發(fā)布一系列支持文件,對大數(shù)據(jù)產(chǎn)業(yè)、數(shù)

字技術(shù)、數(shù)據(jù)要素市場、數(shù)據(jù)安全等方面進行了重點部署。中央層面,

2021年底,《“十四五”大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃》的出臺明確了未來五

年大數(shù)據(jù)產(chǎn)業(yè)發(fā)展工作的行動綱領(lǐng)。2022年,黨中央、國務(wù)院先后通

過《要素市場化配置綜合改革試點總體方案》、《關(guān)于加快建設(shè)全國

統(tǒng)一大市場的意見》、《關(guān)于構(gòu)建數(shù)據(jù)基礎(chǔ)制度更好發(fā)揮數(shù)據(jù)要素作

用的意見》等文件,多次強調(diào)了釋放數(shù)據(jù)要素價值對于我國發(fā)展的必

要性、緊迫性,為我國大數(shù)據(jù)發(fā)展提供了良好的政策環(huán)境和明確的發(fā)

展目標(biāo)。地方層面,31個?。▍^(qū)、市)均通過發(fā)布大數(shù)據(jù)專題規(guī)劃、

數(shù)字經(jīng)濟總體規(guī)劃等形式,明確了各地大數(shù)據(jù)技術(shù)、產(chǎn)業(yè)、應(yīng)用的發(fā)

展路線圖、時間表,凸顯出各地在大數(shù)據(jù)布局方面的積極性。

2中國信通院根據(jù)WebofScience數(shù)據(jù)庫收錄的SCI論文數(shù)據(jù)統(tǒng)計得到。

3中國信通院根據(jù)Inspiro知識產(chǎn)權(quán)數(shù)據(jù)庫的數(shù)據(jù)統(tǒng)計得到。

4中國信通院根據(jù)企查查相關(guān)數(shù)據(jù)統(tǒng)計得到。

5中國信通院根據(jù)公開監(jiān)測、獲取到的企業(yè)信息,結(jié)合企業(yè)介紹、主營業(yè)務(wù)及服務(wù)介紹及相關(guān)其他信息,

進行篩選和分類得到。

3

大數(shù)據(jù)白皮書(2022年)

表1近一年內(nèi)國家層面推動大數(shù)據(jù)產(chǎn)業(yè)的代表性政策

時間文件內(nèi)容

工信部提出“到2025年底,大數(shù)據(jù)產(chǎn)業(yè)測算規(guī)模突破3萬億

2021.11《“十四五”大數(shù)據(jù)元”的增長目標(biāo),以及數(shù)據(jù)要素價值體系、現(xiàn)代化大數(shù)

產(chǎn)業(yè)發(fā)展規(guī)劃》據(jù)產(chǎn)業(yè)體系建設(shè)等新目標(biāo)

提出拓展規(guī)范化數(shù)據(jù)開發(fā)利用場景,發(fā)揮領(lǐng)軍企業(yè)和行

國務(wù)院

業(yè)組織作用,推動人工智能、區(qū)塊鏈、車聯(lián)網(wǎng)、物聯(lián)網(wǎng)

《要素市場化配置綜

2022.1等領(lǐng)域數(shù)據(jù)采集標(biāo)準化。加強數(shù)據(jù)安全保護,強化網(wǎng)絡(luò)

合改革試點總體方

安全等級保護要求,推動完善數(shù)據(jù)分級分類安全保護制

案》

度,運用技術(shù)手段構(gòu)建數(shù)據(jù)安全風(fēng)險防控體系。

提出加快培育數(shù)據(jù)要素市場,建立健全數(shù)據(jù)安全、權(quán)利

中共中央國務(wù)院

保護、跨境傳輸管理、交易流通、開放共享、安全認證

2022.4《關(guān)于加快建設(shè)全國

等基礎(chǔ)制度和標(biāo)準規(guī)范,深入開展數(shù)據(jù)資源調(diào)查,推動

統(tǒng)一大市場的意見》

數(shù)據(jù)資源開發(fā)利用。

中央全面深化改革委

習(xí)近平總書記強調(diào)“數(shù)據(jù)基礎(chǔ)制度建設(shè)事關(guān)國家發(fā)展和

員會第二十六次會

安全大局,要維護國家數(shù)據(jù)安全,保護個人信息和商業(yè)

議,審議通過《關(guān)于

2022.12秘密,促進數(shù)據(jù)高效流通使用、賦能實體經(jīng)濟,統(tǒng)籌推

構(gòu)建數(shù)據(jù)基礎(chǔ)制度更

進數(shù)據(jù)產(chǎn)權(quán)、流通交易、收益分配、安全治理,加快構(gòu)

好發(fā)揮數(shù)據(jù)要素作用

建數(shù)據(jù)基礎(chǔ)制度體系”

的意見》

來源:中國信息通信研究院

人才方面,過半“雙一流”高校設(shè)立大數(shù)據(jù)相關(guān)專業(yè),多省份積

極開展人才培育專項行動,人才供給能力顯著增強。高校教育方面,

147所“雙一流”高校中有87所已開設(shè)了大數(shù)據(jù)專業(yè),占比達到59%6,

根據(jù)上海軟科統(tǒng)計,大數(shù)據(jù)專業(yè)熱度已經(jīng)超過軟件工程等傳統(tǒng)熱門專

業(yè)。各省積極開展大數(shù)據(jù)人才培育專項行動,例如廣東實施“十萬”

產(chǎn)業(yè)數(shù)字化符合性人才培訓(xùn)行動,上海要求各級黨校(行政學(xué)院)要

增加大數(shù)據(jù)與城市數(shù)字化轉(zhuǎn)型的培訓(xùn)內(nèi)容,浙江圍繞數(shù)字人才制定

“高精尖缺”人才目錄,江蘇搭建“智改數(shù)轉(zhuǎn)”人才智庫平臺,福建

明確要求縣級以上地方人民政府制訂大數(shù)據(jù)人才發(fā)展計劃。

6中國信通院根據(jù)教育部《普通高等學(xué)校本科專業(yè)備案和審批結(jié)果》進行統(tǒng)計獲得

4

大數(shù)據(jù)白皮書(2022年)

資金方面,多省份通過設(shè)立專項資金或采取稅收優(yōu)惠政策等方式,

對大數(shù)據(jù)企業(yè)、應(yīng)用進行定向扶持和培育。例如,寧夏對于區(qū)內(nèi)符合

標(biāo)準的優(yōu)質(zhì)大數(shù)據(jù)企業(yè)給予最高300萬的資金支持,山東、黑龍江等

省份要求省內(nèi)縣級以上人民政府每年需統(tǒng)籌安排資金專項扶持大數(shù)

據(jù)相關(guān)企業(yè),浙江、廣東、重慶等推出一系列圍繞大數(shù)據(jù)企業(yè)的稅收

減免政策,江蘇省每年在省級財政安排12億元專項資金支持工業(yè)企

業(yè)“智改數(shù)轉(zhuǎn)”,貴州、遼寧、河北、云南等省份對建設(shè)成果顯著的

大數(shù)據(jù)應(yīng)用項目補貼1000-3000萬。

(三)五大核心領(lǐng)域發(fā)展方向進一步明確

經(jīng)過多年技術(shù)和產(chǎn)業(yè)的發(fā)展,大數(shù)據(jù)領(lǐng)域內(nèi)部逐漸細化,形成

數(shù)據(jù)存儲與計算、數(shù)據(jù)管理、數(shù)據(jù)流通、數(shù)據(jù)應(yīng)用、數(shù)據(jù)安全五大

核心領(lǐng)域。如圖1所示,數(shù)據(jù)源通過數(shù)據(jù)存儲與計算實現(xiàn)壓縮存儲

和初步加工,通過數(shù)據(jù)管理提升質(zhì)量,通過數(shù)據(jù)流通配置給其它相

關(guān)主體,通過數(shù)據(jù)應(yīng)用直接釋放價值,并由數(shù)據(jù)安全技術(shù)進行全過

程的安全保障。

這五大核心領(lǐng)域由于發(fā)展起步時間不同、應(yīng)用需求緊迫程度不

同等原因,發(fā)展模式存在差異。在當(dāng)前數(shù)據(jù)成為生產(chǎn)要素并快速融

入生產(chǎn)、分配、流通、消費等各環(huán)節(jié)的新形勢下,大數(shù)據(jù)五大核心

領(lǐng)域的發(fā)展方向均進一步明確。

5

大數(shù)據(jù)白皮書(2022年)

來源:中國信息通信研究院

圖1大數(shù)據(jù)產(chǎn)業(yè)五大核心領(lǐng)域

數(shù)據(jù)存儲與計算領(lǐng)域:實現(xiàn)海量數(shù)據(jù)的高效存儲與計算。本領(lǐng)域

發(fā)展時間長,在數(shù)據(jù)規(guī)模增長、形態(tài)變化等新需求持續(xù)推動下,逐步

演化出數(shù)據(jù)庫、大數(shù)據(jù)平臺、實時計算等成熟技術(shù)框架。當(dāng)前,數(shù)據(jù)

存儲與計算領(lǐng)域已經(jīng)能夠支撐PB級海量數(shù)據(jù)的高效存儲和準實時計

算,發(fā)展方向聚焦為在持續(xù)提升能力基礎(chǔ)上,通過精細化運營和技術(shù)

升級實現(xiàn)“降本提質(zhì)”。

數(shù)據(jù)管理領(lǐng)域:實現(xiàn)數(shù)據(jù)質(zhì)量提升、管理高效。本領(lǐng)域?qū)儆谕度?/p>

周期長、見效慢的“下水道”型工作。當(dāng)前,部分企業(yè)數(shù)據(jù)管理需求

強、資源足,已將數(shù)據(jù)管理的技術(shù)和規(guī)則率先落地,但大部分企業(yè)數(shù)

據(jù)管理仍處于起步階段。數(shù)據(jù)管理的發(fā)展方向聚焦為盡快借助政策紅

利和智能技術(shù)帶來的改變,促進各行業(yè)大規(guī)模實現(xiàn)全域數(shù)據(jù)管理。

數(shù)據(jù)流通領(lǐng)域:實現(xiàn)數(shù)據(jù)在不同主體間合理配置,使局部數(shù)據(jù)互

6

大數(shù)據(jù)白皮書(2022年)

相彌合,實現(xiàn)數(shù)據(jù)價值倍增。本領(lǐng)域需求旺盛、發(fā)展時間短,當(dāng)前已

初步探索出機構(gòu)與機構(gòu)間點對點的流通路徑,但數(shù)據(jù)權(quán)屬、定價、市

場規(guī)則等關(guān)鍵性問題仍有待破解。為助力數(shù)據(jù)要素高效配置,數(shù)據(jù)流

通的發(fā)展方向聚焦為通過建設(shè)基礎(chǔ)制度、創(chuàng)新流通技術(shù),實現(xiàn)數(shù)據(jù)流

通過程中安全與效率的平衡,從而構(gòu)建全社會范圍數(shù)據(jù)規(guī)范化流通。

數(shù)據(jù)應(yīng)用領(lǐng)域:實現(xiàn)數(shù)據(jù)為企業(yè)業(yè)務(wù)經(jīng)營過程賦能。本領(lǐng)域雖然

發(fā)展時間長,但受限于數(shù)據(jù)管理等前序工作成熟度不夠,目前僅部分

核心業(yè)務(wù)被數(shù)據(jù)淺度賦能。為釋放數(shù)據(jù)要素深度價值,數(shù)據(jù)應(yīng)用的發(fā)

展方向聚焦為通過變革業(yè)務(wù)模式、優(yōu)化相關(guān)技術(shù),使數(shù)據(jù)應(yīng)用與全域

業(yè)務(wù)深度融合。

數(shù)據(jù)安全領(lǐng)域:確保數(shù)據(jù)處于有效保護和合法利用的狀態(tài),以及

具備保障持續(xù)安全狀態(tài)的能力。特別是近兩年數(shù)據(jù)安全一些法律法規(guī)

發(fā)布后,本領(lǐng)域得到快速發(fā)展,各行業(yè)在數(shù)據(jù)外規(guī)內(nèi)化、風(fēng)險治理等

方面推進步伐明顯加快。當(dāng)前,數(shù)據(jù)安全的發(fā)展方向進一步聚焦為兼

顧安全與效率,從而實現(xiàn)安全左移的自動化與風(fēng)險治理的智能化。

表2五大核心領(lǐng)域發(fā)展現(xiàn)狀和新形勢下的發(fā)展方向

發(fā)展現(xiàn)狀新形式下的發(fā)展方向

數(shù)據(jù)存儲與計算實現(xiàn)了海量數(shù)據(jù)的高效存儲、計算降低運維成本,提升處理效率

數(shù)據(jù)管理頭部行業(yè)實現(xiàn)關(guān)鍵數(shù)據(jù)的管理各行業(yè)均實現(xiàn)全域數(shù)據(jù)管理

數(shù)據(jù)流通點對點間流通路徑完成初步探索全社會范圍規(guī)范化流通

數(shù)據(jù)應(yīng)用支撐核心業(yè)務(wù)分析和頂層決策以無感形式嵌入全域業(yè)務(wù)

數(shù)據(jù)安全推進外規(guī)內(nèi)化與風(fēng)險治理安全左移的智能化治理

來源:中國信息通信研究院

二、數(shù)據(jù)存儲與計算:通過深度優(yōu)化實現(xiàn)提質(zhì)增效

數(shù)據(jù)存儲與計算提供海量數(shù)據(jù)的高壓縮比存儲和高效計算等基

7

大數(shù)據(jù)白皮書(2022年)

礎(chǔ)能力,以數(shù)據(jù)庫、數(shù)據(jù)倉庫、數(shù)據(jù)湖等為其技術(shù)表現(xiàn)形態(tài)。其發(fā)展

歷程長、產(chǎn)業(yè)成熟度相對較高,目前在數(shù)據(jù)要素等新需求牽引下,正

呈現(xiàn)出穩(wěn)中有進的發(fā)展態(tài)勢。本章將介紹數(shù)據(jù)存儲與計算領(lǐng)域的發(fā)展

歷程、當(dāng)前現(xiàn)狀、主要特征和趨勢展望。

(一)數(shù)據(jù)存儲與計算發(fā)展歷久彌新

1960年信息時代開啟后,用于存儲、計算少量結(jié)構(gòu)化數(shù)據(jù)的關(guān)系

型數(shù)據(jù)庫、數(shù)據(jù)倉庫誕生,Oracle、DB2、Teradata等商業(yè)化產(chǎn)品逐漸

成熟。2000年互聯(lián)網(wǎng)興起后,結(jié)構(gòu)化數(shù)據(jù)的規(guī)模迅速膨脹、非結(jié)構(gòu)化

數(shù)據(jù)開始涌現(xiàn),傳統(tǒng)關(guān)系型數(shù)據(jù)庫、數(shù)據(jù)倉庫能力出現(xiàn)瓶頸,以

ApacheHadoop為代表的分布式存儲計算框架成為新的技術(shù)潮流,

Cloudera、Hontonworks等數(shù)家商業(yè)化公司紛紛成立,大數(shù)據(jù)時代正

式來臨。2010年移動互聯(lián)網(wǎng)逐漸普及后,實時推薦、即時決策需求對

海量數(shù)據(jù)處理的實時性提出更高要求,同時視頻、音頻、圖片等非結(jié)

構(gòu)化數(shù)據(jù)占比大幅提升,Storm、Flink等流處理框架受到關(guān)注,數(shù)據(jù)

湖技術(shù)也開始迅速產(chǎn)品化。圖2對數(shù)據(jù)存儲與計算領(lǐng)域的技術(shù)發(fā)展歷

程進行了簡要總結(jié)。

8

大數(shù)據(jù)白皮書(2022年)

來源:中國信息通信研究院

圖2數(shù)據(jù)存儲與計算領(lǐng)域技術(shù)發(fā)展歷程

技術(shù)方面,經(jīng)過60余年發(fā)展,數(shù)據(jù)存儲與計算領(lǐng)域總體技術(shù)框

架趨于成熟,進入深度優(yōu)化階段。數(shù)據(jù)存儲與計算領(lǐng)域已經(jīng)形成了以

分布式數(shù)據(jù)庫、數(shù)據(jù)倉庫、批處理平臺、流處理平臺為代表的總體技

術(shù)框架,并廣泛應(yīng)用,已能夠支撐具有高并發(fā)、低延遲數(shù)據(jù)處理分析

需求的極端場景。例如在“雙十一”場景中,大量營銷、交易風(fēng)控等

自動決策被嵌入業(yè)務(wù)流程,形成了復(fù)雜的數(shù)據(jù)處理分析鏈路。在技術(shù)

能力已相對成熟的基礎(chǔ)上,以云化、湖倉一體為代表的深度優(yōu)化理念

不斷涌現(xiàn),并逐步應(yīng)用,為數(shù)據(jù)存儲與計算領(lǐng)域進一步降本提質(zhì)提供

了新范式。

產(chǎn)業(yè)方面,全球疫情加速了數(shù)字化轉(zhuǎn)型進程,數(shù)據(jù)存儲與計算領(lǐng)

域的產(chǎn)業(yè)發(fā)展前景持續(xù)向好。國際方面,國際云數(shù)據(jù)倉庫巨頭

Snowflake2022年第三季度營收與去年同期相比上漲67%,達到5.5

億美元;國內(nèi)方面,2021上半年我國大數(shù)據(jù)平臺市場規(guī)模達54.2億

9

大數(shù)據(jù)白皮書(2022年)

元,同比增長43.5%7;2021年我國數(shù)據(jù)庫市場規(guī)模預(yù)計達305.78億

元,同比增長26.93%8。同時我國大數(shù)據(jù)基礎(chǔ)軟件第一股星環(huán)科技于

2022年10月成功上市科創(chuàng)板。數(shù)據(jù)存儲與計算領(lǐng)域市場增長趨勢和

行業(yè)預(yù)期持續(xù)向好。

建設(shè)運維方面,數(shù)據(jù)存儲與計算建設(shè)持續(xù)深入,安全穩(wěn)定運行成

為關(guān)注焦點。隨著數(shù)字化轉(zhuǎn)型的開啟,工商銀行、建設(shè)銀行、農(nóng)業(yè)銀

行等頭部金融機構(gòu),電信、移動、聯(lián)通等運營商,大型互聯(lián)網(wǎng)公司以

及諸多行業(yè)頭部企業(yè)均在數(shù)年前完成數(shù)據(jù)存儲與計算總體框架建設(shè)。

近年來,隨著數(shù)據(jù)規(guī)模增多、價值提升,數(shù)據(jù)存儲與計算技術(shù)平臺逐

漸復(fù)雜,運維使用時的穩(wěn)定性保障和安全防護成為難題。2022年,

Google、Twitter等公司的數(shù)據(jù)存儲與計算技術(shù)平臺均發(fā)生故障,同時,

全球范圍內(nèi)也發(fā)生多起針對數(shù)據(jù)存儲與計算技術(shù)平臺的惡性攻擊,相

應(yīng)安全事件帶來的損失也不斷增高。

(二)當(dāng)前數(shù)據(jù)存儲與計算發(fā)展呈現(xiàn)三大特點

1.云化改造全面加速

數(shù)據(jù)存儲與計算技術(shù)持續(xù)與云融合,資源利用率進一步提升。隨

著云計算的發(fā)展,數(shù)據(jù)存儲與計算技術(shù)逐漸從私有部署轉(zhuǎn)化為云上部

署,初期體現(xiàn)為部署模式的不同,但伴隨著云原生理念的興起,云原

生數(shù)據(jù)存儲與計算產(chǎn)品開始成為產(chǎn)業(yè)變革浪潮。利用云原生理念,數(shù)

據(jù)存儲與計算一方面實現(xiàn)存儲、計算、調(diào)度、安全、分析等模塊的進

7來源:IDC咨詢

8來源:中國信息通信研究院《數(shù)據(jù)庫發(fā)展研究報告(2021年)》,2021年7月

10

大數(shù)據(jù)白皮書(2022年)

一步解耦,各模塊與容器等底層資源單元相適配,實現(xiàn)彈性擴縮容,

從而使得資源利用率提升30%~40%;另一方面實現(xiàn)應(yīng)用接口函數(shù)化,

即利用Serverless的理念,將更多如統(tǒng)計、機器學(xué)習(xí)、流程處理等能

力封裝成函數(shù)接口,實現(xiàn)更細粒度的按需使用和付費,在提升2~3倍

發(fā)布效率的同時,有效降低成本。近年來,華為、騰訊云、阿里云、

百度、星環(huán)等國內(nèi)主流大數(shù)據(jù)企業(yè)均推出云原生數(shù)據(jù)湖、云原生數(shù)據(jù)

平臺等產(chǎn)品。2022年阿里云首款Serverless數(shù)據(jù)庫產(chǎn)品RDSMySQL

Serverless正式商業(yè)化,PingCAP在HTAPSummit上宣布TiDBCloud

ServerlessTierBETA版正式發(fā)布。

2.融合一體化持續(xù)加深

批流一體、湖倉一體、HTAP(HybridTransactionAnalytical

Processing,混合事務(wù)與分析處理)等融合架構(gòu)不斷降低運維成本。隨

著數(shù)字化轉(zhuǎn)型的深入,企業(yè)通常會針對不同的業(yè)務(wù)場景、不同的數(shù)據(jù)

模型搭建不同的平臺系統(tǒng),帶來了數(shù)據(jù)冗余、數(shù)據(jù)一致性差、資源配

置難、系統(tǒng)復(fù)雜等問題,極大增加了運維的壓力與成本。為解決上述

問題,數(shù)據(jù)存儲與計算領(lǐng)域各技術(shù)產(chǎn)品轉(zhuǎn)向融合架構(gòu)成為趨勢,例如

將批處理技術(shù)與流處理技術(shù)融合的批流一體技術(shù)框架、打通數(shù)據(jù)倉庫

和數(shù)據(jù)湖技術(shù)的湖倉一體技術(shù)框架以及同時具備在線事務(wù)處理及分

析的混合事務(wù)分析處理技術(shù)。建立融合架構(gòu)后,統(tǒng)一的接口層、計算

層、存儲層、資源調(diào)度層實現(xiàn)了對海量數(shù)據(jù)的統(tǒng)一管理和集群服務(wù)的

統(tǒng)一運維,大幅降低了運維綜合成本。國內(nèi)外廠商紛紛提出自己的融

合架構(gòu)解決方案。例如,近年來海外廠商Databricks同戴爾推出Data

11

大數(shù)據(jù)白皮書(2022年)

LakeHouse、亞馬遜推出智能湖倉架構(gòu),2022年國內(nèi)廠商巨杉數(shù)據(jù)庫

推出SequoiaDB、阿里云推出MaxCompute湖倉一體方案、星環(huán)科技

推出星環(huán)湖倉一體V2.0等。

數(shù)據(jù)中間件技術(shù)為計算層與異構(gòu)存儲層搭建橋梁,提升整體運行

效率,進一步加速數(shù)據(jù)平臺融合一體化。在存算分離后,存儲層為滿

足不同類型數(shù)據(jù)存儲的需求,文件存儲、對象存儲、表存儲等多種異

構(gòu)存儲引擎同時存在。計算層和異構(gòu)存儲引擎之間的連通復(fù)雜度越來

越高,數(shù)據(jù)中間件技術(shù)應(yīng)運而生,其通過內(nèi)置兼容接口和加速技術(shù),

助力計算層與異構(gòu)存儲層高速互聯(lián)。例如開源的Alluxio向上對接

Spark、Presto、Hive、TensorFlow等計算應(yīng)用,向下對接阿里云OSS

對象存儲、AWSS3存儲、HDFS等不同存儲,可提升I/O效率200%

以上;ShardingSphere將多類異構(gòu)數(shù)據(jù)庫MySQL、PostgreSQL、Oracle、

SQLServer、openGauss等包裝為統(tǒng)一數(shù)據(jù)庫訪問接口,從而方便多

種編程語言直接訪問多類異構(gòu)數(shù)據(jù)庫。

3.安全能力快速補強

數(shù)據(jù)存儲與計算面臨著新型安全挑戰(zhàn),內(nèi)生安全正成為傳統(tǒng)防護

的重要補充。一是隨著自身規(guī)模不斷龐大,數(shù)據(jù)存儲與計算技術(shù)平臺

的邊界不斷延伸,網(wǎng)絡(luò)安全防護體系隨之指數(shù)級膨脹,容易出現(xiàn)盲點、

漏點;二是伴隨數(shù)據(jù)開發(fā)利用的深化,數(shù)據(jù)存儲與計算技術(shù)平臺中的

關(guān)鍵數(shù)據(jù)與其他系統(tǒng)將進行高頻的互聯(lián)互通,安全和效率難以均衡;

三是數(shù)據(jù)存儲與計算技術(shù)平臺的技術(shù)組件60%以上基于開源技術(shù),容

易遭遇“0day”攻擊;四是數(shù)據(jù)存儲與計算技術(shù)平臺中數(shù)據(jù)集中存儲,

12

大數(shù)據(jù)白皮書(2022年)

但操作人員類型多、數(shù)量多、變更多,操作頻次高,存在數(shù)據(jù)泄露風(fēng)

險。2022年1月,美國交通運輸業(yè)商業(yè)信用報告機構(gòu)TransCredit因

配置錯誤致使數(shù)據(jù)庫無密碼保護,共計涉及50萬人財務(wù)數(shù)據(jù)的60多

萬條信用記錄泄露;2022年6月,土耳其飛馬航空公司因其AWS云

存儲桶未受保護,發(fā)生總計約6.5TB的數(shù)據(jù)泄露,其中包含敏感的飛

行數(shù)據(jù);2022年10月,跨國集團湯森路透因配置錯誤導(dǎo)致存有3TB

敏感數(shù)據(jù)的Elasticsearch數(shù)據(jù)庫發(fā)生泄漏。近年來頻發(fā)的數(shù)據(jù)泄漏事

件,使得全密態(tài)執(zhí)行環(huán)境、敏感數(shù)據(jù)自動識別、高效數(shù)據(jù)加解密、細

粒度的權(quán)限控制、零信任等內(nèi)生安全技術(shù)在數(shù)據(jù)存儲與計算技術(shù)產(chǎn)品

中的應(yīng)用不斷增加,與傳統(tǒng)網(wǎng)絡(luò)安全防護相輔相成。近一年,華為云、

阿里云相繼推出全密態(tài)數(shù)據(jù)庫,星環(huán)科技TDH、阿里云Dataworks紛

紛加入敏感數(shù)據(jù)識別能力,亞馬遜RDS增加內(nèi)置防火墻。

(三)數(shù)據(jù)存儲與計算面臨的主要挑戰(zhàn)與發(fā)展趨勢

經(jīng)過半世紀的發(fā)展,數(shù)據(jù)存儲與計算領(lǐng)域總體技術(shù)框架基本成熟,

產(chǎn)業(yè)穩(wěn)步發(fā)展,為上層各類數(shù)據(jù)應(yīng)用誕生提供了堅實基礎(chǔ)。但隨著數(shù)

字化轉(zhuǎn)型從頭部行業(yè)向傳統(tǒng)行業(yè)延伸、數(shù)據(jù)的生產(chǎn)要素屬性不斷凸顯,

數(shù)據(jù)存儲與計算領(lǐng)域也迎來新的挑戰(zhàn)。一是數(shù)據(jù)存儲與計算技術(shù)平臺

建設(shè)運營成本仍需控制。數(shù)據(jù)存儲與計算技術(shù)平臺規(guī)模體量大、建設(shè)

周期長、前期投入高,但投資回報率卻相對較低。隨著疫情以來經(jīng)濟

大環(huán)境發(fā)生變化,企業(yè)需要更加理性、務(wù)實的開展數(shù)據(jù)存儲與計算技

術(shù)平臺建設(shè),從實際收益的角度進行評估論證和精細化運營,同時數(shù)

據(jù)存儲與計算技術(shù)也應(yīng)從降低運維使用成本等方面優(yōu)化提升。二是促

13

大數(shù)據(jù)白皮書(2022年)

進數(shù)據(jù)要素市場化的數(shù)據(jù)存儲與計算技術(shù)創(chuàng)新仍需加強。隨著數(shù)據(jù)成

為生產(chǎn)要素,數(shù)據(jù)的潛在價值愈發(fā)受到重視,但當(dāng)前數(shù)據(jù)要素市場建

設(shè)面臨數(shù)據(jù)權(quán)屬、定價、安全保護等難點問題,這其中的一些問題是

否能通過數(shù)據(jù)存儲與計算相關(guān)技術(shù)得到解決或加以規(guī)避,正在成為擺

在數(shù)據(jù)存儲與計算領(lǐng)域發(fā)展過程中的關(guān)鍵命題。

未來,數(shù)據(jù)存儲與計算領(lǐng)域呈現(xiàn)以下三點趨勢。

一是技術(shù)和管理雙管齊下,探索數(shù)據(jù)存儲與計算技術(shù)平臺精細化

運營之路。據(jù)Wikibon研究,全球范圍內(nèi)企業(yè)數(shù)據(jù)存儲與計算技術(shù)平

臺的平均投資回報率僅為55%,46%的企業(yè)數(shù)據(jù)存儲與計算技術(shù)平臺

未達到預(yù)期價值。投資回報率低成為制約數(shù)據(jù)存儲與計算技術(shù)平臺滲

透率進一步提升的重要因素,產(chǎn)業(yè)正嘗試從技術(shù)和管理兩方面探索精

細化運營之路。技術(shù)方面,核心計算、存儲等模塊嘗試與AI結(jié)合,

通過智能資源調(diào)度、智能數(shù)據(jù)分層存儲等,實現(xiàn)精細化運營;管理方

面,探索公司內(nèi)部成本分攤方式,從而避免業(yè)務(wù)部門無成本觀念式使

用數(shù)據(jù)存儲與計算技術(shù)平臺,例如技術(shù)部門向業(yè)務(wù)部門售賣資源模式、

按業(yè)務(wù)部門使用量計費模式等。

二是數(shù)據(jù)編織(DataFabric)、全密態(tài)數(shù)據(jù)庫等新理念新技術(shù)不

斷成熟,為數(shù)據(jù)的要素價值釋放提供更強力的技術(shù)底座。數(shù)據(jù)要素市

場形成涉及數(shù)據(jù)權(quán)屬、定價、安全保護等一系列問題,傳統(tǒng)數(shù)據(jù)存儲

與計算技術(shù)重點關(guān)注計算、存儲效率,未解決數(shù)據(jù)要素市場面臨的問

題。隨著數(shù)據(jù)規(guī)模和數(shù)據(jù)關(guān)系復(fù)雜度的增加、數(shù)據(jù)權(quán)屬問題的復(fù)雜化,

傳統(tǒng)集中式數(shù)據(jù)管理模式無法滿足需求,出現(xiàn)了DataFabric這一概

14

大數(shù)據(jù)白皮書(2022年)

念。DataFabric基于主動型元數(shù)據(jù)、增強數(shù)據(jù)目錄、數(shù)據(jù)虛擬化等技

術(shù),形成了一套分布式、自動化、智能化的新型數(shù)據(jù)管理形式,當(dāng)前

IBM已經(jīng)推出了相關(guān)解決方案。全密態(tài)數(shù)據(jù)庫使數(shù)據(jù)在傳輸、計算以

及存儲的各個環(huán)節(jié)始終都處于密文狀態(tài),從而解決數(shù)據(jù)全生命周期的

隱私保護問題,提供數(shù)據(jù)要素安全保護的能力,目前阿里云、華為均

已推出相關(guān)產(chǎn)品。

三是我國數(shù)據(jù)存儲與計算領(lǐng)域技術(shù)和產(chǎn)品將逐步走向海外市場。

我國數(shù)據(jù)存儲與計算領(lǐng)域產(chǎn)業(yè)經(jīng)過多年發(fā)展,在部分技術(shù)領(lǐng)域的供給

能力已經(jīng)達到國際一流水平。當(dāng)前,以東南亞為代表的新興數(shù)字經(jīng)濟

市場規(guī)模正在快速增長,數(shù)據(jù)存儲與計算技術(shù)平臺的建設(shè)需求十分旺

盛。根據(jù)谷歌、淡馬錫和貝恩公司發(fā)布的《2021年東南亞數(shù)字經(jīng)濟調(diào)

查報告》顯示,東南亞數(shù)字經(jīng)濟產(chǎn)業(yè)將在五年內(nèi)實現(xiàn)翻倍增長,在2026

年達到3600億美元。在這一背景下,二十大報告中提出“發(fā)展數(shù)字

貿(mào)易”,商務(wù)部、中央網(wǎng)信辦、工信部聯(lián)合印發(fā)《數(shù)字經(jīng)濟對外投資

合作工作指引》,推動我國在數(shù)字經(jīng)濟領(lǐng)域逐漸形成對外開放新格局。

當(dāng)前,我國數(shù)據(jù)存儲與計算領(lǐng)域的部分企業(yè)已開始走向海外市場,阿

里巴巴、騰訊等企業(yè)已經(jīng)開始借助自身全球云計算網(wǎng)絡(luò)基礎(chǔ),

PingCAP、OceanBase等企業(yè)借助開源優(yōu)勢,助力其數(shù)據(jù)庫、大數(shù)據(jù)

產(chǎn)品突破日本、印尼等海外市場。

三、數(shù)據(jù)管理:在政策引領(lǐng)下規(guī)?;涞?/p>

數(shù)據(jù)管理通過規(guī)范數(shù)據(jù)采集、加工、使用過程,在企業(yè)釋放數(shù)據(jù)

價值的過程中扮演了“承上啟下”的關(guān)鍵角色,是企業(yè)豐富數(shù)據(jù)應(yīng)用、

15

大數(shù)據(jù)白皮書(2022年)

參與數(shù)據(jù)要素流通的前序基礎(chǔ)。由于數(shù)據(jù)管理屬于投入多、見效較慢

的基礎(chǔ)性工作,前期僅資源充足的數(shù)字原生企業(yè)對于數(shù)據(jù)管理工作的

推進速度較快。近年來,在政策支持下,各領(lǐng)域企業(yè)的數(shù)據(jù)管理意識

和能力不斷增強,越來越多的企業(yè)開始從頂層統(tǒng)籌規(guī)劃數(shù)據(jù)管理工作,

我國數(shù)據(jù)管理能力建設(shè)呈現(xiàn)大規(guī)模落地態(tài)勢。本章將介紹數(shù)據(jù)管理領(lǐng)

域的發(fā)展歷程、當(dāng)前現(xiàn)狀、主要特征和趨勢展望。

(一)政策驅(qū)動行業(yè)實踐日益成熟

各領(lǐng)域政策為數(shù)據(jù)管理落地注入強勁動能。通信領(lǐng)域,工業(yè)和信

息化部于2021年11月發(fā)布了《“十四五”信息通信行業(yè)發(fā)展規(guī)劃》,

提出加強數(shù)據(jù)資源管理,探索建立數(shù)據(jù)應(yīng)用處理、數(shù)據(jù)產(chǎn)品標(biāo)準化、

數(shù)據(jù)確權(quán)、數(shù)據(jù)定價、數(shù)據(jù)交易信任、數(shù)據(jù)開放利用全流程的數(shù)據(jù)資

源管理制度體系。制造業(yè)領(lǐng)域,工業(yè)和信息化部于2021年11月印發(fā)

了《“十四五”信息化和工業(yè)化深度融合發(fā)展規(guī)劃》,提出強化大數(shù)

據(jù)在制造業(yè)各環(huán)節(jié)應(yīng)用,制定制造業(yè)數(shù)字化轉(zhuǎn)型行動計劃,以制造業(yè)

數(shù)字化轉(zhuǎn)型為引領(lǐng),培育專業(yè)化、場景化大數(shù)據(jù)解決方案。金融領(lǐng)域,

央行于2022年1月發(fā)布了《金融科技發(fā)展規(guī)劃(2022-2025年)》,

要求全面加強數(shù)據(jù)能力建設(shè)。銀保監(jiān)會于同期發(fā)布了《關(guān)于銀行保險

業(yè)數(shù)字化轉(zhuǎn)型的指導(dǎo)意見》,提出健全數(shù)據(jù)治理體系,增強數(shù)據(jù)管理

能力,加強數(shù)據(jù)質(zhì)量控制,提高數(shù)據(jù)應(yīng)用能力。其他領(lǐng)域,交通運輸

部于2021年10月印發(fā)《數(shù)字交通“十四五”發(fā)展規(guī)劃》,農(nóng)業(yè)農(nóng)村

部于2022年8月發(fā)布《農(nóng)業(yè)現(xiàn)代化示范區(qū)數(shù)字化建設(shè)指南》,提出

加大數(shù)據(jù)治理力度,完善數(shù)據(jù)質(zhì)量管控,推動數(shù)字交通、數(shù)字鄉(xiāng)村等

16

大數(shù)據(jù)白皮書(2022年)

領(lǐng)域發(fā)展。

行業(yè)、地方大力推動DCMM貫標(biāo)評估,通過“以評促建”的方

式提升數(shù)據(jù)管理能力。工業(yè)和信息化部信息技術(shù)發(fā)展司組織協(xié)調(diào)全國

信息技術(shù)標(biāo)準化技術(shù)委員會(TC28)于2014年開始了我國數(shù)據(jù)管理

國家標(biāo)準研制工作,于2018年發(fā)布了《數(shù)據(jù)管理能力成熟度評估模

型》(Datamanagementcapabilitymaturityassessmentmodel,簡稱

DCMM),從組織、制度、技術(shù)、人員等方面綜合評價企業(yè)數(shù)據(jù)管理

水平。DCMM評估自2020年啟動,河北、天津、無錫等20余省市

相繼發(fā)布針對性支持政策,推動DCMM參評企業(yè)數(shù)量持續(xù)增長,截

至目前已累計完成近千家企業(yè)的評估,參評企業(yè)分布于全國各地,企

業(yè)類型覆蓋軟件和信息技術(shù)服務(wù)業(yè)、制造業(yè)、銀行業(yè)、電力業(yè)、通信

業(yè)等多個行業(yè)。2021年參評企業(yè)增速為88.7%,2022年參評企業(yè)增

速為152.9%,兩年獲證企業(yè)數(shù)量平均增速達到了120.8%。

來源:中國信息通信研究院

圖32020-2022年DCMM參評企業(yè)數(shù)量增速

頭部企業(yè)數(shù)據(jù)管理工作已經(jīng)進入深水期,但大部分企業(yè)仍處于數(shù)

17

大數(shù)據(jù)白皮書(2022年)

據(jù)管理初期。中國電子信息行業(yè)聯(lián)合會DCMM評估統(tǒng)計結(jié)果顯示,

現(xiàn)階段通信業(yè)、銀行業(yè)、電力業(yè)數(shù)據(jù)管理能力相對領(lǐng)先,逐漸邁入深

水區(qū),以上3個行業(yè)DCMM評分普遍在3級以上,通信業(yè)4級占比

超過了60%,銀行業(yè)3級占比接近70%,電力業(yè)3級和4級累計占

比達到85%。軟件和信息技術(shù)業(yè)、制造業(yè)數(shù)據(jù)管理能力相對薄弱,以

上兩個行業(yè)集中于2級和3級,同時2級比例遠高于3級,其中軟件

和信息技術(shù)業(yè)的2級占比是3級2倍以上,累計占比達到97%,制造

業(yè)的2級占比接近3級的5倍,累計占比達到98%。

(二)當(dāng)前數(shù)據(jù)管理發(fā)展呈現(xiàn)四大特點

頭部企業(yè)數(shù)據(jù)管理起步較早,數(shù)據(jù)管理能力相對成熟,管理方法

和模式對于發(fā)展初期的企業(yè)具有良好的參考價值。宏觀管理層面,成

立了專門數(shù)據(jù)管理團隊,發(fā)布獨立數(shù)據(jù)戰(zhàn)略規(guī)劃,提升數(shù)據(jù)管理專業(yè)

性;微觀執(zhí)行層面,強化數(shù)據(jù)供給能力,全面提高數(shù)據(jù)質(zhì)量水平,依

托統(tǒng)一數(shù)據(jù)管理平臺,提高數(shù)據(jù)管理效率。

1.通過成立專職團隊增強數(shù)據(jù)管理執(zhí)行效率

為推動數(shù)據(jù)管理有效開展,越來越多的企業(yè)成立統(tǒng)一數(shù)據(jù)管理歸

口部門,形成了決策、管理、執(zhí)行的數(shù)據(jù)管理三層架構(gòu)組織,并設(shè)置

了專門的數(shù)據(jù)管理崗位,建立了數(shù)據(jù)部門、技術(shù)部門和業(yè)務(wù)部門協(xié)同

機制。例如,中國移動成立IT管委會統(tǒng)籌數(shù)據(jù)管理制度、標(biāo)準、流

程,信息技術(shù)中心牽頭全網(wǎng)各域數(shù)據(jù)治理和平臺建設(shè),并加掛大數(shù)據(jù)

中心負責(zé)大數(shù)據(jù)管理和運營,與各業(yè)務(wù)部門及省專單位數(shù)據(jù)“管、建、

戰(zhàn)”協(xié)同。中國聯(lián)通在集團成立了數(shù)字化轉(zhuǎn)型部門,統(tǒng)籌負責(zé)數(shù)據(jù)管

18

大數(shù)據(jù)白皮書(2022年)

理工作,在網(wǎng)絡(luò)域、管理域、客戶域的業(yè)務(wù)部門、市場部、分子公司

指定了數(shù)據(jù)管理對接人,由聯(lián)通軟研院承擔(dān)數(shù)據(jù)管理技術(shù)平臺開發(fā)和

運維工作。工商銀行在金融科技委員會下設(shè)數(shù)據(jù)治理委員會作為決策

層,數(shù)據(jù)管理部/信息管理部作為管理層,大數(shù)據(jù)中心/軟件開發(fā)中心

提供技術(shù)支持,核心業(yè)務(wù)部門負責(zé)數(shù)據(jù)采集和數(shù)據(jù)應(yīng)用,負責(zé)執(zhí)行具

體數(shù)據(jù)管理工作。

來源:中國信息通信研究院

圖4數(shù)據(jù)管理組織架構(gòu)示意圖

2.通過發(fā)布獨立規(guī)劃推動數(shù)據(jù)管理精準開展

在企業(yè)紛紛發(fā)布數(shù)字化轉(zhuǎn)型整體戰(zhàn)略基礎(chǔ)上,為精準提升數(shù)據(jù)管

理工作的質(zhì)量和效率,越來越多的企業(yè)發(fā)布了獨立的數(shù)據(jù)管理戰(zhàn)略規(guī)

劃,從而確立數(shù)據(jù)管理工作的中長期目標(biāo)和管理活動優(yōu)先級,明確需

要的資源投入總量和資源分配機制,指導(dǎo)數(shù)據(jù)管理團隊的工作有效執(zhí)

行。例如中國電信集團2021年發(fā)布了《中國電信數(shù)據(jù)治理體系化推

進工作指引》,旨在結(jié)合“云改數(shù)轉(zhuǎn)”數(shù)字化轉(zhuǎn)型整體思路推動數(shù)據(jù)

管理工作體系化開展,指導(dǎo)集團下各單位從數(shù)據(jù)模型管理、數(shù)據(jù)質(zhì)量

管理、數(shù)據(jù)安全管理、數(shù)據(jù)共享等方面推進數(shù)據(jù)治理工作高效開展。

19

大數(shù)據(jù)白皮書(2022年)

3.通過開展專項行動進一步提升數(shù)據(jù)供給質(zhì)量

良好的數(shù)據(jù)供給能力是數(shù)據(jù)分析挖掘的基礎(chǔ),在工業(yè)物聯(lián)網(wǎng)、工

業(yè)互聯(lián)網(wǎng)、邊緣計算等技術(shù)快速發(fā)展的背景下,企業(yè)業(yè)務(wù)線上化加速、

數(shù)據(jù)規(guī)模爆炸性增長,如何保障數(shù)據(jù)質(zhì)量水平、增強數(shù)據(jù)可信可用成

為了數(shù)據(jù)管理的關(guān)鍵一步。以南方電網(wǎng)為例,數(shù)據(jù)量從“十三五”初

期的220TB提升至2.4PB,數(shù)據(jù)采集范圍拓展至競爭性業(yè)務(wù)、金融業(yè)

務(wù)等板塊,關(guān)鍵運行數(shù)據(jù)采集頻率提升超過60倍。在數(shù)據(jù)源頭快速

變化的背景下,南方電網(wǎng)在常態(tài)化數(shù)據(jù)質(zhì)量治理的基礎(chǔ)上開展數(shù)據(jù)質(zhì)

量提升專項,短時間內(nèi)、集中資源力量打通數(shù)據(jù)質(zhì)量工作的難點、堵

點,在主配網(wǎng)數(shù)據(jù)治理領(lǐng)域,形成配網(wǎng)數(shù)據(jù)問題識別規(guī)則14項,累

計識別并整改2100余萬條數(shù)據(jù)質(zhì)量問題,全網(wǎng)各單位變電站輪廓坐

標(biāo)、桿塔坐標(biāo)準確率達到99%。

4.通過統(tǒng)一技術(shù)平臺消除數(shù)據(jù)管理協(xié)同難點

早期,各企業(yè)針對數(shù)據(jù)管理中的各項工作,逐步建設(shè)了數(shù)據(jù)標(biāo)準

管理平臺、數(shù)據(jù)質(zhì)量管理平臺、數(shù)據(jù)架構(gòu)管理平臺、元數(shù)據(jù)管理平臺、

主數(shù)據(jù)管理平臺等單一功能型技術(shù)工具,這些技術(shù)工具通常獨立存在,

使得數(shù)據(jù)管理各項活動間銜接性較差,例如數(shù)據(jù)標(biāo)準難以應(yīng)用于數(shù)據(jù)

模型、數(shù)據(jù)質(zhì)量難以從源頭把控等,導(dǎo)致管理資源的冗余和浪費。隨

著統(tǒng)一數(shù)據(jù)管理平臺的成熟,其將各單一功能型技術(shù)工具進行集成,

構(gòu)建了數(shù)據(jù)管理工作的“一站式”技術(shù)平臺,對于統(tǒng)籌數(shù)據(jù)管理工作、

提高數(shù)據(jù)管理效率的作用日益突出。例如中國移動構(gòu)建了元數(shù)據(jù)驅(qū)動

的統(tǒng)一數(shù)據(jù)治理平臺,全面拉通異構(gòu)跨地域跨平臺的元數(shù)據(jù),統(tǒng)一支

20

大數(shù)據(jù)白皮書(2022年)

撐數(shù)據(jù)管理、開發(fā)、運營、運維人員的數(shù)據(jù)治理工作,實現(xiàn)數(shù)據(jù)一點

可看、可控、可管。國網(wǎng)大數(shù)據(jù)中心基于統(tǒng)一數(shù)據(jù)管理技術(shù)平臺,實

現(xiàn)總部及27家省(市)公司PB級數(shù)據(jù)的統(tǒng)一管理,有效加快電網(wǎng)整

體數(shù)字化轉(zhuǎn)型升級。

(三)數(shù)據(jù)管理面臨的主要挑戰(zhàn)與發(fā)展趨勢

目前企業(yè)在數(shù)據(jù)管理方面仍然面臨三點挑戰(zhàn)。一是數(shù)據(jù)的業(yè)務(wù)價

值不顯著,數(shù)據(jù)管理內(nèi)驅(qū)動力不足。推動業(yè)務(wù)創(chuàng)新和發(fā)展是數(shù)據(jù)價值

的最終目標(biāo),由于企業(yè)缺乏對數(shù)據(jù)產(chǎn)生業(yè)務(wù)價值進行度量的體系,導(dǎo)

致企業(yè)決策層、管理層和業(yè)務(wù)部門難以對數(shù)據(jù)價值有效感知,進一步

降低了企業(yè)持續(xù)開展數(shù)據(jù)管理的動力。二是數(shù)據(jù)、IT和業(yè)務(wù)仍存在割

裂,組織架構(gòu)亟需變革調(diào)整。盡管越來越多的企業(yè)成立專門的數(shù)據(jù)管

理團隊,但是尚未明確數(shù)據(jù)管理團隊與IT團隊、業(yè)務(wù)團隊的協(xié)作機

制,導(dǎo)致數(shù)據(jù)管理與企業(yè)信息化建設(shè)和業(yè)務(wù)發(fā)展脫節(jié),阻礙了數(shù)據(jù)管

理成果在企業(yè)系統(tǒng)和業(yè)務(wù)場景的落地。三是數(shù)據(jù)管理人才缺失,數(shù)據(jù)

管理推進后勁不足。由于數(shù)據(jù)管理是一個新興領(lǐng)域,有別于傳統(tǒng)的數(shù)

據(jù)庫和計算機領(lǐng)域,需要的是具備管理能力、技術(shù)能力和業(yè)務(wù)能力的

復(fù)合型人才,因此面臨較大缺口。

未來,數(shù)據(jù)管理領(lǐng)域呈現(xiàn)以下三點趨勢。

一是首席數(shù)據(jù)官(ChiefDataOfficer,CDO)制度將助力企業(yè)全面

開展數(shù)據(jù)管理。CDO是有效管理和運用企業(yè)數(shù)據(jù)資源、充分挖掘數(shù)

據(jù)價值、驅(qū)動業(yè)務(wù)創(chuàng)新和轉(zhuǎn)型變革的企業(yè)負責(zé)人,負責(zé)為公司制定一

個明確的數(shù)字化戰(zhàn)略,確保相關(guān)舉措都獲得資源分配,并通過衡量數(shù)

21

大數(shù)據(jù)白皮書(2022年)

字項目投資回報率的方式,提高客戶參與度和忠誠度,推動企業(yè)形成

數(shù)據(jù)管理良性閉環(huán)。事實上,在過去的幾年里,國外已有包括通用電

氣、富國銀行在內(nèi)的眾多企業(yè)設(shè)置了CDO崗位,全面推動企業(yè)數(shù)字

化轉(zhuǎn)型。國內(nèi)廣東省于2022年在政府工作報告重點任務(wù)分工方案明

確提出,要“出臺企業(yè)首席數(shù)據(jù)官建設(shè)指南”,鼓勵具備條件的企業(yè)

在決策層設(shè)立CDO,按照“企業(yè)主導(dǎo)、政府推動、價值優(yōu)先、多方協(xié)

同”的建設(shè)原則組織實施。

二是數(shù)據(jù)研發(fā)運營一體化(DataOps)將有效提升數(shù)據(jù)管理協(xié)同

效率。隨著數(shù)據(jù)應(yīng)用場景日益豐富帶來數(shù)據(jù)分析需求快速變化,數(shù)據(jù)

工程師、數(shù)據(jù)管理員、報表開發(fā)人員、運維工程師在內(nèi)的各類數(shù)據(jù)管

理角色逐漸增多,導(dǎo)致企業(yè)各類數(shù)據(jù)交付任務(wù)難度大大增加。DataOps

旨在打破數(shù)據(jù)管理各環(huán)節(jié)之間的割裂,將數(shù)據(jù)質(zhì)量達標(biāo)率、數(shù)據(jù)標(biāo)準

落標(biāo)率、數(shù)據(jù)架構(gòu)符合度、數(shù)據(jù)安全滿足度等指標(biāo)作為數(shù)據(jù)設(shè)計、開

發(fā)和測試的要求,優(yōu)化數(shù)據(jù)生產(chǎn)者和數(shù)據(jù)消費者協(xié)作效率,并通過標(biāo)

準化大數(shù)據(jù)組件,構(gòu)建一體化平臺打通數(shù)據(jù)設(shè)計、開發(fā)、測試和運維

各環(huán)節(jié),實現(xiàn)編寫代碼、生產(chǎn)部署、調(diào)度監(jiān)控全過程線上化,引入可

視化編排、CI/CD等技術(shù)降低數(shù)據(jù)研發(fā)技術(shù)門檻,推動敏態(tài)數(shù)據(jù)研發(fā),

提高數(shù)據(jù)運維質(zhì)量。

三是提高智能化程度將成為降低數(shù)據(jù)管理成本的關(guān)鍵。通過利用

AI、ML、RPA、語義分析、可視化等技術(shù),自動識別或匹配數(shù)據(jù)規(guī)則

(包括數(shù)據(jù)標(biāo)準規(guī)則、數(shù)據(jù)質(zhì)量規(guī)則、數(shù)據(jù)安全規(guī)則等),自動執(zhí)行

數(shù)據(jù)規(guī)則校驗,自動發(fā)現(xiàn)數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系,并以可視化的方式展

22

大數(shù)據(jù)白皮書(2022年)

現(xiàn)。此外,利用VR、AR、3D可視化等技術(shù),幫助數(shù)據(jù)使用者探索

數(shù)據(jù)和挖掘數(shù)據(jù),提升數(shù)據(jù)應(yīng)用的趣味性,降低數(shù)據(jù)使用門檻。

四、數(shù)據(jù)流通:流通規(guī)范體系加速構(gòu)建

數(shù)據(jù)流通是指以數(shù)據(jù)或數(shù)據(jù)中蘊含的價值(信息內(nèi)容)作為對象,

按照一定規(guī)則從數(shù)據(jù)提供方傳遞到數(shù)據(jù)需求方的過程,即數(shù)據(jù)資源先

后被不同主體獲取、掌握或利用的過程。在數(shù)據(jù)要素市場建設(shè)的背景

下,數(shù)據(jù)流通領(lǐng)域受到了空前的關(guān)注,各方均在積極探索參與數(shù)據(jù)流

通,進而實現(xiàn)充分釋放數(shù)據(jù)要素價值的目標(biāo)。本章將介紹數(shù)據(jù)流通領(lǐng)

域的發(fā)展歷程、當(dāng)前現(xiàn)狀、主要特征和趨勢展望。

(一)數(shù)據(jù)流通發(fā)展重心向“規(guī)范化”轉(zhuǎn)移

數(shù)據(jù)流通是釋放數(shù)據(jù)要素價值的關(guān)鍵一環(huán)。一方面,數(shù)據(jù)具有外

部性,即同一組數(shù)據(jù)可以在不同的維度上產(chǎn)生不同的價值和效用。借

助數(shù)據(jù)流通數(shù)據(jù)可以在不同的數(shù)據(jù)接受者一方與自有數(shù)據(jù)匯聚,不斷

開拓使用維度,數(shù)據(jù)價值也將在社會面層層放大。另一方面,數(shù)據(jù)存

在分布不均衡的問題,企業(yè)采集的數(shù)據(jù)通常具有較強的行業(yè)屬性,特

征不夠全面,同時中小型企業(yè)收集的數(shù)據(jù)樣本量較少,難以支撐業(yè)務(wù)。

數(shù)據(jù)流通為利用數(shù)據(jù)的外部性,解決數(shù)據(jù)分布不均衡的問題,充分釋

放數(shù)據(jù)要素價值提供了有效手段。

數(shù)據(jù)流通隨商業(yè)信息分析需求增強而日益旺盛,合規(guī)性逐漸引起

關(guān)注。1841年,鄧白氏集團(D&B)率先將各種商業(yè)信息收集匯聚,

構(gòu)建信用評定的數(shù)據(jù)指標(biāo)體系,“數(shù)據(jù)服務(wù)商”的雛形初現(xiàn)。2000年

左右,隨著互聯(lián)網(wǎng)領(lǐng)域的迅速發(fā)展,企業(yè)對于數(shù)據(jù)的采集與流通需求

23

大數(shù)據(jù)白皮書(2022年)

進一步增強,例如谷歌就借助了AdSense獲取大量用戶行為數(shù)據(jù)用于

優(yōu)化其廣告投放效率并以此獲利,這也帶動了后來廣告營銷場景的大

量數(shù)據(jù)流通活動。2008年,隨著Infochimps、Factual、DataSift、Datahub、

Acxiom等一批知名專業(yè)數(shù)據(jù)服務(wù)商相繼涌現(xiàn),現(xiàn)代意義上的數(shù)據(jù)流

通正式形成。在這一時期,原始數(shù)據(jù)直接流通成為數(shù)據(jù)流通的主要形

式,商業(yè)形態(tài)也較為原始粗放,有較高的合規(guī)風(fēng)險。2014年后,貴陽、

上海等為代表的一批具備官方背景的數(shù)據(jù)交易所成立,銀行等金融機

構(gòu)開始大量引入外部數(shù)據(jù),數(shù)據(jù)流通需求廣泛提升,API接口調(diào)用的

數(shù)據(jù)流通形式逐漸增多。與此同時,數(shù)據(jù)流通的合規(guī)性逐漸成為業(yè)界

的關(guān)注點。

制度創(chuàng)新和技術(shù)創(chuàng)新雙輪驅(qū)動數(shù)據(jù)流通行業(yè)實現(xiàn)“規(guī)范化發(fā)展”。

制度創(chuàng)新方面,2022年6月22日中央深改委第二十六次會議強調(diào)

“要促進數(shù)據(jù)高效流通使用、賦能實體經(jīng)濟,統(tǒng)籌推進數(shù)據(jù)產(chǎn)權(quán)、流

通交易、收益分配、安全治理,加快構(gòu)建數(shù)據(jù)基礎(chǔ)制度體系”,為我

國數(shù)據(jù)流通產(chǎn)業(yè)發(fā)展提供了重要思路。技術(shù)創(chuàng)新方面,以隱私計算為

代表的數(shù)據(jù)流通技術(shù)提供了“數(shù)據(jù)可用不可見”、“數(shù)據(jù)可控可計量”

的數(shù)據(jù)服務(wù)新范式,在保障數(shù)據(jù)安全前提下實現(xiàn)了數(shù)據(jù)流通效果,從

而為需求方企業(yè)安全地獲取和利用外部數(shù)據(jù)提供了技術(shù)可能。

(二)當(dāng)前數(shù)據(jù)流通發(fā)展呈現(xiàn)四大特點

1.數(shù)據(jù)流通規(guī)則逐漸清晰

由于數(shù)據(jù)流通存在技術(shù)依賴、非標(biāo)準化的特點,面向多元數(shù)據(jù)主

體和多樣數(shù)據(jù)流轉(zhuǎn)形態(tài),參與流通的供需雙方需要科學(xué)、可靠且共識

24

大數(shù)據(jù)白皮書(2022年)

的規(guī)則體系,才能建立信任?,F(xiàn)階段,從政策指引到應(yīng)用實踐,各方

均在積極探索建立健全數(shù)據(jù)流通規(guī)則。在政策指引方面,2022年內(nèi)發(fā)

布的一系列政策文件(如表3)中均提出了建立數(shù)據(jù)流通規(guī)則的相關(guān)

內(nèi)容。在實踐探索方面,各地方、各行業(yè)、各類市場主體也在實踐過

程中積極探索數(shù)據(jù)流通配套規(guī)則。例如,貴陽大數(shù)據(jù)交易所于2022

年5月發(fā)布一系列數(shù)據(jù)交易規(guī)則,為交易主體權(quán)責(zé)劃分提供依據(jù),并

依據(jù)規(guī)則為數(shù)據(jù)產(chǎn)品、數(shù)據(jù)商、第三方數(shù)據(jù)服務(wù)中介機構(gòu)等提供登記

憑證,以確認數(shù)據(jù)和主體具備進入市場交易的條件,探索解決市場主

體互信難的問題。

表32022年數(shù)據(jù)流通規(guī)則建設(shè)相關(guān)政策清單

時間文件內(nèi)容

探索“原始數(shù)據(jù)不出域、數(shù)據(jù)可用不可見”的交

易范式,在保護個人隱私和確保數(shù)據(jù)安全的前提

下,分級分類、分步有序推動部分領(lǐng)域數(shù)據(jù)流通

國務(wù)院

應(yīng)用。探索建立數(shù)據(jù)用途和用量控制制度,實現(xiàn)

2022.01《要素市場化配置綜合

數(shù)據(jù)使用“可控可計量”。規(guī)范培育數(shù)據(jù)交易市

改革試點總體方案》

場主體,發(fā)展數(shù)據(jù)資產(chǎn)評估、登記結(jié)算、交易撮

合、爭議仲裁等市場運營體系,穩(wěn)妥探索開展數(shù)

據(jù)資產(chǎn)化服務(wù)。

國務(wù)院加快培育數(shù)據(jù)要素市場,建立健全數(shù)據(jù)安全、權(quán)

《中共中央國務(wù)院關(guān)于利保護、跨境傳輸管理、交易流通、開放共享、

2022.04

加快建設(shè)全國統(tǒng)一大市安全認證等基礎(chǔ)制度和標(biāo)準規(guī)范,深入開展數(shù)據(jù)

場的意見》資源調(diào)查,推動數(shù)據(jù)資源開發(fā)利用。

中央深改委

要建立合規(guī)高效的數(shù)據(jù)要素流通和交易制度,完

《關(guān)于構(gòu)建數(shù)據(jù)基礎(chǔ)制

2022.12善數(shù)據(jù)全流程合規(guī)和監(jiān)管規(guī)則體系,建設(shè)規(guī)范的

度更好發(fā)揮數(shù)據(jù)要素作

數(shù)據(jù)交易市場。

用的意見》

來源:中國信息通信研究院

2.流通參與熱情高漲,供需對接向多行業(yè)擴展

隨著數(shù)字化轉(zhuǎn)型的不斷深入和智能化水平的不斷攀升,企業(yè)參與

25

大數(shù)據(jù)白皮書(2022年)

數(shù)據(jù)流通的熱情空前高漲,數(shù)據(jù)流通的供需方從金融、互聯(lián)網(wǎng)持續(xù)向

其他行業(yè)擴展。

金融、互聯(lián)網(wǎng)行業(yè)的流通實踐不斷深化。金融行業(yè)中,風(fēng)險控制

要求極為嚴格,各大金融機構(gòu)以雄厚的資金實力做支撐,早已成為數(shù)

據(jù)要素市場的主要參與者?;ヂ?lián)網(wǎng)行業(yè)中,許多頭部企業(yè)已對外提供

眾多數(shù)據(jù)接口或數(shù)據(jù)產(chǎn)品,以滿足中小互聯(lián)網(wǎng)企業(yè)或其他行業(yè)研發(fā)應(yīng)

用、精準營銷、智能服務(wù)等需求。調(diào)研顯示,當(dāng)前金融機構(gòu)及大型互

聯(lián)網(wǎng)企業(yè)普遍建立了統(tǒng)一的部門或團隊管理外部數(shù)據(jù),頭部企業(yè)每年

的外部數(shù)據(jù)采購額已經(jīng)達到了億級規(guī)模。根據(jù)推算,僅銀行及互聯(lián)網(wǎng)

金融行業(yè)的外部數(shù)據(jù)采購額即可突破百億規(guī)模。

其他各類傳統(tǒng)行業(yè)也在不斷探索參與數(shù)據(jù)流通。工業(yè)領(lǐng)域中,數(shù)

字化轉(zhuǎn)型剛剛起步,還需經(jīng)歷產(chǎn)線內(nèi)數(shù)據(jù)聯(lián)動、工廠內(nèi)數(shù)據(jù)協(xié)同、企

業(yè)內(nèi)數(shù)據(jù)共享、企業(yè)間數(shù)據(jù)流通等多階段探索。目前,國家工業(yè)互聯(lián)

網(wǎng)大數(shù)據(jù)交易平臺已處于內(nèi)部測試階段,著力解決工業(yè)企業(yè)數(shù)據(jù)流通

的難點,促進工業(yè)數(shù)據(jù)要素市場發(fā)展。此外,政務(wù)、氣象、交通、醫(yī)

療等行業(yè)和場景的數(shù)據(jù)需求也逐步顯現(xiàn),相應(yīng)公共數(shù)據(jù)的開放或企業(yè)

數(shù)據(jù)的供給獲得更廣泛的關(guān)注。

3.安全流通技術(shù)重要性凸顯

在合規(guī)要求日趨收緊的背景下,能夠提供合規(guī)前提下充分挖掘數(shù)

據(jù)價值、促進數(shù)據(jù)流通的各類技術(shù)解決方案受到了業(yè)內(nèi)的廣泛關(guān)注。

數(shù)據(jù)脫敏與數(shù)據(jù)合成技術(shù)主要作用于數(shù)據(jù)流通的輸入階段,能夠

有效降低原始數(shù)據(jù)中包含的隱私信息泄露風(fēng)險。當(dāng)前,脫敏技術(shù)從基

26

大數(shù)據(jù)白皮書(2022年)

于SQL腳本的人工脫敏,自動化、流程化的平臺脫敏,逐漸走向了

應(yīng)用機器學(xué)習(xí)等技術(shù)的智能化數(shù)據(jù)脫敏階段。但是,目前該技術(shù)仍面

臨降低數(shù)據(jù)價值、無法明確是否滿足法律要求以及無法有效防止數(shù)據(jù)

復(fù)制和篡改等問題。數(shù)據(jù)合成技術(shù)仍處于初級探索階段。在應(yīng)用實踐

方面,醫(yī)療、金融、通信領(lǐng)域的相關(guān)企業(yè)如Illumina、J.P.Morgan、

Telefonica等都引入了數(shù)據(jù)合成技術(shù)試圖解決數(shù)據(jù)隱私問題。

隱私計算作用在數(shù)據(jù)流通的輸入、計算、輸出階段,實現(xiàn)了全流

程的數(shù)據(jù)“可用不可見”、“可控可計量”。現(xiàn)階段,隱私計算已成

為最有希望解決數(shù)據(jù)安全流通問題的關(guān)鍵技術(shù)。全球知名咨詢機構(gòu)

Gartner已連續(xù)兩年將隱私計算(其稱隱私增強計算)列為了重要戰(zhàn)

略科技趨勢。根據(jù)中國信通院調(diào)研顯示,自2018年以來,包括綜合

科技、大數(shù)據(jù)、金融科技、人工智能、區(qū)塊鏈、云服務(wù)、信息安全等

類型的企業(yè)紛紛入局隱私計算賽道,累計孵化出100余款產(chǎn)品,廣泛

應(yīng)用于金融、通信、互聯(lián)網(wǎng)、醫(yī)療、政務(wù)等領(lǐng)域。

區(qū)塊鏈為數(shù)據(jù)流通中的驗證、追溯、審計提供了有效保障。將區(qū)

塊鏈與其他各類數(shù)據(jù)安全流通技術(shù)相結(jié)合,能夠為數(shù)據(jù)溯源、交易存

證、數(shù)據(jù)侵權(quán)舉證等數(shù)據(jù)市場化等問題提供可行的解決方案,實現(xiàn)數(shù)

據(jù)流通全流程可驗證、可追溯、可審計,并為進一步建設(shè)高效、高安

全和高流動性的數(shù)據(jù)要素市場打下基礎(chǔ)。

4.數(shù)據(jù)流通產(chǎn)品形態(tài)逐漸向個性化定制方向轉(zhuǎn)變

隨著各行業(yè)企業(yè)逐漸對業(yè)務(wù)進行數(shù)智化升級和改造,數(shù)據(jù)應(yīng)用的

場景不斷豐富,數(shù)據(jù)流通市場逐漸從“以數(shù)據(jù)產(chǎn)品為主”向市場驅(qū)動

27

大數(shù)據(jù)白皮書(2022年)

的“以數(shù)據(jù)需求為主”轉(zhuǎn)變。數(shù)據(jù)提供方趨向以數(shù)據(jù)需求作為入口與

市場和用戶接觸,根據(jù)需方企業(yè)的個性化需求提供針對性更強的解決

方案,反向帶動數(shù)據(jù)流通的活力。以最早掛牌新三板的數(shù)據(jù)源服務(wù)提

供商數(shù)據(jù)堂為例,其商業(yè)模式可以概括為兩個方面,一是大數(shù)據(jù)交易

平臺,二是面向B端客戶提供定制化數(shù)據(jù)源服務(wù)。再如科創(chuàng)信息、百

融云創(chuàng)、神州泰岳等我國大數(shù)據(jù)服務(wù)領(lǐng)域的頭部上市企業(yè),無一不是

通過提供定制化服務(wù)快速占領(lǐng)細分領(lǐng)域市場,根據(jù)現(xiàn)實場景構(gòu)建適合

企業(yè)自身的大數(shù)據(jù)體系。

(三)數(shù)據(jù)流通面臨的主要挑戰(zhàn)與發(fā)展趨勢

當(dāng)前,數(shù)據(jù)流通尚未充分激活,主要原因在于我國數(shù)據(jù)要素市場

培育的基礎(chǔ)還不扎實,在數(shù)據(jù)流通相關(guān)的權(quán)利關(guān)系、價格機制、行為

規(guī)則、技術(shù)支撐等方面仍存在諸多障礙,使得數(shù)據(jù)的供給和需求都存

在一定障礙。一是數(shù)據(jù)權(quán)屬界定的場景與問題復(fù)雜,對于參與數(shù)據(jù)流

通的主體權(quán)利關(guān)系,理論、制度和產(chǎn)業(yè)實踐層面均尚未形成共識。二

是數(shù)據(jù)的估值定價尚缺乏科學(xué)、標(biāo)準的評價方法,傳統(tǒng)的估值定價方

法很難完全適用于數(shù)據(jù)流通的特點。三是數(shù)據(jù)流通的準入、競爭等行

為約束沒有清晰的法律界定,配套的激勵和監(jiān)管規(guī)則也不完善,相關(guān)

市場主體顧慮很多、動力不足。四是隱私計算等數(shù)據(jù)流通關(guān)鍵技術(shù)應(yīng)

用還不成熟,數(shù)據(jù)安全流通的技術(shù)方案仍需持續(xù)探索。

因此,對于參與數(shù)據(jù)流通的企業(yè)而言,需重點關(guān)注兩大問題。一

方面,如何穩(wěn)定本企業(yè)的數(shù)據(jù)供應(yīng)鏈。外部數(shù)據(jù)如何持續(xù)、穩(wěn)定地被

獲取,如何不斷提升數(shù)據(jù)的質(zhì)量,如何管理好引入的外部數(shù)據(jù),成為

28

大數(shù)據(jù)白皮書(2022年)

企業(yè)在數(shù)據(jù)流通中關(guān)注的重點。中國信通院云大所構(gòu)建的外部數(shù)據(jù)源

評估標(biāo)準和外部數(shù)據(jù)管理標(biāo)準,就試圖為這一領(lǐng)域提供值得借鑒的經(jīng)

驗。另一方面,如何深刻地參與到國家數(shù)據(jù)要素市場建設(shè)之中。數(shù)據(jù)

如何對外提供,需要滿足哪些責(zé)、權(quán)、利方面的程序,如何更高效、

更低成本地參與到統(tǒng)一大市場中的數(shù)據(jù)流通環(huán)節(jié),成為企業(yè)面臨的新

命題。

未來,數(shù)據(jù)流通領(lǐng)域呈現(xiàn)以下三點趨勢。

一是公共數(shù)據(jù)開放帶動數(shù)據(jù)流通供給?!耙愿邇r值公共數(shù)據(jù)為突

破口,強化政府的引領(lǐng)作用,帶動商業(yè)數(shù)據(jù)供給”已成為解決數(shù)據(jù)供

給不充足,激活市場主體內(nèi)在動力的最為緊迫的任務(wù)之一。近年來各

地方政府在政務(wù)數(shù)據(jù)開放平臺建設(shè)方面積極推進,取得了良好成效。

未來,針對已有的公共數(shù)據(jù)開放,應(yīng)明確公共數(shù)據(jù)開放規(guī)則,建立公

共數(shù)據(jù)開放的社會需求受理渠道,基于公共數(shù)據(jù)開發(fā)利用清單,結(jié)合

應(yīng)用需求建立公共數(shù)據(jù)開放動態(tài)調(diào)整機制,推動公共數(shù)據(jù)有序開放。

針對各地正在積極推進的非個人數(shù)據(jù)授權(quán)運營,應(yīng)在規(guī)范的基礎(chǔ)上持

續(xù)創(chuàng)新,一是加快規(guī)則建設(shè),二是鼓勵市場主體參與,三是強化數(shù)據(jù)

安全保障。此外,還需持續(xù)探索創(chuàng)新思路,推動公共數(shù)據(jù)產(chǎn)品通過數(shù)

據(jù)交易場所掛牌上市,探索公共數(shù)據(jù)資產(chǎn)登記,創(chuàng)新公共數(shù)據(jù)供給形

式等。

二是場景化的技術(shù)分級框架將促進數(shù)據(jù)安全流通實踐落地。各類

安全流通技術(shù)的使用往往會帶來數(shù)據(jù)應(yīng)用價值的損失。一般來說,隨

著數(shù)據(jù)可控程度的提升,數(shù)據(jù)應(yīng)用價值的損失也會進一步增大,兩者

29

大數(shù)據(jù)白皮書(2022年)

之間難以兼顧。在數(shù)據(jù)流通過程中,各應(yīng)用場景對應(yīng)的參與方信任程

度不同、數(shù)據(jù)類型不同,這造成了其需要達到的數(shù)據(jù)可控程度也是不

同的。一味的追求高安全水平可能會造成數(shù)據(jù)流通價值無法達到預(yù)期,

降低了各主體的參與積極性。在未來的數(shù)據(jù)流通實踐中,參與主體也

應(yīng)結(jié)合實際業(yè)務(wù)需求,基于場景選取適當(dāng)分級條件下的技術(shù)方案,實

現(xiàn)數(shù)據(jù)可控程度和數(shù)據(jù)流通價值的最大化。

三是可信流通體系將為數(shù)據(jù)有序流通提供條件??尚帕魍w系旨

在為有序的數(shù)據(jù)流通提供信任,全面提高數(shù)據(jù)可信、可用、可流通、

可追溯水平。近幾年,以數(shù)據(jù)為主要驅(qū)動的行業(yè),特別是金融和互聯(lián)

網(wǎng)行業(yè)的頭部企業(yè),都在構(gòu)建自己的可信流通生態(tài)圈。一方面,根據(jù)

業(yè)務(wù)需求劃定數(shù)據(jù)供方,確保數(shù)據(jù)源的合法合規(guī)、持續(xù)供應(yīng)、安全可

靠;另一方面,提升數(shù)據(jù)引入后的應(yīng)用管理水平,通過構(gòu)建組織架構(gòu)、

明確各部門職責(zé)要求、建立和實施系統(tǒng)化制度、流程和工具等方式,

全面統(tǒng)籌外部數(shù)據(jù)的需求和使用。未來階段,企業(yè)與行業(yè)間的可信流

通生態(tài)需要融合打通,形成規(guī)范的可信流通體系,重塑數(shù)據(jù)流通規(guī)則、

重組數(shù)據(jù)流通資源,重建數(shù)據(jù)流通渠道,在提高數(shù)據(jù)流通效率的同時

實現(xiàn)對數(shù)據(jù)流通全流程的動態(tài)可控。

五、數(shù)據(jù)應(yīng)用:積極探索數(shù)據(jù)深層價值的釋放路徑

數(shù)據(jù)應(yīng)用通過建立數(shù)據(jù)與業(yè)務(wù)的高效銜接,實現(xiàn)數(shù)據(jù)最終賦能業(yè)

務(wù)。數(shù)據(jù)應(yīng)用決定了數(shù)據(jù)對業(yè)務(wù)的賦能效果,是數(shù)據(jù)價值釋放的“最

后一公里”。若數(shù)據(jù)應(yīng)用不充分,將反向影響企業(yè)對數(shù)據(jù)存儲與計算、

數(shù)據(jù)管理等其他數(shù)據(jù)工作的整體投入信心。雖然數(shù)據(jù)應(yīng)用早已存在于

30

大數(shù)據(jù)白皮書(2022年)

人類社會的各項活動中,但由于技術(shù)能力不足、前序工作未就緒等因

素限制,傳統(tǒng)數(shù)據(jù)應(yīng)用主要針對的是少量、局部、非實時數(shù)據(jù),依賴

大量人工決策,導(dǎo)致數(shù)據(jù)主要釋放其淺層價值。當(dāng)前,國內(nèi)外各方正

積極探索新的數(shù)據(jù)應(yīng)用方法論,并在不同行業(yè)、不同場景進行滾動式

實踐,從而釋放數(shù)據(jù)深層價值,目前已取得初步進展。本章將詳細介

紹數(shù)據(jù)應(yīng)用領(lǐng)域的發(fā)展歷程、當(dāng)前現(xiàn)狀、主要特征和趨勢展望。

(一)數(shù)據(jù)應(yīng)用開始探索第三階段實踐路徑

數(shù)據(jù)應(yīng)用發(fā)展已有60余年,總體分為三階段。數(shù)據(jù)應(yīng)用是利用

數(shù)據(jù)對各項事務(wù)進行探索、分析、洞察并最終推動決策的過程,其是

數(shù)據(jù)價值釋放的最終一環(huán)。在各企事業(yè)單位中,數(shù)據(jù)應(yīng)用是否充分,

直接決定各企事業(yè)單位對于數(shù)據(jù)相關(guān)工作的整體投資性價比,進而反

向影響對數(shù)據(jù)存儲與計算、數(shù)據(jù)治理、數(shù)據(jù)安全等環(huán)節(jié)的投入程度。

雖然數(shù)據(jù)應(yīng)用早已存在于人類社會的各項活動中,但隨著數(shù)據(jù)本身形

態(tài)、數(shù)據(jù)處理技術(shù)、產(chǎn)業(yè)發(fā)展環(huán)境、數(shù)據(jù)應(yīng)用需求等的不斷演化升級,

數(shù)據(jù)應(yīng)用內(nèi)涵和模式不斷豐富,總體可分為三個階段。各階段特征如

下所示。

表4數(shù)據(jù)應(yīng)用三個階段

第一階段第二階段第三階段

(1960s開始)(1990s開始)(2015s開始)

數(shù)據(jù)源業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)倉庫數(shù)據(jù)湖+外部數(shù)據(jù)

常態(tài)化、體系化、

數(shù)據(jù)與業(yè)務(wù)關(guān)系隨機、離散全域、敏捷、嵌入式

外掛式

分析方法圖表統(tǒng)計BI分析BI+AI

對決策的影響輔助決策增強決策自動決策

來源:中國信息

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論