




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
No.202225
大數(shù)據(jù)白皮書
(2022年)
中國信息通信研究院
2023年1月
前言
中央全面深化改革委員會第二十六次會議指出,數(shù)據(jù)作為新型生
產(chǎn)要素,是數(shù)字化、網(wǎng)絡(luò)化、智能化的基礎(chǔ),已快速融入生產(chǎn)、分配、
流通、消費和社會服務(wù)管理等各個環(huán)節(jié),深刻改變著生產(chǎn)方式、生活
方式和社會治理方式。大數(shù)據(jù)是數(shù)據(jù)的集合,是圍繞數(shù)據(jù)形成的一套
技術(shù)體系,并衍生出了豐富的產(chǎn)業(yè)生態(tài),成為釋放數(shù)據(jù)價值的重要引
擎。
近一年來,從宏觀看,各國通過政策、法案、設(shè)立機構(gòu)等方式,
持續(xù)推進自身大數(shù)據(jù)戰(zhàn)略,我國黨中央、國務(wù)院圍繞數(shù)據(jù)要素市場建
設(shè)、數(shù)據(jù)要素價值釋放密集提出一系列重要論斷、作出一系列戰(zhàn)略部
署,進一步增強了我國大數(shù)據(jù)發(fā)展動能。從微觀看,數(shù)據(jù)存儲與計算、
數(shù)據(jù)管理、數(shù)據(jù)流通、數(shù)據(jù)應(yīng)用、數(shù)據(jù)安全五大核心領(lǐng)域均伴隨相關(guān)
政策、技術(shù)、產(chǎn)業(yè)、應(yīng)用的不斷演進,發(fā)展目標(biāo)進一步明確和豐富,
發(fā)展成效不斷顯現(xiàn)。
本白皮書是中國信通院自2014年以來第七次發(fā)布的大數(shù)據(jù)白皮
書。本白皮書聚焦過去一年來大數(shù)據(jù)領(lǐng)域不斷涌現(xiàn)的新技術(shù)、新模式、
新業(yè)態(tài),分析總結(jié)全球和我國大數(shù)據(jù)發(fā)展的總體態(tài)勢,并重點針對數(shù)
據(jù)存儲與計算、數(shù)據(jù)管理、數(shù)據(jù)流通、數(shù)據(jù)應(yīng)用、數(shù)據(jù)安全五大核心
領(lǐng)域,逐一分析、探討其發(fā)展現(xiàn)狀、特征、問題和趨勢,最后對我國
大數(shù)據(jù)未來發(fā)展進行展望與研判。希望本白皮書為社會各界深入了解
大數(shù)據(jù)領(lǐng)域提供有價值的參考。
大數(shù)據(jù)白皮書(2022年)
一、大數(shù)據(jù)發(fā)展總體態(tài)勢
2022年,全球大數(shù)據(jù)技術(shù)產(chǎn)業(yè)與應(yīng)用創(chuàng)新不斷邁向新高度。宏觀
看,國際方面,美歐、韓日、澳洲通過政策、法案、設(shè)立機構(gòu)等形式,
持續(xù)深化實施自身大數(shù)據(jù)戰(zhàn)略。國內(nèi)方面,黨中央、國務(wù)院再次做出
一系列重要部署,我國大數(shù)據(jù)領(lǐng)域良好的發(fā)展態(tài)勢進一步鞏固。微觀
看,數(shù)據(jù)存儲與計算、數(shù)據(jù)管理、數(shù)據(jù)流通、數(shù)據(jù)應(yīng)用、數(shù)據(jù)安全五
大核心領(lǐng)域發(fā)展成效不斷顯現(xiàn)。本章將對國內(nèi)外大數(shù)據(jù)領(lǐng)域的最新進
展進行總體敘述。
(一)各國深化推進自身大數(shù)據(jù)戰(zhàn)略
近一年來,美歐、韓日、澳洲通過政策、法案、設(shè)立機構(gòu)等形式,
持續(xù)深化推進自身大數(shù)據(jù)戰(zhàn)略。
美歐發(fā)布法案,確保數(shù)據(jù)價值在隱私保護的前提下釋放。美國眾
議院和參議院于2022年6月發(fā)布了《美國數(shù)據(jù)隱私和保護法案》討論
稿,該法案在制度設(shè)計上既考慮了增強個人數(shù)據(jù)權(quán)利的國際趨勢,又
包含數(shù)據(jù)價值釋放的內(nèi)容。法案并未禁止一般個人數(shù)據(jù)處理活動,而
是為個人提供了“選擇退出”方式,以促進對個人數(shù)據(jù)的合理利用。
歐洲議會于2022年4月就歐盟《數(shù)據(jù)治理法案》進行最終投票表決,
并獲得議會批準。該法案是落實《歐洲數(shù)據(jù)戰(zhàn)略》的重要舉措,構(gòu)建
了三個適用于各個行業(yè)的數(shù)據(jù)共享機制,確保在符合歐洲公共利益和
數(shù)據(jù)提供者合法權(quán)益的條件下,實現(xiàn)數(shù)據(jù)更廣泛的國際共享。法案構(gòu)
建了適用于所有部門的數(shù)據(jù)使用權(quán)基本規(guī)則,將促進個人和企業(yè)自愿
1
大數(shù)據(jù)白皮書(2022年)
共享數(shù)據(jù),并統(tǒng)一某些公共部門數(shù)據(jù)的使用條件。
韓日設(shè)置專門機構(gòu),推進各行業(yè)數(shù)字化轉(zhuǎn)型。韓國在2022年4月
成立了以國務(wù)總理作為委員長的“國家數(shù)據(jù)政策委員會”,作為國家
數(shù)據(jù)和新產(chǎn)業(yè)政策的管理機構(gòu),并于9月召開了韓國國家數(shù)據(jù)政策委
員會的第一次會議,發(fā)表了對8個數(shù)據(jù)領(lǐng)域、5個新產(chǎn)業(yè)領(lǐng)域、共計13
個領(lǐng)域的改善計劃,目標(biāo)是在韓國打造全球頂級水平的數(shù)字力量。
2021年9月,日本政府成立數(shù)字廳,成為負責(zé)日本行政數(shù)字化的最高
部門,旨在構(gòu)建更完善的數(shù)字政府,推動數(shù)字化轉(zhuǎn)型,目標(biāo)為“用智
能手機在60秒內(nèi)完成所有行政程序”,最大程度利用數(shù)字技術(shù)優(yōu)勢,
將數(shù)字科技作為全新要素融入傳統(tǒng)社會,促進經(jīng)濟社會形態(tài)積極轉(zhuǎn)型。
澳洲發(fā)布國家數(shù)據(jù)安全戰(zhàn)略,開始構(gòu)建國家數(shù)據(jù)安全框架。2022
年4月,澳大利亞內(nèi)政部頒布《國家數(shù)據(jù)安全行動計劃》,其為澳大
利亞首個國家數(shù)據(jù)安全行動計劃,意味著澳大利亞的國家數(shù)據(jù)安全框
架正式開始構(gòu)建?!缎袆佑媱潯分铝τ诮⒁粋€全國性的方法來保護
公民數(shù)據(jù),保護公民的數(shù)據(jù)(收集、處理和存儲在數(shù)字系統(tǒng)和網(wǎng)絡(luò)上
的信息)免受侵害,同時為政府、企業(yè)和個人構(gòu)建數(shù)據(jù)安全要求。
(二)我國大數(shù)據(jù)發(fā)展態(tài)勢好動力足
我國大數(shù)據(jù)經(jīng)過多年高速發(fā)展,不斷取得重要突破,呈現(xiàn)良好發(fā)
展態(tài)勢。一是產(chǎn)業(yè)規(guī)模高速增長,2021年,我國大數(shù)據(jù)產(chǎn)業(yè)規(guī)模增加
到1.3萬億元,復(fù)合增長率超過30%1;二是創(chuàng)新能力不斷增強,2021
1國家互聯(lián)網(wǎng)信息辦公室《數(shù)字中國發(fā)展報告(2021年)》,2022年7月
2
大數(shù)據(jù)白皮書(2022年)
年我國發(fā)表大數(shù)據(jù)領(lǐng)域論文量占全球31%2,大數(shù)據(jù)相關(guān)專利受理總
數(shù)占全球超50%,均位居第一3;三是生態(tài)體系持續(xù)優(yōu)化,2021年我
國大數(shù)據(jù)市場主體總量超18萬家4,一批大數(shù)據(jù)龍頭企業(yè)快速崛起,
初步形成了大企業(yè)引領(lǐng)、中小企業(yè)協(xié)同、創(chuàng)新企業(yè)不斷涌現(xiàn)的發(fā)展格
局;四是市場前景廣受認可,我國大數(shù)據(jù)領(lǐng)域投融資金額多年來總體
呈現(xiàn)上升趨勢,2021年大數(shù)據(jù)相關(guān)企業(yè)獲投總金額超過800億元5,
再創(chuàng)歷史新高。
近一年,我國在政策、人才、資金等方面持續(xù)加碼,為大數(shù)據(jù)后
續(xù)發(fā)展注入強勁動力。
政策方面,中央、地方發(fā)布一系列支持文件,對大數(shù)據(jù)產(chǎn)業(yè)、數(shù)
字技術(shù)、數(shù)據(jù)要素市場、數(shù)據(jù)安全等方面進行了重點部署。中央層面,
2021年底,《“十四五”大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃》的出臺明確了未來五
年大數(shù)據(jù)產(chǎn)業(yè)發(fā)展工作的行動綱領(lǐng)。2022年,黨中央、國務(wù)院先后通
過《要素市場化配置綜合改革試點總體方案》、《關(guān)于加快建設(shè)全國
統(tǒng)一大市場的意見》、《關(guān)于構(gòu)建數(shù)據(jù)基礎(chǔ)制度更好發(fā)揮數(shù)據(jù)要素作
用的意見》等文件,多次強調(diào)了釋放數(shù)據(jù)要素價值對于我國發(fā)展的必
要性、緊迫性,為我國大數(shù)據(jù)發(fā)展提供了良好的政策環(huán)境和明確的發(fā)
展目標(biāo)。地方層面,31個?。▍^(qū)、市)均通過發(fā)布大數(shù)據(jù)專題規(guī)劃、
數(shù)字經(jīng)濟總體規(guī)劃等形式,明確了各地大數(shù)據(jù)技術(shù)、產(chǎn)業(yè)、應(yīng)用的發(fā)
展路線圖、時間表,凸顯出各地在大數(shù)據(jù)布局方面的積極性。
2中國信通院根據(jù)WebofScience數(shù)據(jù)庫收錄的SCI論文數(shù)據(jù)統(tǒng)計得到。
3中國信通院根據(jù)Inspiro知識產(chǎn)權(quán)數(shù)據(jù)庫的數(shù)據(jù)統(tǒng)計得到。
4中國信通院根據(jù)企查查相關(guān)數(shù)據(jù)統(tǒng)計得到。
5中國信通院根據(jù)公開監(jiān)測、獲取到的企業(yè)信息,結(jié)合企業(yè)介紹、主營業(yè)務(wù)及服務(wù)介紹及相關(guān)其他信息,
進行篩選和分類得到。
3
大數(shù)據(jù)白皮書(2022年)
表1近一年內(nèi)國家層面推動大數(shù)據(jù)產(chǎn)業(yè)的代表性政策
時間文件內(nèi)容
工信部提出“到2025年底,大數(shù)據(jù)產(chǎn)業(yè)測算規(guī)模突破3萬億
2021.11《“十四五”大數(shù)據(jù)元”的增長目標(biāo),以及數(shù)據(jù)要素價值體系、現(xiàn)代化大數(shù)
產(chǎn)業(yè)發(fā)展規(guī)劃》據(jù)產(chǎn)業(yè)體系建設(shè)等新目標(biāo)
提出拓展規(guī)范化數(shù)據(jù)開發(fā)利用場景,發(fā)揮領(lǐng)軍企業(yè)和行
國務(wù)院
業(yè)組織作用,推動人工智能、區(qū)塊鏈、車聯(lián)網(wǎng)、物聯(lián)網(wǎng)
《要素市場化配置綜
2022.1等領(lǐng)域數(shù)據(jù)采集標(biāo)準化。加強數(shù)據(jù)安全保護,強化網(wǎng)絡(luò)
合改革試點總體方
安全等級保護要求,推動完善數(shù)據(jù)分級分類安全保護制
案》
度,運用技術(shù)手段構(gòu)建數(shù)據(jù)安全風(fēng)險防控體系。
提出加快培育數(shù)據(jù)要素市場,建立健全數(shù)據(jù)安全、權(quán)利
中共中央國務(wù)院
保護、跨境傳輸管理、交易流通、開放共享、安全認證
2022.4《關(guān)于加快建設(shè)全國
等基礎(chǔ)制度和標(biāo)準規(guī)范,深入開展數(shù)據(jù)資源調(diào)查,推動
統(tǒng)一大市場的意見》
數(shù)據(jù)資源開發(fā)利用。
中央全面深化改革委
習(xí)近平總書記強調(diào)“數(shù)據(jù)基礎(chǔ)制度建設(shè)事關(guān)國家發(fā)展和
員會第二十六次會
安全大局,要維護國家數(shù)據(jù)安全,保護個人信息和商業(yè)
議,審議通過《關(guān)于
2022.12秘密,促進數(shù)據(jù)高效流通使用、賦能實體經(jīng)濟,統(tǒng)籌推
構(gòu)建數(shù)據(jù)基礎(chǔ)制度更
進數(shù)據(jù)產(chǎn)權(quán)、流通交易、收益分配、安全治理,加快構(gòu)
好發(fā)揮數(shù)據(jù)要素作用
建數(shù)據(jù)基礎(chǔ)制度體系”
的意見》
來源:中國信息通信研究院
人才方面,過半“雙一流”高校設(shè)立大數(shù)據(jù)相關(guān)專業(yè),多省份積
極開展人才培育專項行動,人才供給能力顯著增強。高校教育方面,
147所“雙一流”高校中有87所已開設(shè)了大數(shù)據(jù)專業(yè),占比達到59%6,
根據(jù)上海軟科統(tǒng)計,大數(shù)據(jù)專業(yè)熱度已經(jīng)超過軟件工程等傳統(tǒng)熱門專
業(yè)。各省積極開展大數(shù)據(jù)人才培育專項行動,例如廣東實施“十萬”
產(chǎn)業(yè)數(shù)字化符合性人才培訓(xùn)行動,上海要求各級黨校(行政學(xué)院)要
增加大數(shù)據(jù)與城市數(shù)字化轉(zhuǎn)型的培訓(xùn)內(nèi)容,浙江圍繞數(shù)字人才制定
“高精尖缺”人才目錄,江蘇搭建“智改數(shù)轉(zhuǎn)”人才智庫平臺,福建
明確要求縣級以上地方人民政府制訂大數(shù)據(jù)人才發(fā)展計劃。
6中國信通院根據(jù)教育部《普通高等學(xué)校本科專業(yè)備案和審批結(jié)果》進行統(tǒng)計獲得
4
大數(shù)據(jù)白皮書(2022年)
資金方面,多省份通過設(shè)立專項資金或采取稅收優(yōu)惠政策等方式,
對大數(shù)據(jù)企業(yè)、應(yīng)用進行定向扶持和培育。例如,寧夏對于區(qū)內(nèi)符合
標(biāo)準的優(yōu)質(zhì)大數(shù)據(jù)企業(yè)給予最高300萬的資金支持,山東、黑龍江等
省份要求省內(nèi)縣級以上人民政府每年需統(tǒng)籌安排資金專項扶持大數(shù)
據(jù)相關(guān)企業(yè),浙江、廣東、重慶等推出一系列圍繞大數(shù)據(jù)企業(yè)的稅收
減免政策,江蘇省每年在省級財政安排12億元專項資金支持工業(yè)企
業(yè)“智改數(shù)轉(zhuǎn)”,貴州、遼寧、河北、云南等省份對建設(shè)成果顯著的
大數(shù)據(jù)應(yīng)用項目補貼1000-3000萬。
(三)五大核心領(lǐng)域發(fā)展方向進一步明確
經(jīng)過多年技術(shù)和產(chǎn)業(yè)的發(fā)展,大數(shù)據(jù)領(lǐng)域內(nèi)部逐漸細化,形成
數(shù)據(jù)存儲與計算、數(shù)據(jù)管理、數(shù)據(jù)流通、數(shù)據(jù)應(yīng)用、數(shù)據(jù)安全五大
核心領(lǐng)域。如圖1所示,數(shù)據(jù)源通過數(shù)據(jù)存儲與計算實現(xiàn)壓縮存儲
和初步加工,通過數(shù)據(jù)管理提升質(zhì)量,通過數(shù)據(jù)流通配置給其它相
關(guān)主體,通過數(shù)據(jù)應(yīng)用直接釋放價值,并由數(shù)據(jù)安全技術(shù)進行全過
程的安全保障。
這五大核心領(lǐng)域由于發(fā)展起步時間不同、應(yīng)用需求緊迫程度不
同等原因,發(fā)展模式存在差異。在當(dāng)前數(shù)據(jù)成為生產(chǎn)要素并快速融
入生產(chǎn)、分配、流通、消費等各環(huán)節(jié)的新形勢下,大數(shù)據(jù)五大核心
領(lǐng)域的發(fā)展方向均進一步明確。
5
大數(shù)據(jù)白皮書(2022年)
來源:中國信息通信研究院
圖1大數(shù)據(jù)產(chǎn)業(yè)五大核心領(lǐng)域
數(shù)據(jù)存儲與計算領(lǐng)域:實現(xiàn)海量數(shù)據(jù)的高效存儲與計算。本領(lǐng)域
發(fā)展時間長,在數(shù)據(jù)規(guī)模增長、形態(tài)變化等新需求持續(xù)推動下,逐步
演化出數(shù)據(jù)庫、大數(shù)據(jù)平臺、實時計算等成熟技術(shù)框架。當(dāng)前,數(shù)據(jù)
存儲與計算領(lǐng)域已經(jīng)能夠支撐PB級海量數(shù)據(jù)的高效存儲和準實時計
算,發(fā)展方向聚焦為在持續(xù)提升能力基礎(chǔ)上,通過精細化運營和技術(shù)
升級實現(xiàn)“降本提質(zhì)”。
數(shù)據(jù)管理領(lǐng)域:實現(xiàn)數(shù)據(jù)質(zhì)量提升、管理高效。本領(lǐng)域?qū)儆谕度?/p>
周期長、見效慢的“下水道”型工作。當(dāng)前,部分企業(yè)數(shù)據(jù)管理需求
強、資源足,已將數(shù)據(jù)管理的技術(shù)和規(guī)則率先落地,但大部分企業(yè)數(shù)
據(jù)管理仍處于起步階段。數(shù)據(jù)管理的發(fā)展方向聚焦為盡快借助政策紅
利和智能技術(shù)帶來的改變,促進各行業(yè)大規(guī)模實現(xiàn)全域數(shù)據(jù)管理。
數(shù)據(jù)流通領(lǐng)域:實現(xiàn)數(shù)據(jù)在不同主體間合理配置,使局部數(shù)據(jù)互
6
大數(shù)據(jù)白皮書(2022年)
相彌合,實現(xiàn)數(shù)據(jù)價值倍增。本領(lǐng)域需求旺盛、發(fā)展時間短,當(dāng)前已
初步探索出機構(gòu)與機構(gòu)間點對點的流通路徑,但數(shù)據(jù)權(quán)屬、定價、市
場規(guī)則等關(guān)鍵性問題仍有待破解。為助力數(shù)據(jù)要素高效配置,數(shù)據(jù)流
通的發(fā)展方向聚焦為通過建設(shè)基礎(chǔ)制度、創(chuàng)新流通技術(shù),實現(xiàn)數(shù)據(jù)流
通過程中安全與效率的平衡,從而構(gòu)建全社會范圍數(shù)據(jù)規(guī)范化流通。
數(shù)據(jù)應(yīng)用領(lǐng)域:實現(xiàn)數(shù)據(jù)為企業(yè)業(yè)務(wù)經(jīng)營過程賦能。本領(lǐng)域雖然
發(fā)展時間長,但受限于數(shù)據(jù)管理等前序工作成熟度不夠,目前僅部分
核心業(yè)務(wù)被數(shù)據(jù)淺度賦能。為釋放數(shù)據(jù)要素深度價值,數(shù)據(jù)應(yīng)用的發(fā)
展方向聚焦為通過變革業(yè)務(wù)模式、優(yōu)化相關(guān)技術(shù),使數(shù)據(jù)應(yīng)用與全域
業(yè)務(wù)深度融合。
數(shù)據(jù)安全領(lǐng)域:確保數(shù)據(jù)處于有效保護和合法利用的狀態(tài),以及
具備保障持續(xù)安全狀態(tài)的能力。特別是近兩年數(shù)據(jù)安全一些法律法規(guī)
發(fā)布后,本領(lǐng)域得到快速發(fā)展,各行業(yè)在數(shù)據(jù)外規(guī)內(nèi)化、風(fēng)險治理等
方面推進步伐明顯加快。當(dāng)前,數(shù)據(jù)安全的發(fā)展方向進一步聚焦為兼
顧安全與效率,從而實現(xiàn)安全左移的自動化與風(fēng)險治理的智能化。
表2五大核心領(lǐng)域發(fā)展現(xiàn)狀和新形勢下的發(fā)展方向
發(fā)展現(xiàn)狀新形式下的發(fā)展方向
數(shù)據(jù)存儲與計算實現(xiàn)了海量數(shù)據(jù)的高效存儲、計算降低運維成本,提升處理效率
數(shù)據(jù)管理頭部行業(yè)實現(xiàn)關(guān)鍵數(shù)據(jù)的管理各行業(yè)均實現(xiàn)全域數(shù)據(jù)管理
數(shù)據(jù)流通點對點間流通路徑完成初步探索全社會范圍規(guī)范化流通
數(shù)據(jù)應(yīng)用支撐核心業(yè)務(wù)分析和頂層決策以無感形式嵌入全域業(yè)務(wù)
數(shù)據(jù)安全推進外規(guī)內(nèi)化與風(fēng)險治理安全左移的智能化治理
來源:中國信息通信研究院
二、數(shù)據(jù)存儲與計算:通過深度優(yōu)化實現(xiàn)提質(zhì)增效
數(shù)據(jù)存儲與計算提供海量數(shù)據(jù)的高壓縮比存儲和高效計算等基
7
大數(shù)據(jù)白皮書(2022年)
礎(chǔ)能力,以數(shù)據(jù)庫、數(shù)據(jù)倉庫、數(shù)據(jù)湖等為其技術(shù)表現(xiàn)形態(tài)。其發(fā)展
歷程長、產(chǎn)業(yè)成熟度相對較高,目前在數(shù)據(jù)要素等新需求牽引下,正
呈現(xiàn)出穩(wěn)中有進的發(fā)展態(tài)勢。本章將介紹數(shù)據(jù)存儲與計算領(lǐng)域的發(fā)展
歷程、當(dāng)前現(xiàn)狀、主要特征和趨勢展望。
(一)數(shù)據(jù)存儲與計算發(fā)展歷久彌新
1960年信息時代開啟后,用于存儲、計算少量結(jié)構(gòu)化數(shù)據(jù)的關(guān)系
型數(shù)據(jù)庫、數(shù)據(jù)倉庫誕生,Oracle、DB2、Teradata等商業(yè)化產(chǎn)品逐漸
成熟。2000年互聯(lián)網(wǎng)興起后,結(jié)構(gòu)化數(shù)據(jù)的規(guī)模迅速膨脹、非結(jié)構(gòu)化
數(shù)據(jù)開始涌現(xiàn),傳統(tǒng)關(guān)系型數(shù)據(jù)庫、數(shù)據(jù)倉庫能力出現(xiàn)瓶頸,以
ApacheHadoop為代表的分布式存儲計算框架成為新的技術(shù)潮流,
Cloudera、Hontonworks等數(shù)家商業(yè)化公司紛紛成立,大數(shù)據(jù)時代正
式來臨。2010年移動互聯(lián)網(wǎng)逐漸普及后,實時推薦、即時決策需求對
海量數(shù)據(jù)處理的實時性提出更高要求,同時視頻、音頻、圖片等非結(jié)
構(gòu)化數(shù)據(jù)占比大幅提升,Storm、Flink等流處理框架受到關(guān)注,數(shù)據(jù)
湖技術(shù)也開始迅速產(chǎn)品化。圖2對數(shù)據(jù)存儲與計算領(lǐng)域的技術(shù)發(fā)展歷
程進行了簡要總結(jié)。
8
大數(shù)據(jù)白皮書(2022年)
來源:中國信息通信研究院
圖2數(shù)據(jù)存儲與計算領(lǐng)域技術(shù)發(fā)展歷程
技術(shù)方面,經(jīng)過60余年發(fā)展,數(shù)據(jù)存儲與計算領(lǐng)域總體技術(shù)框
架趨于成熟,進入深度優(yōu)化階段。數(shù)據(jù)存儲與計算領(lǐng)域已經(jīng)形成了以
分布式數(shù)據(jù)庫、數(shù)據(jù)倉庫、批處理平臺、流處理平臺為代表的總體技
術(shù)框架,并廣泛應(yīng)用,已能夠支撐具有高并發(fā)、低延遲數(shù)據(jù)處理分析
需求的極端場景。例如在“雙十一”場景中,大量營銷、交易風(fēng)控等
自動決策被嵌入業(yè)務(wù)流程,形成了復(fù)雜的數(shù)據(jù)處理分析鏈路。在技術(shù)
能力已相對成熟的基礎(chǔ)上,以云化、湖倉一體為代表的深度優(yōu)化理念
不斷涌現(xiàn),并逐步應(yīng)用,為數(shù)據(jù)存儲與計算領(lǐng)域進一步降本提質(zhì)提供
了新范式。
產(chǎn)業(yè)方面,全球疫情加速了數(shù)字化轉(zhuǎn)型進程,數(shù)據(jù)存儲與計算領(lǐng)
域的產(chǎn)業(yè)發(fā)展前景持續(xù)向好。國際方面,國際云數(shù)據(jù)倉庫巨頭
Snowflake2022年第三季度營收與去年同期相比上漲67%,達到5.5
億美元;國內(nèi)方面,2021上半年我國大數(shù)據(jù)平臺市場規(guī)模達54.2億
9
大數(shù)據(jù)白皮書(2022年)
元,同比增長43.5%7;2021年我國數(shù)據(jù)庫市場規(guī)模預(yù)計達305.78億
元,同比增長26.93%8。同時我國大數(shù)據(jù)基礎(chǔ)軟件第一股星環(huán)科技于
2022年10月成功上市科創(chuàng)板。數(shù)據(jù)存儲與計算領(lǐng)域市場增長趨勢和
行業(yè)預(yù)期持續(xù)向好。
建設(shè)運維方面,數(shù)據(jù)存儲與計算建設(shè)持續(xù)深入,安全穩(wěn)定運行成
為關(guān)注焦點。隨著數(shù)字化轉(zhuǎn)型的開啟,工商銀行、建設(shè)銀行、農(nóng)業(yè)銀
行等頭部金融機構(gòu),電信、移動、聯(lián)通等運營商,大型互聯(lián)網(wǎng)公司以
及諸多行業(yè)頭部企業(yè)均在數(shù)年前完成數(shù)據(jù)存儲與計算總體框架建設(shè)。
近年來,隨著數(shù)據(jù)規(guī)模增多、價值提升,數(shù)據(jù)存儲與計算技術(shù)平臺逐
漸復(fù)雜,運維使用時的穩(wěn)定性保障和安全防護成為難題。2022年,
Google、Twitter等公司的數(shù)據(jù)存儲與計算技術(shù)平臺均發(fā)生故障,同時,
全球范圍內(nèi)也發(fā)生多起針對數(shù)據(jù)存儲與計算技術(shù)平臺的惡性攻擊,相
應(yīng)安全事件帶來的損失也不斷增高。
(二)當(dāng)前數(shù)據(jù)存儲與計算發(fā)展呈現(xiàn)三大特點
1.云化改造全面加速
數(shù)據(jù)存儲與計算技術(shù)持續(xù)與云融合,資源利用率進一步提升。隨
著云計算的發(fā)展,數(shù)據(jù)存儲與計算技術(shù)逐漸從私有部署轉(zhuǎn)化為云上部
署,初期體現(xiàn)為部署模式的不同,但伴隨著云原生理念的興起,云原
生數(shù)據(jù)存儲與計算產(chǎn)品開始成為產(chǎn)業(yè)變革浪潮。利用云原生理念,數(shù)
據(jù)存儲與計算一方面實現(xiàn)存儲、計算、調(diào)度、安全、分析等模塊的進
7來源:IDC咨詢
8來源:中國信息通信研究院《數(shù)據(jù)庫發(fā)展研究報告(2021年)》,2021年7月
10
大數(shù)據(jù)白皮書(2022年)
一步解耦,各模塊與容器等底層資源單元相適配,實現(xiàn)彈性擴縮容,
從而使得資源利用率提升30%~40%;另一方面實現(xiàn)應(yīng)用接口函數(shù)化,
即利用Serverless的理念,將更多如統(tǒng)計、機器學(xué)習(xí)、流程處理等能
力封裝成函數(shù)接口,實現(xiàn)更細粒度的按需使用和付費,在提升2~3倍
發(fā)布效率的同時,有效降低成本。近年來,華為、騰訊云、阿里云、
百度、星環(huán)等國內(nèi)主流大數(shù)據(jù)企業(yè)均推出云原生數(shù)據(jù)湖、云原生數(shù)據(jù)
平臺等產(chǎn)品。2022年阿里云首款Serverless數(shù)據(jù)庫產(chǎn)品RDSMySQL
Serverless正式商業(yè)化,PingCAP在HTAPSummit上宣布TiDBCloud
ServerlessTierBETA版正式發(fā)布。
2.融合一體化持續(xù)加深
批流一體、湖倉一體、HTAP(HybridTransactionAnalytical
Processing,混合事務(wù)與分析處理)等融合架構(gòu)不斷降低運維成本。隨
著數(shù)字化轉(zhuǎn)型的深入,企業(yè)通常會針對不同的業(yè)務(wù)場景、不同的數(shù)據(jù)
模型搭建不同的平臺系統(tǒng),帶來了數(shù)據(jù)冗余、數(shù)據(jù)一致性差、資源配
置難、系統(tǒng)復(fù)雜等問題,極大增加了運維的壓力與成本。為解決上述
問題,數(shù)據(jù)存儲與計算領(lǐng)域各技術(shù)產(chǎn)品轉(zhuǎn)向融合架構(gòu)成為趨勢,例如
將批處理技術(shù)與流處理技術(shù)融合的批流一體技術(shù)框架、打通數(shù)據(jù)倉庫
和數(shù)據(jù)湖技術(shù)的湖倉一體技術(shù)框架以及同時具備在線事務(wù)處理及分
析的混合事務(wù)分析處理技術(shù)。建立融合架構(gòu)后,統(tǒng)一的接口層、計算
層、存儲層、資源調(diào)度層實現(xiàn)了對海量數(shù)據(jù)的統(tǒng)一管理和集群服務(wù)的
統(tǒng)一運維,大幅降低了運維綜合成本。國內(nèi)外廠商紛紛提出自己的融
合架構(gòu)解決方案。例如,近年來海外廠商Databricks同戴爾推出Data
11
大數(shù)據(jù)白皮書(2022年)
LakeHouse、亞馬遜推出智能湖倉架構(gòu),2022年國內(nèi)廠商巨杉數(shù)據(jù)庫
推出SequoiaDB、阿里云推出MaxCompute湖倉一體方案、星環(huán)科技
推出星環(huán)湖倉一體V2.0等。
數(shù)據(jù)中間件技術(shù)為計算層與異構(gòu)存儲層搭建橋梁,提升整體運行
效率,進一步加速數(shù)據(jù)平臺融合一體化。在存算分離后,存儲層為滿
足不同類型數(shù)據(jù)存儲的需求,文件存儲、對象存儲、表存儲等多種異
構(gòu)存儲引擎同時存在。計算層和異構(gòu)存儲引擎之間的連通復(fù)雜度越來
越高,數(shù)據(jù)中間件技術(shù)應(yīng)運而生,其通過內(nèi)置兼容接口和加速技術(shù),
助力計算層與異構(gòu)存儲層高速互聯(lián)。例如開源的Alluxio向上對接
Spark、Presto、Hive、TensorFlow等計算應(yīng)用,向下對接阿里云OSS
對象存儲、AWSS3存儲、HDFS等不同存儲,可提升I/O效率200%
以上;ShardingSphere將多類異構(gòu)數(shù)據(jù)庫MySQL、PostgreSQL、Oracle、
SQLServer、openGauss等包裝為統(tǒng)一數(shù)據(jù)庫訪問接口,從而方便多
種編程語言直接訪問多類異構(gòu)數(shù)據(jù)庫。
3.安全能力快速補強
數(shù)據(jù)存儲與計算面臨著新型安全挑戰(zhàn),內(nèi)生安全正成為傳統(tǒng)防護
的重要補充。一是隨著自身規(guī)模不斷龐大,數(shù)據(jù)存儲與計算技術(shù)平臺
的邊界不斷延伸,網(wǎng)絡(luò)安全防護體系隨之指數(shù)級膨脹,容易出現(xiàn)盲點、
漏點;二是伴隨數(shù)據(jù)開發(fā)利用的深化,數(shù)據(jù)存儲與計算技術(shù)平臺中的
關(guān)鍵數(shù)據(jù)與其他系統(tǒng)將進行高頻的互聯(lián)互通,安全和效率難以均衡;
三是數(shù)據(jù)存儲與計算技術(shù)平臺的技術(shù)組件60%以上基于開源技術(shù),容
易遭遇“0day”攻擊;四是數(shù)據(jù)存儲與計算技術(shù)平臺中數(shù)據(jù)集中存儲,
12
大數(shù)據(jù)白皮書(2022年)
但操作人員類型多、數(shù)量多、變更多,操作頻次高,存在數(shù)據(jù)泄露風(fēng)
險。2022年1月,美國交通運輸業(yè)商業(yè)信用報告機構(gòu)TransCredit因
配置錯誤致使數(shù)據(jù)庫無密碼保護,共計涉及50萬人財務(wù)數(shù)據(jù)的60多
萬條信用記錄泄露;2022年6月,土耳其飛馬航空公司因其AWS云
存儲桶未受保護,發(fā)生總計約6.5TB的數(shù)據(jù)泄露,其中包含敏感的飛
行數(shù)據(jù);2022年10月,跨國集團湯森路透因配置錯誤導(dǎo)致存有3TB
敏感數(shù)據(jù)的Elasticsearch數(shù)據(jù)庫發(fā)生泄漏。近年來頻發(fā)的數(shù)據(jù)泄漏事
件,使得全密態(tài)執(zhí)行環(huán)境、敏感數(shù)據(jù)自動識別、高效數(shù)據(jù)加解密、細
粒度的權(quán)限控制、零信任等內(nèi)生安全技術(shù)在數(shù)據(jù)存儲與計算技術(shù)產(chǎn)品
中的應(yīng)用不斷增加,與傳統(tǒng)網(wǎng)絡(luò)安全防護相輔相成。近一年,華為云、
阿里云相繼推出全密態(tài)數(shù)據(jù)庫,星環(huán)科技TDH、阿里云Dataworks紛
紛加入敏感數(shù)據(jù)識別能力,亞馬遜RDS增加內(nèi)置防火墻。
(三)數(shù)據(jù)存儲與計算面臨的主要挑戰(zhàn)與發(fā)展趨勢
經(jīng)過半世紀的發(fā)展,數(shù)據(jù)存儲與計算領(lǐng)域總體技術(shù)框架基本成熟,
產(chǎn)業(yè)穩(wěn)步發(fā)展,為上層各類數(shù)據(jù)應(yīng)用誕生提供了堅實基礎(chǔ)。但隨著數(shù)
字化轉(zhuǎn)型從頭部行業(yè)向傳統(tǒng)行業(yè)延伸、數(shù)據(jù)的生產(chǎn)要素屬性不斷凸顯,
數(shù)據(jù)存儲與計算領(lǐng)域也迎來新的挑戰(zhàn)。一是數(shù)據(jù)存儲與計算技術(shù)平臺
建設(shè)運營成本仍需控制。數(shù)據(jù)存儲與計算技術(shù)平臺規(guī)模體量大、建設(shè)
周期長、前期投入高,但投資回報率卻相對較低。隨著疫情以來經(jīng)濟
大環(huán)境發(fā)生變化,企業(yè)需要更加理性、務(wù)實的開展數(shù)據(jù)存儲與計算技
術(shù)平臺建設(shè),從實際收益的角度進行評估論證和精細化運營,同時數(shù)
據(jù)存儲與計算技術(shù)也應(yīng)從降低運維使用成本等方面優(yōu)化提升。二是促
13
大數(shù)據(jù)白皮書(2022年)
進數(shù)據(jù)要素市場化的數(shù)據(jù)存儲與計算技術(shù)創(chuàng)新仍需加強。隨著數(shù)據(jù)成
為生產(chǎn)要素,數(shù)據(jù)的潛在價值愈發(fā)受到重視,但當(dāng)前數(shù)據(jù)要素市場建
設(shè)面臨數(shù)據(jù)權(quán)屬、定價、安全保護等難點問題,這其中的一些問題是
否能通過數(shù)據(jù)存儲與計算相關(guān)技術(shù)得到解決或加以規(guī)避,正在成為擺
在數(shù)據(jù)存儲與計算領(lǐng)域發(fā)展過程中的關(guān)鍵命題。
未來,數(shù)據(jù)存儲與計算領(lǐng)域呈現(xiàn)以下三點趨勢。
一是技術(shù)和管理雙管齊下,探索數(shù)據(jù)存儲與計算技術(shù)平臺精細化
運營之路。據(jù)Wikibon研究,全球范圍內(nèi)企業(yè)數(shù)據(jù)存儲與計算技術(shù)平
臺的平均投資回報率僅為55%,46%的企業(yè)數(shù)據(jù)存儲與計算技術(shù)平臺
未達到預(yù)期價值。投資回報率低成為制約數(shù)據(jù)存儲與計算技術(shù)平臺滲
透率進一步提升的重要因素,產(chǎn)業(yè)正嘗試從技術(shù)和管理兩方面探索精
細化運營之路。技術(shù)方面,核心計算、存儲等模塊嘗試與AI結(jié)合,
通過智能資源調(diào)度、智能數(shù)據(jù)分層存儲等,實現(xiàn)精細化運營;管理方
面,探索公司內(nèi)部成本分攤方式,從而避免業(yè)務(wù)部門無成本觀念式使
用數(shù)據(jù)存儲與計算技術(shù)平臺,例如技術(shù)部門向業(yè)務(wù)部門售賣資源模式、
按業(yè)務(wù)部門使用量計費模式等。
二是數(shù)據(jù)編織(DataFabric)、全密態(tài)數(shù)據(jù)庫等新理念新技術(shù)不
斷成熟,為數(shù)據(jù)的要素價值釋放提供更強力的技術(shù)底座。數(shù)據(jù)要素市
場形成涉及數(shù)據(jù)權(quán)屬、定價、安全保護等一系列問題,傳統(tǒng)數(shù)據(jù)存儲
與計算技術(shù)重點關(guān)注計算、存儲效率,未解決數(shù)據(jù)要素市場面臨的問
題。隨著數(shù)據(jù)規(guī)模和數(shù)據(jù)關(guān)系復(fù)雜度的增加、數(shù)據(jù)權(quán)屬問題的復(fù)雜化,
傳統(tǒng)集中式數(shù)據(jù)管理模式無法滿足需求,出現(xiàn)了DataFabric這一概
14
大數(shù)據(jù)白皮書(2022年)
念。DataFabric基于主動型元數(shù)據(jù)、增強數(shù)據(jù)目錄、數(shù)據(jù)虛擬化等技
術(shù),形成了一套分布式、自動化、智能化的新型數(shù)據(jù)管理形式,當(dāng)前
IBM已經(jīng)推出了相關(guān)解決方案。全密態(tài)數(shù)據(jù)庫使數(shù)據(jù)在傳輸、計算以
及存儲的各個環(huán)節(jié)始終都處于密文狀態(tài),從而解決數(shù)據(jù)全生命周期的
隱私保護問題,提供數(shù)據(jù)要素安全保護的能力,目前阿里云、華為均
已推出相關(guān)產(chǎn)品。
三是我國數(shù)據(jù)存儲與計算領(lǐng)域技術(shù)和產(chǎn)品將逐步走向海外市場。
我國數(shù)據(jù)存儲與計算領(lǐng)域產(chǎn)業(yè)經(jīng)過多年發(fā)展,在部分技術(shù)領(lǐng)域的供給
能力已經(jīng)達到國際一流水平。當(dāng)前,以東南亞為代表的新興數(shù)字經(jīng)濟
市場規(guī)模正在快速增長,數(shù)據(jù)存儲與計算技術(shù)平臺的建設(shè)需求十分旺
盛。根據(jù)谷歌、淡馬錫和貝恩公司發(fā)布的《2021年東南亞數(shù)字經(jīng)濟調(diào)
查報告》顯示,東南亞數(shù)字經(jīng)濟產(chǎn)業(yè)將在五年內(nèi)實現(xiàn)翻倍增長,在2026
年達到3600億美元。在這一背景下,二十大報告中提出“發(fā)展數(shù)字
貿(mào)易”,商務(wù)部、中央網(wǎng)信辦、工信部聯(lián)合印發(fā)《數(shù)字經(jīng)濟對外投資
合作工作指引》,推動我國在數(shù)字經(jīng)濟領(lǐng)域逐漸形成對外開放新格局。
當(dāng)前,我國數(shù)據(jù)存儲與計算領(lǐng)域的部分企業(yè)已開始走向海外市場,阿
里巴巴、騰訊等企業(yè)已經(jīng)開始借助自身全球云計算網(wǎng)絡(luò)基礎(chǔ),
PingCAP、OceanBase等企業(yè)借助開源優(yōu)勢,助力其數(shù)據(jù)庫、大數(shù)據(jù)
產(chǎn)品突破日本、印尼等海外市場。
三、數(shù)據(jù)管理:在政策引領(lǐng)下規(guī)?;涞?/p>
數(shù)據(jù)管理通過規(guī)范數(shù)據(jù)采集、加工、使用過程,在企業(yè)釋放數(shù)據(jù)
價值的過程中扮演了“承上啟下”的關(guān)鍵角色,是企業(yè)豐富數(shù)據(jù)應(yīng)用、
15
大數(shù)據(jù)白皮書(2022年)
參與數(shù)據(jù)要素流通的前序基礎(chǔ)。由于數(shù)據(jù)管理屬于投入多、見效較慢
的基礎(chǔ)性工作,前期僅資源充足的數(shù)字原生企業(yè)對于數(shù)據(jù)管理工作的
推進速度較快。近年來,在政策支持下,各領(lǐng)域企業(yè)的數(shù)據(jù)管理意識
和能力不斷增強,越來越多的企業(yè)開始從頂層統(tǒng)籌規(guī)劃數(shù)據(jù)管理工作,
我國數(shù)據(jù)管理能力建設(shè)呈現(xiàn)大規(guī)模落地態(tài)勢。本章將介紹數(shù)據(jù)管理領(lǐng)
域的發(fā)展歷程、當(dāng)前現(xiàn)狀、主要特征和趨勢展望。
(一)政策驅(qū)動行業(yè)實踐日益成熟
各領(lǐng)域政策為數(shù)據(jù)管理落地注入強勁動能。通信領(lǐng)域,工業(yè)和信
息化部于2021年11月發(fā)布了《“十四五”信息通信行業(yè)發(fā)展規(guī)劃》,
提出加強數(shù)據(jù)資源管理,探索建立數(shù)據(jù)應(yīng)用處理、數(shù)據(jù)產(chǎn)品標(biāo)準化、
數(shù)據(jù)確權(quán)、數(shù)據(jù)定價、數(shù)據(jù)交易信任、數(shù)據(jù)開放利用全流程的數(shù)據(jù)資
源管理制度體系。制造業(yè)領(lǐng)域,工業(yè)和信息化部于2021年11月印發(fā)
了《“十四五”信息化和工業(yè)化深度融合發(fā)展規(guī)劃》,提出強化大數(shù)
據(jù)在制造業(yè)各環(huán)節(jié)應(yīng)用,制定制造業(yè)數(shù)字化轉(zhuǎn)型行動計劃,以制造業(yè)
數(shù)字化轉(zhuǎn)型為引領(lǐng),培育專業(yè)化、場景化大數(shù)據(jù)解決方案。金融領(lǐng)域,
央行于2022年1月發(fā)布了《金融科技發(fā)展規(guī)劃(2022-2025年)》,
要求全面加強數(shù)據(jù)能力建設(shè)。銀保監(jiān)會于同期發(fā)布了《關(guān)于銀行保險
業(yè)數(shù)字化轉(zhuǎn)型的指導(dǎo)意見》,提出健全數(shù)據(jù)治理體系,增強數(shù)據(jù)管理
能力,加強數(shù)據(jù)質(zhì)量控制,提高數(shù)據(jù)應(yīng)用能力。其他領(lǐng)域,交通運輸
部于2021年10月印發(fā)《數(shù)字交通“十四五”發(fā)展規(guī)劃》,農(nóng)業(yè)農(nóng)村
部于2022年8月發(fā)布《農(nóng)業(yè)現(xiàn)代化示范區(qū)數(shù)字化建設(shè)指南》,提出
加大數(shù)據(jù)治理力度,完善數(shù)據(jù)質(zhì)量管控,推動數(shù)字交通、數(shù)字鄉(xiāng)村等
16
大數(shù)據(jù)白皮書(2022年)
領(lǐng)域發(fā)展。
行業(yè)、地方大力推動DCMM貫標(biāo)評估,通過“以評促建”的方
式提升數(shù)據(jù)管理能力。工業(yè)和信息化部信息技術(shù)發(fā)展司組織協(xié)調(diào)全國
信息技術(shù)標(biāo)準化技術(shù)委員會(TC28)于2014年開始了我國數(shù)據(jù)管理
國家標(biāo)準研制工作,于2018年發(fā)布了《數(shù)據(jù)管理能力成熟度評估模
型》(Datamanagementcapabilitymaturityassessmentmodel,簡稱
DCMM),從組織、制度、技術(shù)、人員等方面綜合評價企業(yè)數(shù)據(jù)管理
水平。DCMM評估自2020年啟動,河北、天津、無錫等20余省市
相繼發(fā)布針對性支持政策,推動DCMM參評企業(yè)數(shù)量持續(xù)增長,截
至目前已累計完成近千家企業(yè)的評估,參評企業(yè)分布于全國各地,企
業(yè)類型覆蓋軟件和信息技術(shù)服務(wù)業(yè)、制造業(yè)、銀行業(yè)、電力業(yè)、通信
業(yè)等多個行業(yè)。2021年參評企業(yè)增速為88.7%,2022年參評企業(yè)增
速為152.9%,兩年獲證企業(yè)數(shù)量平均增速達到了120.8%。
來源:中國信息通信研究院
圖32020-2022年DCMM參評企業(yè)數(shù)量增速
頭部企業(yè)數(shù)據(jù)管理工作已經(jīng)進入深水期,但大部分企業(yè)仍處于數(shù)
17
大數(shù)據(jù)白皮書(2022年)
據(jù)管理初期。中國電子信息行業(yè)聯(lián)合會DCMM評估統(tǒng)計結(jié)果顯示,
現(xiàn)階段通信業(yè)、銀行業(yè)、電力業(yè)數(shù)據(jù)管理能力相對領(lǐng)先,逐漸邁入深
水區(qū),以上3個行業(yè)DCMM評分普遍在3級以上,通信業(yè)4級占比
超過了60%,銀行業(yè)3級占比接近70%,電力業(yè)3級和4級累計占
比達到85%。軟件和信息技術(shù)業(yè)、制造業(yè)數(shù)據(jù)管理能力相對薄弱,以
上兩個行業(yè)集中于2級和3級,同時2級比例遠高于3級,其中軟件
和信息技術(shù)業(yè)的2級占比是3級2倍以上,累計占比達到97%,制造
業(yè)的2級占比接近3級的5倍,累計占比達到98%。
(二)當(dāng)前數(shù)據(jù)管理發(fā)展呈現(xiàn)四大特點
頭部企業(yè)數(shù)據(jù)管理起步較早,數(shù)據(jù)管理能力相對成熟,管理方法
和模式對于發(fā)展初期的企業(yè)具有良好的參考價值。宏觀管理層面,成
立了專門數(shù)據(jù)管理團隊,發(fā)布獨立數(shù)據(jù)戰(zhàn)略規(guī)劃,提升數(shù)據(jù)管理專業(yè)
性;微觀執(zhí)行層面,強化數(shù)據(jù)供給能力,全面提高數(shù)據(jù)質(zhì)量水平,依
托統(tǒng)一數(shù)據(jù)管理平臺,提高數(shù)據(jù)管理效率。
1.通過成立專職團隊增強數(shù)據(jù)管理執(zhí)行效率
為推動數(shù)據(jù)管理有效開展,越來越多的企業(yè)成立統(tǒng)一數(shù)據(jù)管理歸
口部門,形成了決策、管理、執(zhí)行的數(shù)據(jù)管理三層架構(gòu)組織,并設(shè)置
了專門的數(shù)據(jù)管理崗位,建立了數(shù)據(jù)部門、技術(shù)部門和業(yè)務(wù)部門協(xié)同
機制。例如,中國移動成立IT管委會統(tǒng)籌數(shù)據(jù)管理制度、標(biāo)準、流
程,信息技術(shù)中心牽頭全網(wǎng)各域數(shù)據(jù)治理和平臺建設(shè),并加掛大數(shù)據(jù)
中心負責(zé)大數(shù)據(jù)管理和運營,與各業(yè)務(wù)部門及省專單位數(shù)據(jù)“管、建、
戰(zhàn)”協(xié)同。中國聯(lián)通在集團成立了數(shù)字化轉(zhuǎn)型部門,統(tǒng)籌負責(zé)數(shù)據(jù)管
18
大數(shù)據(jù)白皮書(2022年)
理工作,在網(wǎng)絡(luò)域、管理域、客戶域的業(yè)務(wù)部門、市場部、分子公司
指定了數(shù)據(jù)管理對接人,由聯(lián)通軟研院承擔(dān)數(shù)據(jù)管理技術(shù)平臺開發(fā)和
運維工作。工商銀行在金融科技委員會下設(shè)數(shù)據(jù)治理委員會作為決策
層,數(shù)據(jù)管理部/信息管理部作為管理層,大數(shù)據(jù)中心/軟件開發(fā)中心
提供技術(shù)支持,核心業(yè)務(wù)部門負責(zé)數(shù)據(jù)采集和數(shù)據(jù)應(yīng)用,負責(zé)執(zhí)行具
體數(shù)據(jù)管理工作。
來源:中國信息通信研究院
圖4數(shù)據(jù)管理組織架構(gòu)示意圖
2.通過發(fā)布獨立規(guī)劃推動數(shù)據(jù)管理精準開展
在企業(yè)紛紛發(fā)布數(shù)字化轉(zhuǎn)型整體戰(zhàn)略基礎(chǔ)上,為精準提升數(shù)據(jù)管
理工作的質(zhì)量和效率,越來越多的企業(yè)發(fā)布了獨立的數(shù)據(jù)管理戰(zhàn)略規(guī)
劃,從而確立數(shù)據(jù)管理工作的中長期目標(biāo)和管理活動優(yōu)先級,明確需
要的資源投入總量和資源分配機制,指導(dǎo)數(shù)據(jù)管理團隊的工作有效執(zhí)
行。例如中國電信集團2021年發(fā)布了《中國電信數(shù)據(jù)治理體系化推
進工作指引》,旨在結(jié)合“云改數(shù)轉(zhuǎn)”數(shù)字化轉(zhuǎn)型整體思路推動數(shù)據(jù)
管理工作體系化開展,指導(dǎo)集團下各單位從數(shù)據(jù)模型管理、數(shù)據(jù)質(zhì)量
管理、數(shù)據(jù)安全管理、數(shù)據(jù)共享等方面推進數(shù)據(jù)治理工作高效開展。
19
大數(shù)據(jù)白皮書(2022年)
3.通過開展專項行動進一步提升數(shù)據(jù)供給質(zhì)量
良好的數(shù)據(jù)供給能力是數(shù)據(jù)分析挖掘的基礎(chǔ),在工業(yè)物聯(lián)網(wǎng)、工
業(yè)互聯(lián)網(wǎng)、邊緣計算等技術(shù)快速發(fā)展的背景下,企業(yè)業(yè)務(wù)線上化加速、
數(shù)據(jù)規(guī)模爆炸性增長,如何保障數(shù)據(jù)質(zhì)量水平、增強數(shù)據(jù)可信可用成
為了數(shù)據(jù)管理的關(guān)鍵一步。以南方電網(wǎng)為例,數(shù)據(jù)量從“十三五”初
期的220TB提升至2.4PB,數(shù)據(jù)采集范圍拓展至競爭性業(yè)務(wù)、金融業(yè)
務(wù)等板塊,關(guān)鍵運行數(shù)據(jù)采集頻率提升超過60倍。在數(shù)據(jù)源頭快速
變化的背景下,南方電網(wǎng)在常態(tài)化數(shù)據(jù)質(zhì)量治理的基礎(chǔ)上開展數(shù)據(jù)質(zhì)
量提升專項,短時間內(nèi)、集中資源力量打通數(shù)據(jù)質(zhì)量工作的難點、堵
點,在主配網(wǎng)數(shù)據(jù)治理領(lǐng)域,形成配網(wǎng)數(shù)據(jù)問題識別規(guī)則14項,累
計識別并整改2100余萬條數(shù)據(jù)質(zhì)量問題,全網(wǎng)各單位變電站輪廓坐
標(biāo)、桿塔坐標(biāo)準確率達到99%。
4.通過統(tǒng)一技術(shù)平臺消除數(shù)據(jù)管理協(xié)同難點
早期,各企業(yè)針對數(shù)據(jù)管理中的各項工作,逐步建設(shè)了數(shù)據(jù)標(biāo)準
管理平臺、數(shù)據(jù)質(zhì)量管理平臺、數(shù)據(jù)架構(gòu)管理平臺、元數(shù)據(jù)管理平臺、
主數(shù)據(jù)管理平臺等單一功能型技術(shù)工具,這些技術(shù)工具通常獨立存在,
使得數(shù)據(jù)管理各項活動間銜接性較差,例如數(shù)據(jù)標(biāo)準難以應(yīng)用于數(shù)據(jù)
模型、數(shù)據(jù)質(zhì)量難以從源頭把控等,導(dǎo)致管理資源的冗余和浪費。隨
著統(tǒng)一數(shù)據(jù)管理平臺的成熟,其將各單一功能型技術(shù)工具進行集成,
構(gòu)建了數(shù)據(jù)管理工作的“一站式”技術(shù)平臺,對于統(tǒng)籌數(shù)據(jù)管理工作、
提高數(shù)據(jù)管理效率的作用日益突出。例如中國移動構(gòu)建了元數(shù)據(jù)驅(qū)動
的統(tǒng)一數(shù)據(jù)治理平臺,全面拉通異構(gòu)跨地域跨平臺的元數(shù)據(jù),統(tǒng)一支
20
大數(shù)據(jù)白皮書(2022年)
撐數(shù)據(jù)管理、開發(fā)、運營、運維人員的數(shù)據(jù)治理工作,實現(xiàn)數(shù)據(jù)一點
可看、可控、可管。國網(wǎng)大數(shù)據(jù)中心基于統(tǒng)一數(shù)據(jù)管理技術(shù)平臺,實
現(xiàn)總部及27家省(市)公司PB級數(shù)據(jù)的統(tǒng)一管理,有效加快電網(wǎng)整
體數(shù)字化轉(zhuǎn)型升級。
(三)數(shù)據(jù)管理面臨的主要挑戰(zhàn)與發(fā)展趨勢
目前企業(yè)在數(shù)據(jù)管理方面仍然面臨三點挑戰(zhàn)。一是數(shù)據(jù)的業(yè)務(wù)價
值不顯著,數(shù)據(jù)管理內(nèi)驅(qū)動力不足。推動業(yè)務(wù)創(chuàng)新和發(fā)展是數(shù)據(jù)價值
的最終目標(biāo),由于企業(yè)缺乏對數(shù)據(jù)產(chǎn)生業(yè)務(wù)價值進行度量的體系,導(dǎo)
致企業(yè)決策層、管理層和業(yè)務(wù)部門難以對數(shù)據(jù)價值有效感知,進一步
降低了企業(yè)持續(xù)開展數(shù)據(jù)管理的動力。二是數(shù)據(jù)、IT和業(yè)務(wù)仍存在割
裂,組織架構(gòu)亟需變革調(diào)整。盡管越來越多的企業(yè)成立專門的數(shù)據(jù)管
理團隊,但是尚未明確數(shù)據(jù)管理團隊與IT團隊、業(yè)務(wù)團隊的協(xié)作機
制,導(dǎo)致數(shù)據(jù)管理與企業(yè)信息化建設(shè)和業(yè)務(wù)發(fā)展脫節(jié),阻礙了數(shù)據(jù)管
理成果在企業(yè)系統(tǒng)和業(yè)務(wù)場景的落地。三是數(shù)據(jù)管理人才缺失,數(shù)據(jù)
管理推進后勁不足。由于數(shù)據(jù)管理是一個新興領(lǐng)域,有別于傳統(tǒng)的數(shù)
據(jù)庫和計算機領(lǐng)域,需要的是具備管理能力、技術(shù)能力和業(yè)務(wù)能力的
復(fù)合型人才,因此面臨較大缺口。
未來,數(shù)據(jù)管理領(lǐng)域呈現(xiàn)以下三點趨勢。
一是首席數(shù)據(jù)官(ChiefDataOfficer,CDO)制度將助力企業(yè)全面
開展數(shù)據(jù)管理。CDO是有效管理和運用企業(yè)數(shù)據(jù)資源、充分挖掘數(shù)
據(jù)價值、驅(qū)動業(yè)務(wù)創(chuàng)新和轉(zhuǎn)型變革的企業(yè)負責(zé)人,負責(zé)為公司制定一
個明確的數(shù)字化戰(zhàn)略,確保相關(guān)舉措都獲得資源分配,并通過衡量數(shù)
21
大數(shù)據(jù)白皮書(2022年)
字項目投資回報率的方式,提高客戶參與度和忠誠度,推動企業(yè)形成
數(shù)據(jù)管理良性閉環(huán)。事實上,在過去的幾年里,國外已有包括通用電
氣、富國銀行在內(nèi)的眾多企業(yè)設(shè)置了CDO崗位,全面推動企業(yè)數(shù)字
化轉(zhuǎn)型。國內(nèi)廣東省于2022年在政府工作報告重點任務(wù)分工方案明
確提出,要“出臺企業(yè)首席數(shù)據(jù)官建設(shè)指南”,鼓勵具備條件的企業(yè)
在決策層設(shè)立CDO,按照“企業(yè)主導(dǎo)、政府推動、價值優(yōu)先、多方協(xié)
同”的建設(shè)原則組織實施。
二是數(shù)據(jù)研發(fā)運營一體化(DataOps)將有效提升數(shù)據(jù)管理協(xié)同
效率。隨著數(shù)據(jù)應(yīng)用場景日益豐富帶來數(shù)據(jù)分析需求快速變化,數(shù)據(jù)
工程師、數(shù)據(jù)管理員、報表開發(fā)人員、運維工程師在內(nèi)的各類數(shù)據(jù)管
理角色逐漸增多,導(dǎo)致企業(yè)各類數(shù)據(jù)交付任務(wù)難度大大增加。DataOps
旨在打破數(shù)據(jù)管理各環(huán)節(jié)之間的割裂,將數(shù)據(jù)質(zhì)量達標(biāo)率、數(shù)據(jù)標(biāo)準
落標(biāo)率、數(shù)據(jù)架構(gòu)符合度、數(shù)據(jù)安全滿足度等指標(biāo)作為數(shù)據(jù)設(shè)計、開
發(fā)和測試的要求,優(yōu)化數(shù)據(jù)生產(chǎn)者和數(shù)據(jù)消費者協(xié)作效率,并通過標(biāo)
準化大數(shù)據(jù)組件,構(gòu)建一體化平臺打通數(shù)據(jù)設(shè)計、開發(fā)、測試和運維
各環(huán)節(jié),實現(xiàn)編寫代碼、生產(chǎn)部署、調(diào)度監(jiān)控全過程線上化,引入可
視化編排、CI/CD等技術(shù)降低數(shù)據(jù)研發(fā)技術(shù)門檻,推動敏態(tài)數(shù)據(jù)研發(fā),
提高數(shù)據(jù)運維質(zhì)量。
三是提高智能化程度將成為降低數(shù)據(jù)管理成本的關(guān)鍵。通過利用
AI、ML、RPA、語義分析、可視化等技術(shù),自動識別或匹配數(shù)據(jù)規(guī)則
(包括數(shù)據(jù)標(biāo)準規(guī)則、數(shù)據(jù)質(zhì)量規(guī)則、數(shù)據(jù)安全規(guī)則等),自動執(zhí)行
數(shù)據(jù)規(guī)則校驗,自動發(fā)現(xiàn)數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系,并以可視化的方式展
22
大數(shù)據(jù)白皮書(2022年)
現(xiàn)。此外,利用VR、AR、3D可視化等技術(shù),幫助數(shù)據(jù)使用者探索
數(shù)據(jù)和挖掘數(shù)據(jù),提升數(shù)據(jù)應(yīng)用的趣味性,降低數(shù)據(jù)使用門檻。
四、數(shù)據(jù)流通:流通規(guī)范體系加速構(gòu)建
數(shù)據(jù)流通是指以數(shù)據(jù)或數(shù)據(jù)中蘊含的價值(信息內(nèi)容)作為對象,
按照一定規(guī)則從數(shù)據(jù)提供方傳遞到數(shù)據(jù)需求方的過程,即數(shù)據(jù)資源先
后被不同主體獲取、掌握或利用的過程。在數(shù)據(jù)要素市場建設(shè)的背景
下,數(shù)據(jù)流通領(lǐng)域受到了空前的關(guān)注,各方均在積極探索參與數(shù)據(jù)流
通,進而實現(xiàn)充分釋放數(shù)據(jù)要素價值的目標(biāo)。本章將介紹數(shù)據(jù)流通領(lǐng)
域的發(fā)展歷程、當(dāng)前現(xiàn)狀、主要特征和趨勢展望。
(一)數(shù)據(jù)流通發(fā)展重心向“規(guī)范化”轉(zhuǎn)移
數(shù)據(jù)流通是釋放數(shù)據(jù)要素價值的關(guān)鍵一環(huán)。一方面,數(shù)據(jù)具有外
部性,即同一組數(shù)據(jù)可以在不同的維度上產(chǎn)生不同的價值和效用。借
助數(shù)據(jù)流通數(shù)據(jù)可以在不同的數(shù)據(jù)接受者一方與自有數(shù)據(jù)匯聚,不斷
開拓使用維度,數(shù)據(jù)價值也將在社會面層層放大。另一方面,數(shù)據(jù)存
在分布不均衡的問題,企業(yè)采集的數(shù)據(jù)通常具有較強的行業(yè)屬性,特
征不夠全面,同時中小型企業(yè)收集的數(shù)據(jù)樣本量較少,難以支撐業(yè)務(wù)。
數(shù)據(jù)流通為利用數(shù)據(jù)的外部性,解決數(shù)據(jù)分布不均衡的問題,充分釋
放數(shù)據(jù)要素價值提供了有效手段。
數(shù)據(jù)流通隨商業(yè)信息分析需求增強而日益旺盛,合規(guī)性逐漸引起
關(guān)注。1841年,鄧白氏集團(D&B)率先將各種商業(yè)信息收集匯聚,
構(gòu)建信用評定的數(shù)據(jù)指標(biāo)體系,“數(shù)據(jù)服務(wù)商”的雛形初現(xiàn)。2000年
左右,隨著互聯(lián)網(wǎng)領(lǐng)域的迅速發(fā)展,企業(yè)對于數(shù)據(jù)的采集與流通需求
23
大數(shù)據(jù)白皮書(2022年)
進一步增強,例如谷歌就借助了AdSense獲取大量用戶行為數(shù)據(jù)用于
優(yōu)化其廣告投放效率并以此獲利,這也帶動了后來廣告營銷場景的大
量數(shù)據(jù)流通活動。2008年,隨著Infochimps、Factual、DataSift、Datahub、
Acxiom等一批知名專業(yè)數(shù)據(jù)服務(wù)商相繼涌現(xiàn),現(xiàn)代意義上的數(shù)據(jù)流
通正式形成。在這一時期,原始數(shù)據(jù)直接流通成為數(shù)據(jù)流通的主要形
式,商業(yè)形態(tài)也較為原始粗放,有較高的合規(guī)風(fēng)險。2014年后,貴陽、
上海等為代表的一批具備官方背景的數(shù)據(jù)交易所成立,銀行等金融機
構(gòu)開始大量引入外部數(shù)據(jù),數(shù)據(jù)流通需求廣泛提升,API接口調(diào)用的
數(shù)據(jù)流通形式逐漸增多。與此同時,數(shù)據(jù)流通的合規(guī)性逐漸成為業(yè)界
的關(guān)注點。
制度創(chuàng)新和技術(shù)創(chuàng)新雙輪驅(qū)動數(shù)據(jù)流通行業(yè)實現(xiàn)“規(guī)范化發(fā)展”。
制度創(chuàng)新方面,2022年6月22日中央深改委第二十六次會議強調(diào)
“要促進數(shù)據(jù)高效流通使用、賦能實體經(jīng)濟,統(tǒng)籌推進數(shù)據(jù)產(chǎn)權(quán)、流
通交易、收益分配、安全治理,加快構(gòu)建數(shù)據(jù)基礎(chǔ)制度體系”,為我
國數(shù)據(jù)流通產(chǎn)業(yè)發(fā)展提供了重要思路。技術(shù)創(chuàng)新方面,以隱私計算為
代表的數(shù)據(jù)流通技術(shù)提供了“數(shù)據(jù)可用不可見”、“數(shù)據(jù)可控可計量”
的數(shù)據(jù)服務(wù)新范式,在保障數(shù)據(jù)安全前提下實現(xiàn)了數(shù)據(jù)流通效果,從
而為需求方企業(yè)安全地獲取和利用外部數(shù)據(jù)提供了技術(shù)可能。
(二)當(dāng)前數(shù)據(jù)流通發(fā)展呈現(xiàn)四大特點
1.數(shù)據(jù)流通規(guī)則逐漸清晰
由于數(shù)據(jù)流通存在技術(shù)依賴、非標(biāo)準化的特點,面向多元數(shù)據(jù)主
體和多樣數(shù)據(jù)流轉(zhuǎn)形態(tài),參與流通的供需雙方需要科學(xué)、可靠且共識
24
大數(shù)據(jù)白皮書(2022年)
的規(guī)則體系,才能建立信任?,F(xiàn)階段,從政策指引到應(yīng)用實踐,各方
均在積極探索建立健全數(shù)據(jù)流通規(guī)則。在政策指引方面,2022年內(nèi)發(fā)
布的一系列政策文件(如表3)中均提出了建立數(shù)據(jù)流通規(guī)則的相關(guān)
內(nèi)容。在實踐探索方面,各地方、各行業(yè)、各類市場主體也在實踐過
程中積極探索數(shù)據(jù)流通配套規(guī)則。例如,貴陽大數(shù)據(jù)交易所于2022
年5月發(fā)布一系列數(shù)據(jù)交易規(guī)則,為交易主體權(quán)責(zé)劃分提供依據(jù),并
依據(jù)規(guī)則為數(shù)據(jù)產(chǎn)品、數(shù)據(jù)商、第三方數(shù)據(jù)服務(wù)中介機構(gòu)等提供登記
憑證,以確認數(shù)據(jù)和主體具備進入市場交易的條件,探索解決市場主
體互信難的問題。
表32022年數(shù)據(jù)流通規(guī)則建設(shè)相關(guān)政策清單
時間文件內(nèi)容
探索“原始數(shù)據(jù)不出域、數(shù)據(jù)可用不可見”的交
易范式,在保護個人隱私和確保數(shù)據(jù)安全的前提
下,分級分類、分步有序推動部分領(lǐng)域數(shù)據(jù)流通
國務(wù)院
應(yīng)用。探索建立數(shù)據(jù)用途和用量控制制度,實現(xiàn)
2022.01《要素市場化配置綜合
數(shù)據(jù)使用“可控可計量”。規(guī)范培育數(shù)據(jù)交易市
改革試點總體方案》
場主體,發(fā)展數(shù)據(jù)資產(chǎn)評估、登記結(jié)算、交易撮
合、爭議仲裁等市場運營體系,穩(wěn)妥探索開展數(shù)
據(jù)資產(chǎn)化服務(wù)。
國務(wù)院加快培育數(shù)據(jù)要素市場,建立健全數(shù)據(jù)安全、權(quán)
《中共中央國務(wù)院關(guān)于利保護、跨境傳輸管理、交易流通、開放共享、
2022.04
加快建設(shè)全國統(tǒng)一大市安全認證等基礎(chǔ)制度和標(biāo)準規(guī)范,深入開展數(shù)據(jù)
場的意見》資源調(diào)查,推動數(shù)據(jù)資源開發(fā)利用。
中央深改委
要建立合規(guī)高效的數(shù)據(jù)要素流通和交易制度,完
《關(guān)于構(gòu)建數(shù)據(jù)基礎(chǔ)制
2022.12善數(shù)據(jù)全流程合規(guī)和監(jiān)管規(guī)則體系,建設(shè)規(guī)范的
度更好發(fā)揮數(shù)據(jù)要素作
數(shù)據(jù)交易市場。
用的意見》
來源:中國信息通信研究院
2.流通參與熱情高漲,供需對接向多行業(yè)擴展
隨著數(shù)字化轉(zhuǎn)型的不斷深入和智能化水平的不斷攀升,企業(yè)參與
25
大數(shù)據(jù)白皮書(2022年)
數(shù)據(jù)流通的熱情空前高漲,數(shù)據(jù)流通的供需方從金融、互聯(lián)網(wǎng)持續(xù)向
其他行業(yè)擴展。
金融、互聯(lián)網(wǎng)行業(yè)的流通實踐不斷深化。金融行業(yè)中,風(fēng)險控制
要求極為嚴格,各大金融機構(gòu)以雄厚的資金實力做支撐,早已成為數(shù)
據(jù)要素市場的主要參與者?;ヂ?lián)網(wǎng)行業(yè)中,許多頭部企業(yè)已對外提供
眾多數(shù)據(jù)接口或數(shù)據(jù)產(chǎn)品,以滿足中小互聯(lián)網(wǎng)企業(yè)或其他行業(yè)研發(fā)應(yīng)
用、精準營銷、智能服務(wù)等需求。調(diào)研顯示,當(dāng)前金融機構(gòu)及大型互
聯(lián)網(wǎng)企業(yè)普遍建立了統(tǒng)一的部門或團隊管理外部數(shù)據(jù),頭部企業(yè)每年
的外部數(shù)據(jù)采購額已經(jīng)達到了億級規(guī)模。根據(jù)推算,僅銀行及互聯(lián)網(wǎng)
金融行業(yè)的外部數(shù)據(jù)采購額即可突破百億規(guī)模。
其他各類傳統(tǒng)行業(yè)也在不斷探索參與數(shù)據(jù)流通。工業(yè)領(lǐng)域中,數(shù)
字化轉(zhuǎn)型剛剛起步,還需經(jīng)歷產(chǎn)線內(nèi)數(shù)據(jù)聯(lián)動、工廠內(nèi)數(shù)據(jù)協(xié)同、企
業(yè)內(nèi)數(shù)據(jù)共享、企業(yè)間數(shù)據(jù)流通等多階段探索。目前,國家工業(yè)互聯(lián)
網(wǎng)大數(shù)據(jù)交易平臺已處于內(nèi)部測試階段,著力解決工業(yè)企業(yè)數(shù)據(jù)流通
的難點,促進工業(yè)數(shù)據(jù)要素市場發(fā)展。此外,政務(wù)、氣象、交通、醫(yī)
療等行業(yè)和場景的數(shù)據(jù)需求也逐步顯現(xiàn),相應(yīng)公共數(shù)據(jù)的開放或企業(yè)
數(shù)據(jù)的供給獲得更廣泛的關(guān)注。
3.安全流通技術(shù)重要性凸顯
在合規(guī)要求日趨收緊的背景下,能夠提供合規(guī)前提下充分挖掘數(shù)
據(jù)價值、促進數(shù)據(jù)流通的各類技術(shù)解決方案受到了業(yè)內(nèi)的廣泛關(guān)注。
數(shù)據(jù)脫敏與數(shù)據(jù)合成技術(shù)主要作用于數(shù)據(jù)流通的輸入階段,能夠
有效降低原始數(shù)據(jù)中包含的隱私信息泄露風(fēng)險。當(dāng)前,脫敏技術(shù)從基
26
大數(shù)據(jù)白皮書(2022年)
于SQL腳本的人工脫敏,自動化、流程化的平臺脫敏,逐漸走向了
應(yīng)用機器學(xué)習(xí)等技術(shù)的智能化數(shù)據(jù)脫敏階段。但是,目前該技術(shù)仍面
臨降低數(shù)據(jù)價值、無法明確是否滿足法律要求以及無法有效防止數(shù)據(jù)
復(fù)制和篡改等問題。數(shù)據(jù)合成技術(shù)仍處于初級探索階段。在應(yīng)用實踐
方面,醫(yī)療、金融、通信領(lǐng)域的相關(guān)企業(yè)如Illumina、J.P.Morgan、
Telefonica等都引入了數(shù)據(jù)合成技術(shù)試圖解決數(shù)據(jù)隱私問題。
隱私計算作用在數(shù)據(jù)流通的輸入、計算、輸出階段,實現(xiàn)了全流
程的數(shù)據(jù)“可用不可見”、“可控可計量”。現(xiàn)階段,隱私計算已成
為最有希望解決數(shù)據(jù)安全流通問題的關(guān)鍵技術(shù)。全球知名咨詢機構(gòu)
Gartner已連續(xù)兩年將隱私計算(其稱隱私增強計算)列為了重要戰(zhàn)
略科技趨勢。根據(jù)中國信通院調(diào)研顯示,自2018年以來,包括綜合
科技、大數(shù)據(jù)、金融科技、人工智能、區(qū)塊鏈、云服務(wù)、信息安全等
類型的企業(yè)紛紛入局隱私計算賽道,累計孵化出100余款產(chǎn)品,廣泛
應(yīng)用于金融、通信、互聯(lián)網(wǎng)、醫(yī)療、政務(wù)等領(lǐng)域。
區(qū)塊鏈為數(shù)據(jù)流通中的驗證、追溯、審計提供了有效保障。將區(qū)
塊鏈與其他各類數(shù)據(jù)安全流通技術(shù)相結(jié)合,能夠為數(shù)據(jù)溯源、交易存
證、數(shù)據(jù)侵權(quán)舉證等數(shù)據(jù)市場化等問題提供可行的解決方案,實現(xiàn)數(shù)
據(jù)流通全流程可驗證、可追溯、可審計,并為進一步建設(shè)高效、高安
全和高流動性的數(shù)據(jù)要素市場打下基礎(chǔ)。
4.數(shù)據(jù)流通產(chǎn)品形態(tài)逐漸向個性化定制方向轉(zhuǎn)變
隨著各行業(yè)企業(yè)逐漸對業(yè)務(wù)進行數(shù)智化升級和改造,數(shù)據(jù)應(yīng)用的
場景不斷豐富,數(shù)據(jù)流通市場逐漸從“以數(shù)據(jù)產(chǎn)品為主”向市場驅(qū)動
27
大數(shù)據(jù)白皮書(2022年)
的“以數(shù)據(jù)需求為主”轉(zhuǎn)變。數(shù)據(jù)提供方趨向以數(shù)據(jù)需求作為入口與
市場和用戶接觸,根據(jù)需方企業(yè)的個性化需求提供針對性更強的解決
方案,反向帶動數(shù)據(jù)流通的活力。以最早掛牌新三板的數(shù)據(jù)源服務(wù)提
供商數(shù)據(jù)堂為例,其商業(yè)模式可以概括為兩個方面,一是大數(shù)據(jù)交易
平臺,二是面向B端客戶提供定制化數(shù)據(jù)源服務(wù)。再如科創(chuàng)信息、百
融云創(chuàng)、神州泰岳等我國大數(shù)據(jù)服務(wù)領(lǐng)域的頭部上市企業(yè),無一不是
通過提供定制化服務(wù)快速占領(lǐng)細分領(lǐng)域市場,根據(jù)現(xiàn)實場景構(gòu)建適合
企業(yè)自身的大數(shù)據(jù)體系。
(三)數(shù)據(jù)流通面臨的主要挑戰(zhàn)與發(fā)展趨勢
當(dāng)前,數(shù)據(jù)流通尚未充分激活,主要原因在于我國數(shù)據(jù)要素市場
培育的基礎(chǔ)還不扎實,在數(shù)據(jù)流通相關(guān)的權(quán)利關(guān)系、價格機制、行為
規(guī)則、技術(shù)支撐等方面仍存在諸多障礙,使得數(shù)據(jù)的供給和需求都存
在一定障礙。一是數(shù)據(jù)權(quán)屬界定的場景與問題復(fù)雜,對于參與數(shù)據(jù)流
通的主體權(quán)利關(guān)系,理論、制度和產(chǎn)業(yè)實踐層面均尚未形成共識。二
是數(shù)據(jù)的估值定價尚缺乏科學(xué)、標(biāo)準的評價方法,傳統(tǒng)的估值定價方
法很難完全適用于數(shù)據(jù)流通的特點。三是數(shù)據(jù)流通的準入、競爭等行
為約束沒有清晰的法律界定,配套的激勵和監(jiān)管規(guī)則也不完善,相關(guān)
市場主體顧慮很多、動力不足。四是隱私計算等數(shù)據(jù)流通關(guān)鍵技術(shù)應(yīng)
用還不成熟,數(shù)據(jù)安全流通的技術(shù)方案仍需持續(xù)探索。
因此,對于參與數(shù)據(jù)流通的企業(yè)而言,需重點關(guān)注兩大問題。一
方面,如何穩(wěn)定本企業(yè)的數(shù)據(jù)供應(yīng)鏈。外部數(shù)據(jù)如何持續(xù)、穩(wěn)定地被
獲取,如何不斷提升數(shù)據(jù)的質(zhì)量,如何管理好引入的外部數(shù)據(jù),成為
28
大數(shù)據(jù)白皮書(2022年)
企業(yè)在數(shù)據(jù)流通中關(guān)注的重點。中國信通院云大所構(gòu)建的外部數(shù)據(jù)源
評估標(biāo)準和外部數(shù)據(jù)管理標(biāo)準,就試圖為這一領(lǐng)域提供值得借鑒的經(jīng)
驗。另一方面,如何深刻地參與到國家數(shù)據(jù)要素市場建設(shè)之中。數(shù)據(jù)
如何對外提供,需要滿足哪些責(zé)、權(quán)、利方面的程序,如何更高效、
更低成本地參與到統(tǒng)一大市場中的數(shù)據(jù)流通環(huán)節(jié),成為企業(yè)面臨的新
命題。
未來,數(shù)據(jù)流通領(lǐng)域呈現(xiàn)以下三點趨勢。
一是公共數(shù)據(jù)開放帶動數(shù)據(jù)流通供給?!耙愿邇r值公共數(shù)據(jù)為突
破口,強化政府的引領(lǐng)作用,帶動商業(yè)數(shù)據(jù)供給”已成為解決數(shù)據(jù)供
給不充足,激活市場主體內(nèi)在動力的最為緊迫的任務(wù)之一。近年來各
地方政府在政務(wù)數(shù)據(jù)開放平臺建設(shè)方面積極推進,取得了良好成效。
未來,針對已有的公共數(shù)據(jù)開放,應(yīng)明確公共數(shù)據(jù)開放規(guī)則,建立公
共數(shù)據(jù)開放的社會需求受理渠道,基于公共數(shù)據(jù)開發(fā)利用清單,結(jié)合
應(yīng)用需求建立公共數(shù)據(jù)開放動態(tài)調(diào)整機制,推動公共數(shù)據(jù)有序開放。
針對各地正在積極推進的非個人數(shù)據(jù)授權(quán)運營,應(yīng)在規(guī)范的基礎(chǔ)上持
續(xù)創(chuàng)新,一是加快規(guī)則建設(shè),二是鼓勵市場主體參與,三是強化數(shù)據(jù)
安全保障。此外,還需持續(xù)探索創(chuàng)新思路,推動公共數(shù)據(jù)產(chǎn)品通過數(shù)
據(jù)交易場所掛牌上市,探索公共數(shù)據(jù)資產(chǎn)登記,創(chuàng)新公共數(shù)據(jù)供給形
式等。
二是場景化的技術(shù)分級框架將促進數(shù)據(jù)安全流通實踐落地。各類
安全流通技術(shù)的使用往往會帶來數(shù)據(jù)應(yīng)用價值的損失。一般來說,隨
著數(shù)據(jù)可控程度的提升,數(shù)據(jù)應(yīng)用價值的損失也會進一步增大,兩者
29
大數(shù)據(jù)白皮書(2022年)
之間難以兼顧。在數(shù)據(jù)流通過程中,各應(yīng)用場景對應(yīng)的參與方信任程
度不同、數(shù)據(jù)類型不同,這造成了其需要達到的數(shù)據(jù)可控程度也是不
同的。一味的追求高安全水平可能會造成數(shù)據(jù)流通價值無法達到預(yù)期,
降低了各主體的參與積極性。在未來的數(shù)據(jù)流通實踐中,參與主體也
應(yīng)結(jié)合實際業(yè)務(wù)需求,基于場景選取適當(dāng)分級條件下的技術(shù)方案,實
現(xiàn)數(shù)據(jù)可控程度和數(shù)據(jù)流通價值的最大化。
三是可信流通體系將為數(shù)據(jù)有序流通提供條件??尚帕魍w系旨
在為有序的數(shù)據(jù)流通提供信任,全面提高數(shù)據(jù)可信、可用、可流通、
可追溯水平。近幾年,以數(shù)據(jù)為主要驅(qū)動的行業(yè),特別是金融和互聯(lián)
網(wǎng)行業(yè)的頭部企業(yè),都在構(gòu)建自己的可信流通生態(tài)圈。一方面,根據(jù)
業(yè)務(wù)需求劃定數(shù)據(jù)供方,確保數(shù)據(jù)源的合法合規(guī)、持續(xù)供應(yīng)、安全可
靠;另一方面,提升數(shù)據(jù)引入后的應(yīng)用管理水平,通過構(gòu)建組織架構(gòu)、
明確各部門職責(zé)要求、建立和實施系統(tǒng)化制度、流程和工具等方式,
全面統(tǒng)籌外部數(shù)據(jù)的需求和使用。未來階段,企業(yè)與行業(yè)間的可信流
通生態(tài)需要融合打通,形成規(guī)范的可信流通體系,重塑數(shù)據(jù)流通規(guī)則、
重組數(shù)據(jù)流通資源,重建數(shù)據(jù)流通渠道,在提高數(shù)據(jù)流通效率的同時
實現(xiàn)對數(shù)據(jù)流通全流程的動態(tài)可控。
五、數(shù)據(jù)應(yīng)用:積極探索數(shù)據(jù)深層價值的釋放路徑
數(shù)據(jù)應(yīng)用通過建立數(shù)據(jù)與業(yè)務(wù)的高效銜接,實現(xiàn)數(shù)據(jù)最終賦能業(yè)
務(wù)。數(shù)據(jù)應(yīng)用決定了數(shù)據(jù)對業(yè)務(wù)的賦能效果,是數(shù)據(jù)價值釋放的“最
后一公里”。若數(shù)據(jù)應(yīng)用不充分,將反向影響企業(yè)對數(shù)據(jù)存儲與計算、
數(shù)據(jù)管理等其他數(shù)據(jù)工作的整體投入信心。雖然數(shù)據(jù)應(yīng)用早已存在于
30
大數(shù)據(jù)白皮書(2022年)
人類社會的各項活動中,但由于技術(shù)能力不足、前序工作未就緒等因
素限制,傳統(tǒng)數(shù)據(jù)應(yīng)用主要針對的是少量、局部、非實時數(shù)據(jù),依賴
大量人工決策,導(dǎo)致數(shù)據(jù)主要釋放其淺層價值。當(dāng)前,國內(nèi)外各方正
積極探索新的數(shù)據(jù)應(yīng)用方法論,并在不同行業(yè)、不同場景進行滾動式
實踐,從而釋放數(shù)據(jù)深層價值,目前已取得初步進展。本章將詳細介
紹數(shù)據(jù)應(yīng)用領(lǐng)域的發(fā)展歷程、當(dāng)前現(xiàn)狀、主要特征和趨勢展望。
(一)數(shù)據(jù)應(yīng)用開始探索第三階段實踐路徑
數(shù)據(jù)應(yīng)用發(fā)展已有60余年,總體分為三階段。數(shù)據(jù)應(yīng)用是利用
數(shù)據(jù)對各項事務(wù)進行探索、分析、洞察并最終推動決策的過程,其是
數(shù)據(jù)價值釋放的最終一環(huán)。在各企事業(yè)單位中,數(shù)據(jù)應(yīng)用是否充分,
直接決定各企事業(yè)單位對于數(shù)據(jù)相關(guān)工作的整體投資性價比,進而反
向影響對數(shù)據(jù)存儲與計算、數(shù)據(jù)治理、數(shù)據(jù)安全等環(huán)節(jié)的投入程度。
雖然數(shù)據(jù)應(yīng)用早已存在于人類社會的各項活動中,但隨著數(shù)據(jù)本身形
態(tài)、數(shù)據(jù)處理技術(shù)、產(chǎn)業(yè)發(fā)展環(huán)境、數(shù)據(jù)應(yīng)用需求等的不斷演化升級,
數(shù)據(jù)應(yīng)用內(nèi)涵和模式不斷豐富,總體可分為三個階段。各階段特征如
下所示。
表4數(shù)據(jù)應(yīng)用三個階段
第一階段第二階段第三階段
(1960s開始)(1990s開始)(2015s開始)
數(shù)據(jù)源業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)倉庫數(shù)據(jù)湖+外部數(shù)據(jù)
常態(tài)化、體系化、
數(shù)據(jù)與業(yè)務(wù)關(guān)系隨機、離散全域、敏捷、嵌入式
外掛式
分析方法圖表統(tǒng)計BI分析BI+AI
對決策的影響輔助決策增強決策自動決策
來源:中國信息
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025年大學(xué)試題(歷史學(xué))-中國畫論歷年參考題庫含答案解析(5套典型考題)
- 2025年大學(xué)試題(醫(yī)學(xué))-循證護理學(xué)歷年參考題庫含答案解析(5套典型考題)
- 2025年大學(xué)試題(農(nóng)學(xué))-土壤學(xué)歷年參考題庫含答案解析(5套典型考題)
- 2025年國家開放大學(xué)(電大)-國家開放大學(xué)(解剖學(xué))歷年參考題庫含答案解析(5套典型考題)
- 2025年衛(wèi)生資格(中初級)-心理治療(主管技師)歷年參考題庫含答案解析(5套典型題)
- 2025年衛(wèi)生知識健康教育知識競賽-婦幼保健知識競賽歷年參考題庫含答案解析(5套典型考題)
- 2025年醫(yī)學(xué)高級職稱-普通外科學(xué)(醫(yī)學(xué)高級)歷年參考題庫含答案解析(5套典型題)
- 2025年黨政知識干部培訓(xùn)知識競賽-掃黑除惡應(yīng)知應(yīng)會歷年參考題庫含答案解析(5套典型考題)
- 2025年企業(yè)文化企業(yè)建設(shè)知識競賽-吉林省企業(yè)改革知識歷年參考題庫含答案解析(5套典型考題)
- 2025年業(yè)務(wù)知識崗位知識競賽-太平洋保險外勤知識競賽歷年參考題庫含答案解析(5套典型考題)
- 基孔肯雅熱防控
- 2025至2030鎢絲行業(yè)市場深度研究與戰(zhàn)略咨詢分析報告
- 2024年廣州越秀區(qū)招聘社區(qū)專職工作人員真題
- 北方民族大學(xué)《高等數(shù)學(xué)Ⅱ》2025-2026學(xué)年期末試卷(A卷)
- 支付為民活動方案
- 膝關(guān)節(jié)滑膜炎護理查房
- 2025至2030中國聚對苯二甲酸丙二醇酯(PTT)行業(yè)市場現(xiàn)狀分析及競爭格局與投資發(fā)展報告
- 服裝設(shè)計與工藝專業(yè)教學(xué)標(biāo)準(高等職業(yè)教育??疲?025修訂
- 尿毒癥護理疑難病例討論
- 回腸造口還納護理查房
- 2025年魚菜共生項目可行性研究報告
評論
0/150
提交評論