數(shù)據(jù)共享系統(tǒng)解析與實現(xiàn)第五章區(qū)塊鏈與數(shù)據(jù)共享01數(shù)據(jù)共享簡介數(shù)據(jù)及數(shù)據(jù)產(chǎn)品定義本書的計算對象、交易對象都圍繞著數(shù)據(jù)概念展開，涉及區(qū)塊鏈技術、隱私計算技術數(shù)據(jù)共享技術、數(shù)據(jù)交易平臺及其他數(shù)據(jù)的衍生產(chǎn)品等。從本章開始，數(shù)據(jù)不再是一個抽象概念，而是具體的事物，是記錄在存儲媒介上的數(shù)字編碼。什么是數(shù)據(jù)本書提及的“數(shù)據(jù)”概念一般是指計算機領域定義的數(shù)據(jù)。在計算機科學中,數(shù)據(jù)是所有能輸入計算機并被計算機程序處理的符號介質(zhì)的總稱，是用于輸入電子計算機進行處理，具有一定意義的數(shù)字、字母、符號和模擬量等的通稱。1.1數(shù)據(jù)及數(shù)據(jù)產(chǎn)品定義什么是數(shù)據(jù)產(chǎn)品數(shù)據(jù)產(chǎn)品，顧名思義，是從應用數(shù)據(jù)、交易數(shù)據(jù)、處理數(shù)據(jù)中衍生的數(shù)字產(chǎn)品。例如，對于地理信息領域，《地理信息系統(tǒng)名詞》第二版[?把數(shù)據(jù)產(chǎn)品定義為在屬性數(shù)據(jù)、空間數(shù)據(jù)基礎上構建的可以應用在不同領域的專題數(shù)據(jù)。01中心式模式在中心式模式中，中心平臺需要從各方匯總數(shù)據(jù)信息，進行集中存儲和管理，以促進跨機構、跨地域數(shù)據(jù)資源的共享、開放與應用。03單點模式在單點模式下，數(shù)據(jù)保存在局域網(wǎng)節(jié)點中，這些節(jié)點被禁止加入公有網(wǎng)，數(shù)據(jù)使用方需要在特定物理環(huán)境中才能使用數(shù)據(jù)。02點對點模式點對點模式通常指數(shù)據(jù)使用方和數(shù)據(jù)所有方進行一對一對接，數(shù)據(jù)使用方通過線上或線下方式獲取數(shù)據(jù)。1.2傳統(tǒng)數(shù)據(jù)共享模式1.3數(shù)據(jù)共享趨勢與問題數(shù)據(jù)共享趨勢與問題按照國家大數(shù)據(jù)發(fā)展戰(zhàn)略，推動數(shù)據(jù)共享是大勢所趨，有利于充分調(diào)動社會力量參與社會治理，深化大數(shù)據(jù)創(chuàng)新應用，發(fā)揮數(shù)據(jù)價值，釋放數(shù)字紅利。國家一直致力“拓展網(wǎng)絡經(jīng)濟空間，推進數(shù)據(jù)資源開放共享，實施國家大數(shù)據(jù)戰(zhàn)略”,從《政務信息資源共享管理暫行辦法》到《“十三五”國家信息化規(guī)劃》,再到《政務信息系統(tǒng)整合共享實施方案》和《公共信息資源開放試點工作方案》;從頂層戰(zhàn)略規(guī)劃到行動方案，我國政府不斷推進數(shù)據(jù)共享技術落到實處，力求提高數(shù)據(jù)開放質(zhì)量，擴大數(shù)據(jù)價值傳播范圍。然而數(shù)據(jù)流通使用存在數(shù)據(jù)安全、隱私保護和數(shù)據(jù)權益等影響數(shù)據(jù)共享發(fā)展的關鍵問題，全球?qū)@些問題越來越關注。一方面，數(shù)據(jù)所有方出于數(shù)據(jù)安全、隱私保護和數(shù)據(jù)權益的考慮，不愿意讓數(shù)據(jù)離開管控的范圍，擔心數(shù)據(jù)流出后失去對數(shù)據(jù)的控制；另一方面，數(shù)據(jù)使用方?jīng)]有數(shù)據(jù)可用，迫切希望得到數(shù)據(jù)，進行數(shù)據(jù)價值的發(fā)掘。02可信數(shù)據(jù)共享2.1可信數(shù)據(jù)共享模式在可信數(shù)據(jù)共享模式下，數(shù)據(jù)不需要從所有方存儲媒介中轉(zhuǎn)移到其他存儲媒介，只需要數(shù)據(jù)使用方把數(shù)據(jù)計算分析算法或程序移植到數(shù)據(jù)端執(zhí)行，計算后的結果返回給數(shù)據(jù)使用方，同時對每個數(shù)據(jù)操作進行記錄，形成不可抵賴的記錄，從而實現(xiàn)“數(shù)據(jù)不動計算動，數(shù)據(jù)可算不可見”。這種模式既保障了數(shù)據(jù)安全、隱私保護和數(shù)據(jù)權益，又保證了數(shù)據(jù)使用方可以對數(shù)據(jù)進行計算分析而正常獲取數(shù)據(jù)計算結果。01分離數(shù)據(jù)控制主權和使用權分離數(shù)據(jù)控制權和使用權，可以讓數(shù)據(jù)所有方保持對數(shù)據(jù)控制不泄露，數(shù)據(jù)使用方只是獲得數(shù)據(jù)的使用權，既解決了數(shù)據(jù)所有方擔心數(shù)據(jù)共享會失去數(shù)據(jù)控制的問題，又實現(xiàn)了數(shù)據(jù)共享，滿足了數(shù)據(jù)使用方對數(shù)據(jù)的需求。03數(shù)據(jù)隱私保護“數(shù)據(jù)不動計算動，數(shù)據(jù)可算不可見”,數(shù)據(jù)使用方獲取不到原始明細數(shù)據(jù)，只能獲取計算結果數(shù)據(jù)，極大地加強了數(shù)據(jù)隱私保護。02數(shù)據(jù)共享全流程不可抵賴數(shù)據(jù)共享全流程不可抵賴，可以解決數(shù)據(jù)所有方擔心數(shù)據(jù)在不知情的情況下被使用的問題，為后續(xù)數(shù)據(jù)共享可能帶來的收益分配提供可信的憑證。2.1可信數(shù)據(jù)共享模式2.2數(shù)據(jù)共享技術實現(xiàn)方案可信數(shù)據(jù)共享模式可以有很多方案，本節(jié)給出一種可信數(shù)據(jù)共享模式的實現(xiàn)方案，即融合區(qū)塊鏈、聯(lián)邦學習、邊緣計算等技術的可信數(shù)據(jù)共享系統(tǒng)。區(qū)塊鏈、聯(lián)邦學習和邊緣計算具有如表5-1所示的特點。邊緣計算提供基本邊緣端計算環(huán)境，聯(lián)邦學習和區(qū)塊鏈可以在邊緣計算節(jié)點上進行部署。2.2數(shù)據(jù)共享技術實現(xiàn)方案01區(qū)塊鏈本方案利用區(qū)塊鏈具有不可篡改和可信的優(yōu)勢，具體而言，在每個參與方部署一個區(qū)塊鏈節(jié)點。03邊緣計算邊緣計算除了提供基本的計算環(huán)境，還提供基本邊緣計算算子，這些算子是系統(tǒng)提前實現(xiàn)的常見基礎計算方法。02聯(lián)邦學習本方案充分利用聯(lián)邦學習在多方數(shù)據(jù)不需要離開本地的情況下進行聯(lián)合訓練的特點。2.2數(shù)據(jù)共享技術實現(xiàn)方案2.2數(shù)據(jù)共享技術實現(xiàn)方案接入可信數(shù)據(jù)共享系統(tǒng)的每個節(jié)點的每份數(shù)據(jù)都會在區(qū)塊鏈上生成唯一資產(chǎn)ID和數(shù)據(jù)指紋，同時每次數(shù)據(jù)操作(包含數(shù)據(jù)上傳、數(shù)據(jù)查詢、數(shù)據(jù)計算等)都會上鏈，形成不可抵賴的審計、溯源憑據(jù)，以達到可信的數(shù)據(jù)全生命周期追蹤，實現(xiàn)與區(qū)塊鏈相結合的可信的數(shù)據(jù)全流程監(jiān)管。2.2數(shù)據(jù)共享技術實現(xiàn)方案本方案充分利用聯(lián)邦學習在多方數(shù)據(jù)不需要離開本地的情況下進行聯(lián)合訓練的特點，如圖5-1所示，同時應用差分隱私、同態(tài)加密等技術，保障聯(lián)合訓練過程無法獲取原始真實數(shù)據(jù)，能夠?qū)崿F(xiàn)數(shù)據(jù)兩權分離、數(shù)據(jù)不出門、可算不可取、隱私不泄露等功能；結合區(qū)塊鏈，把多方聯(lián)合訓練模型過程中的數(shù)據(jù)貢獻記錄上鏈，為后續(xù)聯(lián)合模型產(chǎn)生的利益分配提供可信參考依據(jù)2.2數(shù)據(jù)共享技術實現(xiàn)方案系統(tǒng)采用區(qū)塊鏈技術、邊緣計算及聯(lián)邦學習技術在內(nèi)的多種技術，在保障數(shù)據(jù)不離開數(shù)據(jù)所有方存儲服務器的前提下，使得隱私數(shù)據(jù)在不脫離數(shù)據(jù)所有方控制的前提下得到充分的利用。這樣，數(shù)據(jù)使用權和控制權分離，數(shù)據(jù)使用方獲得數(shù)據(jù)的使用權，數(shù)據(jù)所有方持有數(shù)據(jù)控制權。03SOLAR數(shù)據(jù)共享平臺設計3.1SOLAR的平臺設計功能本節(jié)介紹可信數(shù)據(jù)共享系統(tǒng)的實例——SOLAR(SmartOnlineLimbicArchitectureRenaissance)。SOLAR是數(shù)據(jù)可信共享應用平臺，通過安全可信的技術手段，實現(xiàn)數(shù)據(jù)兩權分離、數(shù)據(jù)不出門、隱私不泄露、可用不可取、利益共分享、監(jiān)管無遺漏。SOLAR平臺由多個邊緣端和多個中心端組成。從定位上，邊緣端主要面向數(shù)據(jù)所有方，中心端主要面向數(shù)據(jù)使用方。3.1SOLAR的平臺設計功能1.邊緣端邊緣端部署在數(shù)據(jù)所有方的機器上，具有數(shù)據(jù)接入、數(shù)據(jù)清洗、數(shù)據(jù)應用和數(shù)據(jù)溯源等功能。每個接入平臺的數(shù)據(jù)方都部署一個邊緣端系統(tǒng)，接收數(shù)據(jù)使用方從中心端發(fā)來的計算指令，負責在數(shù)據(jù)所有方內(nèi)進行本地計算，然后把計算結果返回給中心端。2.中心端中心端由平臺統(tǒng)一托管，主要是面向數(shù)據(jù)使用方。中心端具有數(shù)據(jù)清洗和數(shù)據(jù)應用等功能，還集成了平臺節(jié)點管理和對外部服務功能。中心端的數(shù)據(jù)清洗和數(shù)據(jù)應用功能是通過發(fā)送指令到邊緣端來實現(xiàn)的。3.1SOLAR的平臺設計功能SOLAR平臺除了具有數(shù)據(jù)應用計算相關的功能，還具有用戶注冊、用戶登錄(如圖5-5所示)、接入平臺數(shù)據(jù)瀏覽(如圖5-6所示)、查看認證機構、數(shù)據(jù)檢索等基本功能。3.1SOLAR的平臺設計功能SOLAR的平臺設計功能分布式智能：在數(shù)據(jù)流通利用過程中普遍存在多方參與、數(shù)據(jù)分散、數(shù)據(jù)類型多樣等特點，為此SOLAR平臺需要具備分布式智能特性。SOLAR的平臺設計功能萬物互聯(lián)：數(shù)據(jù)來源往往是多樣的，包含各種設備、傳感器、系統(tǒng)等，為此SOLAR平臺需要具備對接多源數(shù)據(jù)的能力。01SOLAR的平臺設計功能邊緣架構：面對爆發(fā)增長的數(shù)據(jù)量，有些數(shù)據(jù)出于安全和隱私保護要求，不允許原始數(shù)據(jù)對外服務，為此SOLAR平臺需要支持邊緣架構。03SOLAR的平臺設計功能數(shù)據(jù)主權復興：作為要素，數(shù)據(jù)具有巨大的價值，但與普通商品有區(qū)別，數(shù)據(jù)容易被復制傳播，同樣一份數(shù)據(jù)可以瞬間擴散。02SOLAR的平臺設計功能聯(lián)盟治理：數(shù)據(jù)流通利用過程中涉及多方主體，數(shù)據(jù)格式、類型和標準往往不一樣，而且需要一定規(guī)則和約定來保障流程有效地運行，為此SOLAR平臺需要支持聯(lián)盟治理來保障數(shù)據(jù)質(zhì)量和流程規(guī)范運行。3.1SOLAR的平臺設計功能01“1+N”模式SOLAR平臺被設計成一個數(shù)據(jù)可信共享應用的基礎框架，可以應用于金融經(jīng)濟、管理決策、行業(yè)治理、臨床科研、公共衛(wèi)生、產(chǎn)業(yè)發(fā)展、惠民服務等行業(yè)和領域，可以打造“1+N”模式(1個SOLAR數(shù)據(jù)共享平臺+N個應用場景)。03層次SOLAR平臺分為多層，每層完成不同功能，如圖5-10所示。底層為基礎設施層，包括計算、存儲和網(wǎng)絡；中間層為平臺支撐層，包括安全技術和業(yè)務組件，如區(qū)塊鏈、聯(lián)邦學習、安全沙箱等技術打造的平臺底座，以及數(shù)據(jù)組織、數(shù)據(jù)確權、數(shù)據(jù)計算、數(shù)據(jù)上鏈等內(nèi)容；頂層為應用領域?qū)?，涉及政務、醫(yī)療、教育等領域。02分布式SOLAR平臺采用分布式拓撲，包括多個中心端和邊緣端。中心端能夠提高系統(tǒng)的可靠性，當一個中心端發(fā)生系統(tǒng)故障時，可以使用其他中心端，保障服務不會受影響。多個中心端同時在線時，會選舉出一個主中心端，其他的為從中心端，彼此采用心跳方式進行健康監(jiān)測。3.2SOLAR的平臺架構01多語言SOLAR平臺的開發(fā)采用多種語言編程，因為整個平臺涉及的功能和模塊眾多，不同編程語言有各自優(yōu)勢，因此不限一種。涉及統(tǒng)計分析及機器學習算法的模塊采用Python語言開發(fā)；涉及前端界面時，采用HTML/CSS、JavaScript等；在涉及業(yè)務系統(tǒng)后端時，采用Java語言。03聯(lián)邦學習聯(lián)邦學習在近幾年發(fā)展很快，目前已經(jīng)有很多開源的聯(lián)邦學習框架，如表5-2所示四。SOLAR平臺是一個龐大的工程，從可行性、成本等綜合考慮，選取開源成熟的區(qū)塊鏈和聯(lián)邦學習框架可以加快基礎能力搭建，避免重復搭建基礎能力，把精力集中在SOLAR平臺整體開發(fā)和關鍵能力建設上。02三層B/C模式中心端和邊緣端都采用三層B/C模式進行實現(xiàn)：表示層，即最上層的人機交互界面，采用瀏覽器作為客戶端，前端框架采用VUE實現(xiàn)；業(yè)務邏輯層，主要為業(yè)務規(guī)則的制定、業(yè)務流程的實現(xiàn)等后端采集SpringBoot框架。3.3SOLAR平臺的技術造型3.3SOLAR平臺的技術造型區(qū)塊鏈目前有很多開源的區(qū)塊鏈框架，主要解決信任問題，如表5-3所示8。SOLAR平臺同樣出于可行性、成本等考慮，區(qū)塊鏈采用HyperledgerFabric作為基礎聯(lián)盟鏈框架。邊緣計算邊緣計算采用安全容器Kata作為安全計算環(huán)境，數(shù)據(jù)使用時加載到Kata容器，計算完成后立即銷毀容器，進一步加強平臺安全和數(shù)據(jù)保護。相對傳統(tǒng)的Docker容器，Kata創(chuàng)建的不同容器跑在一個個不同的虛擬機上，比起傳統(tǒng)Docker容器提供了更好的隔離性和安全性，同時繼承了容器快速啟動和快速部署等優(yōu)點。3.3SOLAR平臺的技術造型3.3SOLAR平臺的技術造型01邊緣端節(jié)點注冊遠程調(diào)用名為SaveEdgeOrg,服務提供方為中心端，服務調(diào)用方為邊緣端。該遠程調(diào)用的作用是：邊緣端節(jié)點在注冊或修改信息時，同步將信息提交到中心端。03接入邊緣端元數(shù)據(jù)遠程調(diào)用名為SaveEdgeDataMeta,服務提供方為中心端，服務調(diào)用方為邊緣端。該遠程調(diào)用的作用是：邊緣端在發(fā)布數(shù)據(jù)或修改已發(fā)布數(shù)據(jù)的元數(shù)據(jù)時調(diào)用該接口，把信息同步到中心端。02邊緣端節(jié)點退出遠程調(diào)用名為DeleteEdgeOrg,服務提供方為中心端，服務調(diào)用方為邊緣端。該遠程調(diào)用的作用是：邊緣端節(jié)點在退出數(shù)據(jù)共享平臺時，告知中心端。3.4SOLAR平臺的遠程調(diào)用01發(fā)起遠程計算任務遠程調(diào)用名為StartComputingJob,服務提供方為邊緣端，服務調(diào)用方為中心端。該遠程調(diào)用的作用是：中心端向邊緣端發(fā)起數(shù)據(jù)計算任務。03數(shù)據(jù)溯源遠程調(diào)用名DataTraceability,任何一個節(jié)點(中心端和邊緣端)都可以提供這個服務，其作用是：從區(qū)塊鏈上查詢數(shù)據(jù)的操作記錄。02計算完成通知遠程調(diào)用名為ComputingJobCallBack,服務提供方為中心端，服務調(diào)用方為邊緣端。該遠程調(diào)用的作用是：計算任務完成后，邊緣端通知任務發(fā)起方，可以讀取計算結果。3.4SOLAR平臺的遠程調(diào)用01數(shù)據(jù)清洗預定義算子：通過圖形化或拖曳形式制定數(shù)據(jù)治理流程，任務實際在邊緣端運行。圖5-12為簡單數(shù)值計算器的數(shù)據(jù)處理方式。03數(shù)據(jù)清洗自定義程序：通過上傳自定義程序，在安全沙箱中完成數(shù)據(jù)治理，任務實際在邊緣端運行。02數(shù)據(jù)清洗SQL語句：通過SQL語句方式進行數(shù)據(jù)清洗，任務實際在邊緣端運行。3.5中心端功能設計數(shù)據(jù)應用SQL語句：通過編寫SQL語句進行數(shù)據(jù)統(tǒng)計分析。數(shù)據(jù)應用自定義程序：通過自定義數(shù)據(jù)處理程序，程序在邊緣端的安全沙箱運行，并把結果返回給中心端。數(shù)據(jù)應用預置算子：在中心端通過可視化方式配置數(shù)據(jù)統(tǒng)計分析任務(在線SPSS),任務實際在邊緣端運行并把結果返回給中心端。數(shù)據(jù)應用聯(lián)邦學習：多個機構在數(shù)據(jù)不出本機構前提下，進行使用數(shù)據(jù)聯(lián)合建模，平臺提供圖形化界面3.5中心端功能設計3.5中心端功能設計數(shù)據(jù)溯源中心端部署有區(qū)塊鏈節(jié)點，基于區(qū)塊鏈的數(shù)據(jù)溯源把所有數(shù)據(jù)操作都上鏈，如數(shù)據(jù)上傳、數(shù)據(jù)查詢、數(shù)據(jù)計算等，形成不可抵賴的溯源憑據(jù)，打造可信的數(shù)據(jù)全生命周期溯源。平臺管理中心端平臺管理功能主要是對平臺進行管理和維護，包括邊緣端注冊和接入、節(jié)點狀態(tài)監(jiān)控、任務調(diào)度、流量控制等功能。3.5中心端功能設計SOLAR平臺對外服務功能提供包含平臺門戶、數(shù)據(jù)共享應用服務引擎等，其中應用服務引擎是指平臺對外提供的API接口，是可以被其他系統(tǒng)調(diào)用的接口。基于應用服務引擎可以在上層構建不同的應用，如數(shù)據(jù)交易平臺、醫(yī)療科研平臺。圖5-17為SOLAR平臺門戶首頁，包括數(shù)據(jù)市場、數(shù)據(jù)資產(chǎn)、聯(lián)邦學習和系統(tǒng)管理四個功能模塊。數(shù)據(jù)清洗邊緣端具有豐富的數(shù)據(jù)清洗功能，不僅可以由數(shù)據(jù)所有方調(diào)用，也可以由中心端發(fā)送數(shù)據(jù)清洗指令調(diào)用，支持不同方式的數(shù)據(jù)清洗，如預定義算子、SQL語句和自定義程序等。數(shù)據(jù)溯源邊緣端部署有區(qū)塊鏈節(jié)點，數(shù)據(jù)溯源是基于區(qū)塊鏈的溯源，具有可信和不可抵賴特點。數(shù)據(jù)接入邊緣端數(shù)據(jù)接入支持不同數(shù)據(jù)接入方式，如數(shù)據(jù)庫、本地文件、設備數(shù)據(jù)接入等，并且數(shù)據(jù)接入交互方式友好。數(shù)據(jù)應用邊緣端的數(shù)據(jù)在本地調(diào)用數(shù)據(jù)應用進行計算完后，只把計算結果返回給調(diào)用者(通常是中心端)。3.6邊緣端的功能設計04數(shù)據(jù)共享應用系統(tǒng)開發(fā)010302區(qū)塊鏈初始化讀取配置文件，獲取將要連接的Fabric區(qū)塊鏈網(wǎng)絡中peer節(jié)點和Order節(jié)點的grpc端口地址、tls證書、Mspld、組織的管理員證書和密鑰、CA節(jié)點的地址。區(qū)塊鏈初始化在本地文件系統(tǒng)創(chuàng)建一個錢包，導入管理員證書和密鑰，建立一個新的X.509身份，將身份通過描述性標簽admin加入錢包。區(qū)塊鏈初始化啟動一個連接池，用于后續(xù)的上鏈和查詢。4.1區(qū)塊鏈智能管理模塊4.1區(qū)塊鏈智能管理模塊數(shù)據(jù)上鏈功能是通過數(shù)據(jù)上鏈的接口層代碼，以JSON格式接收SOLAR平臺需要上鏈的相關數(shù)據(jù)，從錢包中獲取當前用戶賬號的密鑰和證書，生成X.509證書格式的加密數(shù)據(jù)，與接收的上鏈相關數(shù)據(jù)組裝為一個上鏈參數(shù)的數(shù)組，指定上鏈的通道，調(diào)用execute方法來完成。4.1區(qū)塊鏈智能管理模塊execute方法的作用為，接收上層傳入的上鏈數(shù)據(jù)等相關參數(shù)，獲取配置文件的相關信息，組裝后，請求Fabric網(wǎng)絡的鏈碼進行數(shù)據(jù)上鏈。4.1區(qū)塊鏈智能管理模塊executeV2是完整的request處理接口，支持對合約進行切換，如果一個通道有多個合約，或者不同通道合約名不同，就可以通過executeV2進行切換。數(shù)據(jù)查詢數(shù)據(jù)溯源4.1區(qū)塊鏈智能管理模塊數(shù)據(jù)查詢功能通過鏈上數(shù)據(jù)查詢的接口層代碼，接收SOLAR平臺傳入的相關參數(shù)，通過條件判斷后組裝一個富查詢語句，從錢包中獲取管理員權限賬號的密鑰和證書，生成X.509證書格式的加密數(shù)據(jù)，與富查詢語句組裝為一個上鏈參數(shù)的數(shù)組整體，調(diào)用下一層的query方法進行數(shù)據(jù)查詢。數(shù)據(jù)溯源功能是通過接口層的代碼，接收SOLAR平臺傳入的參數(shù)，獲取需要進行溯源的主鍵參數(shù)，用主鍵參數(shù)組裝一個富查詢語句；從錢包中獲取管理員權限賬號的密鑰和證書，生成X.509證書格式的加密數(shù)據(jù)，與富查詢語句組裝為一個上鏈參數(shù)的數(shù)組整體，調(diào)用下一層的query方法進行數(shù)據(jù)溯源查詢。任務準備任務準備預處理向FATE發(fā)起運算任務前的準備工作，主要是數(shù)據(jù)準備，讓訓練數(shù)據(jù)所在的邊緣生成CSV文件并上傳到FATE。權限申請向參與訓練的數(shù)據(jù)所屬邊緣端機構申請運算，會生成資源申請的任務消息。邊緣端管理員看到此消息后執(zhí)行審核操作。如果所有機構審核通過，就正式向FATE發(fā)起計算請求。4.2聯(lián)邦學習模塊4.2聯(lián)邦學習模塊啟動運算任務所有訓練數(shù)據(jù)的邊緣段機構授權通過后，開始正式向FATE請求計算任務，主要執(zhí)行以下操作：①檢查訓練數(shù)據(jù)是否已經(jīng)成功上傳到FATE,數(shù)據(jù)必須全部上傳成功；②根據(jù)運算任務類型，將參數(shù)封裝成不同的數(shù)據(jù)結構，正式向FATE發(fā)起運算請求。邏輯回歸邏輯回歸，也稱為logistic回歸分析，是一種廣義的線性回歸分析模型，屬于機器學習中的監(jiān)督學習。KS檢驗Kolmogorov-Smirnov(KS)檢驗是比較一個頻率分布f(x)與理論分布g(x)或者兩個觀測值分布的檢驗方法。一元線性回歸一元線性回歸預測方法是根據(jù)自變量x和因變量y的相關關系，建立x與y的線性回歸方程進行預測。獨立性卡方檢驗獨立性卡方檢驗是一種統(tǒng)計學的假設檢驗，用于確定兩個分類型或名義型變量是否可能相關。4.3邊緣計算模塊4.4業(yè)務邏輯管理模塊(1)邊緣端注冊或更新邊緣端通過調(diào)用中心端注冊接口加入平臺，在注冊時邊緣端的基本機構信息通過中心端接口被同步到中心端服務器。邊緣端信息更新也是同樣的邏輯。邊緣端的注冊或更新最終會調(diào)用中心端新建或更新機構信息接口代碼，主要是處理機構自身、機構標簽、機構圖標等信息，以及注冊FATE節(jié)點。update函數(shù)用于中心端對應的注冊或更新，會被邊緣端遠程調(diào)用。邊緣端上線邊緣端上線若節(jié)點是第一次上線，則在ZooKeeper上創(chuàng)建一個唯一的節(jié)點路徑，路徑包含節(jié)點地址等信息。若之前已經(jīng)上線過，則需要刷新ZooKeeper上該節(jié)點路徑保存的地址信息(可能存在節(jié)點地址變更的情況)。4.4業(yè)務邏輯管理模塊中心端監(jiān)聽邊緣端中心端監(jiān)聽邊緣端中心端自身也作為一個節(jié)點注冊到節(jié)點管理中創(chuàng)建邊緣端節(jié)點監(jiān)聽，當檢測到邊緣端上線、下線時，更新相應機構的狀態(tài)和邊緣端FATE節(jié)點的狀態(tài)。4.4業(yè)務邏輯管理模塊數(shù)據(jù)交易平臺第六章區(qū)塊鏈與數(shù)據(jù)共享01交易平臺發(fā)展現(xiàn)狀01BDEXBDEX平臺不僅提供數(shù)據(jù)買賣，還提供數(shù)據(jù)托管、數(shù)據(jù)評分、買賣雙方評分等服務，最大的特點是實現(xiàn)了真正的實時數(shù)據(jù)交換。03DataCoupDataCoup關注的是個人隱私數(shù)據(jù)領域，專門收集個人隱私數(shù)據(jù)，并進行售賣，包括Facebook、Twitter等社交網(wǎng)站的記錄，也包括銀行卡、信用卡等金融交易相關的記錄。02QuandlQuand1以專業(yè)提供金融數(shù)據(jù)服務而著名，數(shù)據(jù)最重要的來源是金融投資領域，包括聯(lián)合國、世界銀行、各國中央銀行等公開數(shù)據(jù)，所有數(shù)據(jù)來自500多家發(fā)布商，包括數(shù)十萬用戶，每日數(shù)據(jù)下載量超過1000萬次。1.1國際數(shù)據(jù)交易平臺1.2政府主導的國際數(shù)據(jù)交易平臺貴陽大數(shù)據(jù)交易所貴陽大數(shù)據(jù)交易所由貴州省政府批準成立，于2015年4月14日正式掛牌運營，希望建設國際一流的綜合性大數(shù)據(jù)交易服務平臺，采用“政府指導，社會參與、市場化運作”的運營模式，開創(chuàng)性地在全國率先探索數(shù)據(jù)流通的交易價值和交易模式。貴陽大數(shù)據(jù)交易所提供的服務是全國范圍內(nèi)的。在技術方面，貴陽大數(shù)據(jù)交易所采用隱私計算、聯(lián)邦學習、區(qū)塊鏈等先進技術，打造數(shù)據(jù)產(chǎn)品和服務、算力資源、算法工具等多元的數(shù)據(jù)產(chǎn)品體系。產(chǎn)品類型貴陽大數(shù)據(jù)交易所的數(shù)據(jù)產(chǎn)品約有21大類，包括：工業(yè)農(nóng)業(yè)、生態(tài)環(huán)境、交通運輸、科技創(chuàng)新、教育文化、智慧城市、社會保障、生活服務、地理空間、氣象服務、城建住房、勞動就業(yè)、統(tǒng)計服務及其他場景。收費類型成立初期，貴陽大數(shù)據(jù)交易所采用交易傭金制，一部分來自會員的會費，單個會員會費每年至少5萬元，普通會員要求年費10萬元；另一部分來自交易的費用，交易所參與對數(shù)據(jù)的清洗、挖掘等工作，傭金比例為交易費用的40%左右。1.2政府主導的國際數(shù)據(jù)交易平臺01按照數(shù)據(jù)產(chǎn)品的生命周期，將成本核算范圍分為“數(shù)據(jù)資源獲取成本、數(shù)據(jù)產(chǎn)品加工成本、存儲成本、安全成本和維護更新成本”。03按照數(shù)據(jù)資產(chǎn)化不同階段，建立數(shù)據(jù)資產(chǎn)評估的“修正成本模型”“增量效益考慮折現(xiàn)模型”"非核心資產(chǎn)/因素剝離折現(xiàn)模型"等模型。02按照數(shù)據(jù)產(chǎn)品不同的開發(fā)形式，將定價思路分為“標準化數(shù)據(jù)產(chǎn)品定價思路”和“定制化數(shù)據(jù)產(chǎn)品定價思路”,針對標準化數(shù)據(jù)產(chǎn)品的價格形成推出多因子成本修正模型。1.2政府主導的國際數(shù)據(jù)交易平臺1.2政府主導的國際數(shù)據(jù)交易平臺1.2政府主導的國際數(shù)據(jù)交易平臺交易安全交易所設立數(shù)據(jù)交易安全體系與技術標準，并對數(shù)據(jù)供應商實行“會員制”管理。在嚴格的管理體制下，但凡出現(xiàn)數(shù)據(jù)造假、數(shù)據(jù)欺詐、數(shù)據(jù)來源等方面相關的處罰、違規(guī)，

甚至違法的會員單位都會受到交易所的相應處罰。此外，大數(shù)據(jù)交易所作為業(yè)務指導單位，聯(lián)合全國知名大數(shù)據(jù)企業(yè)發(fā)起大數(shù)據(jù)交易商聯(lián)盟，形成自制、自律平臺。北京國際大數(shù)據(jù)交易所北數(shù)所創(chuàng)新性融合了免費開放、授權調(diào)用、共同建模、加密計算等多種使用模式。北京國際大數(shù)據(jù)交易所北數(shù)所建立了開放準入制度、鑒定需求方資質(zhì)，以區(qū)分所有人都能買的數(shù)據(jù)、拿到授權才可購買的數(shù)據(jù)、拿到授權且有相應資質(zhì)才能購買的數(shù)據(jù)等。北京國際大數(shù)據(jù)交易所北數(shù)所提供的數(shù)據(jù)產(chǎn)品類型主要有包括數(shù)據(jù)服務、數(shù)據(jù)API、數(shù)據(jù)包、數(shù)據(jù)報告。北京國際大數(shù)據(jù)交易所為推動產(chǎn)業(yè)鏈創(chuàng)新發(fā)展，北數(shù)所大力扶持具有數(shù)據(jù)來源合規(guī)審查、數(shù)據(jù)資產(chǎn)定價、爭議仲裁等能力的中介機構。1.2政府主導的國際數(shù)據(jù)交易平臺上海數(shù)據(jù)交易所上海數(shù)據(jù)交易中心以撮合商業(yè)數(shù)據(jù)交易為主，形成會員機制，供需雙方協(xié)商產(chǎn)品價格。上海數(shù)據(jù)交易所上海數(shù)據(jù)交易所開展了以有效數(shù)據(jù)連接為目標的標準、規(guī)范、技術、法律等方面的基礎研究，自主創(chuàng)新“技術+規(guī)則”雙重架構的數(shù)據(jù)交易整體解決方案。上海數(shù)據(jù)交易所上海數(shù)據(jù)交易所將“原始數(shù)據(jù)不交易、個人數(shù)據(jù)不交易”作為基本原則。上海數(shù)據(jù)交易所設立數(shù)字資產(chǎn)板塊，主要包括數(shù)字文創(chuàng)、文博衍生等數(shù)字藝術品。上海數(shù)據(jù)交易所上海數(shù)據(jù)交易所面向數(shù)據(jù)流通交易提供高效便捷、透明安全的數(shù)據(jù)產(chǎn)品交易服務。1.2政府主導的國際數(shù)據(jù)交易平臺1.2政府主導的國際數(shù)據(jù)交易平臺香港大數(shù)據(jù)交易所以數(shù)據(jù)即服務及聚合相關產(chǎn)業(yè)鏈為發(fā)展方向，將數(shù)據(jù)采集、數(shù)據(jù)分析、數(shù)據(jù)應用、數(shù)據(jù)與區(qū)塊鏈、數(shù)據(jù)資產(chǎn)化與證券化、數(shù)據(jù)與物聯(lián)網(wǎng)、數(shù)據(jù)與人工智能及相關產(chǎn)業(yè)鏈整合，構建實體經(jīng)濟與虛擬經(jīng)濟相結合的全新聚合經(jīng)濟體。依托香港國際金融中心地位，香港大數(shù)據(jù)交易所具有整合產(chǎn)業(yè)資源與資本的優(yōu)勢，打造全新的科技產(chǎn)業(yè)格局，將產(chǎn)、學、研融合成一個有機整體；同時，整合物聯(lián)網(wǎng)、密碼學、大數(shù)據(jù)、區(qū)塊鏈、人工智能等技術，將采集的數(shù)據(jù)通過唯一編碼的方式記錄在區(qū)塊鏈中，使得數(shù)據(jù)交易和投資成為可能，為未來數(shù)據(jù)及各類資產(chǎn)交易提供了必要的保障。京東萬象大數(shù)據(jù)開放平臺京東萬象平臺提供數(shù)據(jù)集、面向不同業(yè)務場景的多方數(shù)據(jù)計算模型及各類通用服務API等數(shù)據(jù)產(chǎn)品，也提供數(shù)據(jù)定制服務。京東萬象大數(shù)據(jù)開放平臺京東萬象平臺結合公安部技術，為數(shù)據(jù)交易雙方提供可識別的認證服務并將數(shù)據(jù)授權和流通各環(huán)節(jié)記錄到數(shù)據(jù)流通的區(qū)塊鏈上。京東萬象大數(shù)據(jù)開放平臺京東萬象平臺數(shù)據(jù)來源于企業(yè)內(nèi)部(京東金融和京東云)數(shù)據(jù)、第三方數(shù)據(jù)和合作伙伴數(shù)據(jù)。京東萬象大數(shù)據(jù)開放平臺京東萬象平臺定價策略包括直接定價、按需計價、協(xié)議定價等方式。1.3企業(yè)主導的國際數(shù)據(jù)交易平臺聚合數(shù)據(jù)資產(chǎn)服務API平臺聚合數(shù)據(jù)平臺從數(shù)據(jù)源頭上把控數(shù)據(jù)接口質(zhì)量，經(jīng)過統(tǒng)一API集成、融合框架進行標準化處理后，提供給開發(fā)者調(diào)用。聚合數(shù)據(jù)資產(chǎn)服務API平臺聚合數(shù)據(jù)平臺具備一站式零代碼快速接入輸出、接口統(tǒng)一管理、智能路由熱切換。聚合數(shù)據(jù)資產(chǎn)服務API平臺聚合數(shù)據(jù)平臺提供500多個覆蓋多領域、多場景的標準化數(shù)據(jù)API服務，涵蓋全國車輛違章查詢、基站數(shù)據(jù)、城市公共交通信息數(shù)據(jù)。聚合數(shù)據(jù)資產(chǎn)服務API平臺聚合數(shù)據(jù)平臺定價策略包括直接定價、按需計價等方式。數(shù)據(jù)API按需求次數(shù)或按實際使用量購買；塊數(shù)據(jù)按單個定價購買；免費數(shù)據(jù)接口較多。1.3企業(yè)主導的國際數(shù)據(jù)交易平臺01東湖大數(shù)據(jù)的數(shù)據(jù)來源于政府公開數(shù)據(jù)、本企業(yè)內(nèi)部數(shù)據(jù)、自采數(shù)據(jù)和第三方數(shù)據(jù)，其產(chǎn)品主要包括汽車類、氣象類、企業(yè)類服務數(shù)據(jù)，提供數(shù)據(jù)API、塊數(shù)據(jù)、數(shù)據(jù)報告。03東湖大數(shù)據(jù)定價策略包括按需計價、協(xié)議定價等方式。02交易模式包括大數(shù)據(jù)分析結果交易模式、數(shù)據(jù)產(chǎn)品交易模式等。1.3企業(yè)主導的國際數(shù)據(jù)交易平臺東湖大數(shù)據(jù)交易中心東湖大數(shù)據(jù)交易中心東湖大數(shù)據(jù)交易中心1.3企業(yè)主導的國際數(shù)據(jù)交易平臺東湖大數(shù)據(jù)在保障數(shù)據(jù)合規(guī)應用的基礎上，通過嚴格的數(shù)據(jù)源準入標準和多來源多模態(tài)數(shù)據(jù)融合分析流通服務平臺，面向數(shù)據(jù)需求方提供可信數(shù)據(jù)服務；與華中農(nóng)業(yè)大學等院校合作，積極參與大數(shù)據(jù)和云計算相關的安全標準化研制工作，加入全國信息安全標準化技術委員會下屬SWG-BDS大數(shù)據(jù)安全標準特別工作組，獲得多項發(fā)明專利。在當今的數(shù)字經(jīng)濟時代，數(shù)據(jù)和信息是企業(yè)和社會最重要的資源。移動計算和物聯(lián)網(wǎng)等新技術的發(fā)展，使得數(shù)據(jù)交易平臺的生命力更加旺盛。這些平臺通過充當數(shù)據(jù)提供者與數(shù)據(jù)購買者之間創(chuàng)建鏈接的中介，為數(shù)據(jù)交易提供了基礎設施。數(shù)據(jù)資產(chǎn)作為獲取信息的原材料，為企業(yè)帶來了持續(xù)不斷的增值潛力。02數(shù)據(jù)交易平臺的挑戰(zhàn)2.1數(shù)據(jù)產(chǎn)品的交易特點東湖大數(shù)據(jù)在保障數(shù)據(jù)合規(guī)應用的基礎上，通過嚴格的數(shù)據(jù)源準入標準和多來源多模態(tài)數(shù)據(jù)融合分析流通服務平臺，面向數(shù)據(jù)需求方提供可信數(shù)據(jù)服務；與華中農(nóng)業(yè)大學等院校合作，積極參與大數(shù)據(jù)和云計算相關的安全標準化研制工作，加入全國信息安全標準化技術委員會下屬SWG-BDS大數(shù)據(jù)安全標準特別工作組，獲得多項發(fā)明專利。在當今的數(shù)字經(jīng)濟時代，數(shù)據(jù)和信息是企業(yè)和社會最重要的資源。移動計算和物聯(lián)網(wǎng)等新技術的發(fā)展，使得數(shù)據(jù)交易平臺的生命力更加旺盛。這些平臺通過充當數(shù)據(jù)提供者與數(shù)據(jù)購買者之間創(chuàng)建鏈接的中介，為數(shù)據(jù)交易提供了基礎設施。數(shù)據(jù)資產(chǎn)作為獲取信息的原材料，為企業(yè)帶來了持續(xù)不斷的增值潛力。01從資產(chǎn)屬性來看，數(shù)據(jù)資產(chǎn)可被無限分享和復制決定了其排他性非常有限。這也意味著數(shù)據(jù)產(chǎn)品的非競爭性，也就是說，數(shù)據(jù)資產(chǎn)的價值與使用者的數(shù)量無關。03一方面，數(shù)據(jù)產(chǎn)品是無形性的，不能看到或摸到，數(shù)據(jù)產(chǎn)品的價值很難通過精確的公式或者模型來估算，因此必須通過其他方式體現(xiàn)，如通過數(shù)據(jù)的準確性和可靠性來說明其價值。另一方面，數(shù)據(jù)產(chǎn)品的價值可能受到使用對象、市場因素、技術發(fā)展等的影響，因此其價值不穩(wěn)定。02數(shù)據(jù)產(chǎn)品的邊際成本接近于零是指隨著數(shù)據(jù)產(chǎn)品的生產(chǎn)和銷售數(shù)量的增加，其成本的增長速度逐漸減緩，最終達到平衡點的經(jīng)濟現(xiàn)象。2.1數(shù)據(jù)產(chǎn)品的交易特點非競爭性邊際成本接近于零價值難以衡量2.2交易平臺設計的挑戰(zhàn)數(shù)據(jù)界權是一個重要而復雜的問題，是建立數(shù)據(jù)交易規(guī)則和制度的前提，但目前缺乏全球共識。各政府都在努力確定如何權衡個人的數(shù)據(jù)隱私權與政府在公民安全、國家主權等方面對個人數(shù)據(jù)的使用權。數(shù)據(jù)產(chǎn)品交易特點讓數(shù)據(jù)確權的過程復雜困難。與目的明確的知識產(chǎn)權創(chuàng)造不同，數(shù)據(jù)可以從人們?nèi)粘；ヂ?lián)網(wǎng)活動中產(chǎn)生，但這不意味著數(shù)據(jù)的影響微不足道。加工后的衍生數(shù)據(jù)，產(chǎn)權更是難以界定。從數(shù)據(jù)的生命周期來看，數(shù)據(jù)產(chǎn)業(yè)鏈條涉及不同主體，也牽涉各主體的不同利益，數(shù)據(jù)的采集、存儲、傳輸、處理、使用、分配等環(huán)節(jié)都與數(shù)據(jù)權屬有直接關系。2.2交易平臺設計的挑戰(zhàn)作為一種新的交易品種，數(shù)據(jù)交易目前在產(chǎn)品化方面還存在三大障礙。首先，在數(shù)據(jù)標準化方面，目前行業(yè)的普遍現(xiàn)象是，由于缺乏統(tǒng)一的監(jiān)管和規(guī)范，各行業(yè)的數(shù)據(jù)格式繁多，數(shù)據(jù)質(zhì)量參差不齊。當數(shù)據(jù)來自多個業(yè)務系統(tǒng)時，避免不了數(shù)據(jù)存在錯誤或自相矛盾的情況。難以形成一種普適的數(shù)據(jù)產(chǎn)品標準化方法，直接影響到其成為一種集中化、大規(guī)模交易的產(chǎn)品。其次，數(shù)據(jù)產(chǎn)品的可用性嚴重依賴數(shù)據(jù)的處理方式。數(shù)據(jù)的產(chǎn)品化設計必須深刻理解用戶的深層次需求，結合需求方的業(yè)務場景。2.2交易平臺設計的挑戰(zhàn)在市場化的背景下，盡管非合規(guī)的數(shù)據(jù)交易產(chǎn)業(yè)受較大打擊，數(shù)據(jù)交易市場整體往合規(guī)化發(fā)展，但各地數(shù)據(jù)交易場所的數(shù)據(jù)交易量并未明顯提升。由于數(shù)據(jù)交易場內(nèi)監(jiān)管相比場外更嚴格，流程相對場外更為煩瑣，提高了數(shù)據(jù)需求方合作門檻要求，因此較少有機構愿意到場內(nèi)進行交易。繞過平臺進行場外點對點交易的平臺缺少客戶黏性，淪為展示工具，缺乏可持續(xù)盈利模式。由于數(shù)據(jù)的特殊屬性，現(xiàn)有大數(shù)據(jù)交易平臺各自建立規(guī)則，但尚未形成成熟的、可大規(guī)模商用的數(shù)據(jù)集中撮合交易模式，大數(shù)據(jù)交易機制仍待進一步探索。2.2交易平臺設計的挑戰(zhàn)隱私保護及信息安全存在風險數(shù)據(jù)作為記錄現(xiàn)實世界人和客觀事物的性質(zhì)、狀態(tài)等特征的抽象數(shù)字符號，承載著隱私信息；企業(yè)數(shù)據(jù)負載著商業(yè)信息，屬于商業(yè)秘密。數(shù)據(jù)的流通和交易會涉及個人隱私或企業(yè)商業(yè)秘密的安全問題。數(shù)據(jù)產(chǎn)品價值評估困難數(shù)據(jù)在流通中產(chǎn)生價值，必然涉及定價問題。雖然目前已探索形成了市場法、成本法和收益法等數(shù)據(jù)定價機制，但由于數(shù)據(jù)本身的特性，數(shù)據(jù)定價依然存在難度。一方面，數(shù)據(jù)價格不僅與數(shù)據(jù)采集難易、數(shù)據(jù)質(zhì)量有關，更與特定應用場景有關，數(shù)據(jù)在特定場景下才能凸顯價值，容易形成對不同場景的使用者價格不同的情形。03數(shù)據(jù)分類分級方法系統(tǒng)性原則在設計分類標準時，應構建一個邏輯清晰、層次合理的劃分體系，充分發(fā)揮數(shù)據(jù)分類的優(yōu)勢，避免數(shù)據(jù)混亂或模糊。明確性原則不同數(shù)據(jù)類目間的劃分界限應明確、清晰，不存在發(fā)生相互混淆的可能。穩(wěn)定性原則在確定屬性歸類標準時，應當以數(shù)據(jù)最基礎、最本質(zhì)、最不易改變的特征作為分類的依據(jù)，以此維護整套分類體系的穩(wěn)定性。規(guī)范性原則在數(shù)據(jù)分類標準中所使用的術語應當能夠確切地表示出該類目的實際特征，且在詞匯、語法的使用上具有一致性。3.1分類原則010302可擴充性原則隨著經(jīng)濟生活的轉(zhuǎn)型發(fā)展，數(shù)據(jù)創(chuàng)新時有發(fā)生，這些新型數(shù)據(jù)的屬性可能并不屬于現(xiàn)有劃分標準中的任何一類。綜合實用性原則在制定標準的全過程中，設計人員與技術人員應時刻遵循“實事求是，一切從實際出發(fā)”的宗旨，設計出一套普適的、通用的規(guī)則體系，使總成本最小化。兼容性原則兼容性原則主要強調(diào)不同分類標準間的快速轉(zhuǎn)換和對接，即：在任何一套體系的設計過程都應秉承以國家標準為核心的理念，只有在國家標準沒有明確規(guī)定的情況下，才可按照行業(yè)標準的要求設立劃分標準。3.1分類原則3.2分類方法數(shù)據(jù)資源類別劃分方法(1)主題分類法政務數(shù)據(jù)一般優(yōu)先按照國家、地方制定的電子政務信息目錄和公共數(shù)據(jù)目錄進行識別?！墩招畔①Y源目錄體系第4部分：政務信息資源分類》采用混合分類法，從資源屬性角度進行分類，包括21個一級類和133個二級類，以及綜合政務、經(jīng)濟管理、國土資源與能源等類別。(2)行業(yè)分類法目前，大數(shù)據(jù)交易平臺一般根據(jù)數(shù)據(jù)資源涉及的行業(yè)領域范疇進行分類。參照《國民經(jīng)濟行業(yè)分類》,可將數(shù)據(jù)資源分為二十大類：農(nóng)、林、牧、漁業(yè)，采礦業(yè)，制造業(yè)，電力、熱力、燃氣及水生產(chǎn)和供應業(yè)，建筑業(yè)，批發(fā)和零售業(yè)，交通運輸、倉儲和郵政業(yè)，住宿和餐飲業(yè)，信息傳輸、軟件和信息技術服務業(yè)，金融業(yè)，房地產(chǎn)業(yè)，租賃和商務服務業(yè)，科學研究和技術服務業(yè)，水利、環(huán)境和公共設施管理業(yè)，居民服務、修理和其他服務業(yè)，教育，衛(wèi)生和社會工作，文化、體育和娛樂業(yè)，公共管理、社會保障和社會組織，國際組織。010302數(shù)據(jù)資源類別劃分步驟明確業(yè)務場景和數(shù)據(jù)分類具體活動，并根據(jù)業(yè)務場景選擇分類視角，制定數(shù)據(jù)分類工作計劃。數(shù)據(jù)資源類別劃分步驟通過調(diào)研數(shù)據(jù)現(xiàn)狀，確定數(shù)據(jù)分類的對象，選擇數(shù)據(jù)分類維度和方法。數(shù)據(jù)資源類別劃分步驟根據(jù)擬定的實施流程，開發(fā)數(shù)據(jù)分類工具/腳本，記錄數(shù)據(jù)分類實施過程，輸出分類結果。3.2分類方法3.2分類方法檢查數(shù)據(jù)分類實施過程，訪談數(shù)據(jù)分類相關人員，測試數(shù)據(jù)分類結果。定期對數(shù)據(jù)分類方法進行評估，并進行變更控制。分級原則確保分級結果能夠為數(shù)據(jù)全生命周期的安全策略提供有效決策信息，并避免對數(shù)據(jù)進行過于復雜的分級規(guī)劃，保證數(shù)據(jù)分級使用和執(zhí)行的可行性。分級原則數(shù)據(jù)的分級規(guī)則是客觀并可以被校驗的，即通過數(shù)據(jù)自身的屬性和分級規(guī)則判定其分級，已經(jīng)分級的數(shù)據(jù)是可以復核和檢查的。分級原則按照數(shù)據(jù)的多維特征及其相互間客觀存在的邏輯關聯(lián)，進行科學和系統(tǒng)化的分級；按照數(shù)據(jù)全生命周期的安全需求和合規(guī)性，確定數(shù)據(jù)的安全等級。分級原則各公共管理和服務機構可根據(jù)自身的數(shù)據(jù)管理需要，如戰(zhàn)略需要、業(yè)務需要、對風險的接受程度等。3.3分級原則3.4分級方法縱覽目前現(xiàn)有的法規(guī)標準，數(shù)據(jù)分類分級的定級無外乎根據(jù)數(shù)據(jù)影響的對象、影響的范圍及影響的程度進行。按照《中華人民共和國數(shù)據(jù)安全法》要求，根據(jù)數(shù)據(jù)遭到篡改、破壞、泄露或者非法獲取、非法利用，對國家安全、公共利益或者個人、組織合法權益造成的危害程度，將數(shù)據(jù)從低到高分成一般數(shù)據(jù)、重要數(shù)據(jù)、核心數(shù)據(jù)三個級別。①影響對象，劃分為：個人、組織、行業(yè)。②影響范圍，劃分為；個人利益、公共利益、社會秩序、國家安全。③影響程度，一般指數(shù)據(jù)安全屬性(完整性、機密性、重要程度)遭到破壞后帶來的影響大小，劃分為：特別嚴重、嚴重、中等、輕微、無。一般按照“確定影響對象一確定影響范圍一確定影響程度”步驟綜合對數(shù)據(jù)定級。01無條件共享：無附加條件提供給所有公共管理和服務機構共享利用的數(shù)據(jù)，包括人口、法人單位、自然資源和空間地理、電子證照等基礎庫的基礎信息項。03不予共享：不應提供給其他公共管理和服務機構共享利用的數(shù)據(jù)。02有條件共享：按設定條件提供給特定公共管理和服務機構共享利用的數(shù)據(jù)，如健康保障、社會保障、食品藥品安全。3.5數(shù)據(jù)資源共享和開放要求數(shù)據(jù)資源共享要求數(shù)據(jù)資源共享要求數(shù)據(jù)資源共享要求01不予開放：涉及國家秘密、商業(yè)秘密、個人隱私，開放后風險較高，或者法律法規(guī)規(guī)定不得開放的數(shù)據(jù)資源。03無條件開放：不予開放類和有條件開放類以外的數(shù)據(jù)。例如，行政審批、信用等公共服務領域的政務數(shù)據(jù)應優(yōu)先開放。02有條件開放：按設定條件提供給特定人群的數(shù)據(jù)資源，包括對數(shù)據(jù)安全處理能力要求高、時效性強的公共數(shù)據(jù)。3.5數(shù)據(jù)資源共享和開放要求數(shù)據(jù)資源開放要求數(shù)據(jù)資源開放要求數(shù)據(jù)資源開放要求3.6動態(tài)分類分級由于數(shù)據(jù)是動態(tài)流動的，其重要性和可能造成的危害程度也需要進行動態(tài)審核更新?；跀?shù)據(jù)資源標簽的動態(tài)管理是實現(xiàn)數(shù)據(jù)資源的多維度動態(tài)分類分級管理方法之一。根據(jù)行業(yè)或具體應用需求，數(shù)據(jù)資源分類項可以轉(zhuǎn)化為數(shù)據(jù)資源標簽，通過動態(tài)打標簽和修改標簽等技術方式，即可實現(xiàn)數(shù)據(jù)資源動態(tài)分類分級。數(shù)據(jù)資產(chǎn)運營模式的類型產(chǎn)品服務類模式結合數(shù)據(jù)的來源渠道和價值細分領域，分析數(shù)據(jù)市場需求及潛力，形成專題研究報告產(chǎn)品，可采用會員制訂閱模式或者免費發(fā)布等方式。數(shù)據(jù)資產(chǎn)運營模式的類型合作共贏類模式是指聯(lián)合生態(tài)圈伙伴，與數(shù)據(jù)供應單位、行業(yè)龍頭企業(yè)等進行深度合作，深度運用內(nèi)外部數(shù)據(jù)，對分析目標進行多維度準確刻畫。數(shù)據(jù)資產(chǎn)運營模式的類型基礎數(shù)據(jù)類包括API、數(shù)據(jù)包和云服務，為數(shù)據(jù)需求方直接提供經(jīng)過數(shù)據(jù)分析加工后的基礎數(shù)據(jù)產(chǎn)品.數(shù)據(jù)資產(chǎn)運營模式的類型解決方案類模式根據(jù)數(shù)據(jù)資產(chǎn)價值特征，圍繞用戶的個性化需求，結合特定需求場景。3.7分級原則04數(shù)據(jù)定價策略及實例數(shù)據(jù)定價策略4.1數(shù)據(jù)定價策略①成本導向定價：數(shù)據(jù)供給方或數(shù)據(jù)交易平臺根據(jù)數(shù)據(jù)成本、數(shù)據(jù)質(zhì)量、市場供求情況等因素，設定固定價格或價格區(qū)間。②協(xié)議定價：在產(chǎn)品購買期間，買賣雙方輪流出價，就數(shù)據(jù)資產(chǎn)價格進行協(xié)商談判，尋求雙方都能接受的合理價格。數(shù)據(jù)交易平臺僅提供撮合交易服務。③拍賣定價：用公開競價的形式把商品交給最高應價者，適用于市場上僅有一家數(shù)據(jù)供給方擁有優(yōu)質(zhì)數(shù)據(jù)資產(chǎn)，而有多家數(shù)據(jù)需求方的場景。④使用量定價：主要用于批量數(shù)據(jù)，收取一次性調(diào)取費用，或基于使用量收取套餐價、組合價。⑤免費增值定價：第一部分是免費的，第二部分增量部分需要收費，常用于API產(chǎn)品，通過一定程度的免費服務來提高用戶黏性和滿意度，從而達到購買增量部分的目的。⑥動態(tài)定價：平臺系統(tǒng)根據(jù)當前市場供需情況為產(chǎn)品進行浮動定價。價格往往基于過往交易數(shù)據(jù)的成交價及數(shù)據(jù)時效而生成。成本法收益法4.2數(shù)據(jù)定價模型成本法分為歷史成本法和重置成本法兩種，重置成本法采用較多。重置成本法是在當前條件下重新構建一項數(shù)據(jù)資產(chǎn)，等于構建和評估對象功能相同的全新數(shù)據(jù)資產(chǎn)所需的費用(運用最新、最便捷、成本最低的方法獲取同一組大數(shù)據(jù)資產(chǎn)的費用),在此基礎上，減去數(shù)據(jù)資產(chǎn)的功能性貶值和經(jīng)濟性貶值等各項貶值因素，得到數(shù)據(jù)資產(chǎn)的最終價格收益法是基于數(shù)據(jù)資產(chǎn)的預期應用場景，計算該項資產(chǎn)所貢獻的收益的現(xiàn)值的一種估值方法。一是直接估算法，將利用數(shù)據(jù)資產(chǎn)后的收益增長視為數(shù)據(jù)資產(chǎn)帶來的收益增長；二是比較分析法，將利用數(shù)據(jù)資產(chǎn)后的利潤率減去同期行業(yè)平均利潤率；三是超額收益法。4.2數(shù)據(jù)定價模型市場法市場法是根據(jù)相同或者相似的數(shù)據(jù)資產(chǎn)的近期或者往期成交價格，通過對比分析，評估數(shù)據(jù)資產(chǎn)價值的方法。市場法模型的表達式為P=Comparable(Asset)xα其中，P為數(shù)據(jù)資產(chǎn)評估值；Comparable(Asset)為可比案例數(shù)據(jù)資產(chǎn)價值；α為修正系數(shù)。修正系數(shù)為標的數(shù)據(jù)資產(chǎn)與可比案例數(shù)據(jù)資產(chǎn)相比較進行計算的價值評估指標。評估維度包括數(shù)據(jù)質(zhì)量、應用場景、稀缺性等。其他衍生方法除了傳統(tǒng)的成本法、收益法、市場法，還有其他衍生定價方法，包括博弈論定價法、信息熵定價法、機器學習定價法等，但因?qū)嵺`計算困難，使用極少。風險維度風險維度主要考慮商業(yè)環(huán)境的法律限制、道德約束和數(shù)據(jù)安全問題。市場維度市場維度指標主要為數(shù)據(jù)稀缺性，描述相似數(shù)據(jù)資產(chǎn)數(shù)量的多寡，在相似數(shù)據(jù)局限在很少數(shù)量的情況下，數(shù)據(jù)價值較高。質(zhì)量維度量維度指標的影響因素包括完整性、正確性和重復性。應用維度應用維度指標的影響因素包括時效性、多維性和場景經(jīng)濟性。4.3數(shù)據(jù)資產(chǎn)價值指數(shù)4.4數(shù)據(jù)定價方法優(yōu)化綜合考慮數(shù)據(jù)資產(chǎn)在質(zhì)量維度、應用維度、風險維度和市場維度的表現(xiàn)后，給予優(yōu)化后的數(shù)據(jù)資產(chǎn)定價方法。優(yōu)化后的成本法為P=Coa×(1+R)×S優(yōu)化后的收益法為其中，超額收益為理想數(shù)據(jù)資產(chǎn)預期帶來的超額收益。01成本法包含數(shù)據(jù)獲取成本、數(shù)據(jù)存儲成本、數(shù)據(jù)加工成本、數(shù)據(jù)管理成本。由于受相關政府部門授權處理利用數(shù)據(jù)，故數(shù)據(jù)獲取成本與數(shù)據(jù)存儲成本為0。03最終參考定價F為成本法評估值乘以數(shù)據(jù)資產(chǎn)價值系數(shù)，即F=P×S=125.45×0.64≈80.29萬元。02數(shù)據(jù)資產(chǎn)價值評價指標包括質(zhì)量維度S?、應用維度S?、風險維度S,和市場維度S?,對其分別給予權重系數(shù)W,W2,W,,W。4.5數(shù)據(jù)定價實踐案例成本法計算指標計算最終參考定價05交易平臺架構設計01第一階段就是打基礎階段，實現(xiàn)大數(shù)據(jù)交易平臺基本業(yè)務流程，以及數(shù)據(jù)集、API兩種數(shù)據(jù)類型交易業(yè)務流程，確保業(yè)務順暢開展；實現(xiàn)公共數(shù)據(jù)和社會數(shù)據(jù)融合應用流程并落地試點。03第三階段就是強運營階段，需要通過系列運營活動投入，提升數(shù)據(jù)交易平臺的活躍度和用戶黏性；沉淀交易數(shù)據(jù)，實現(xiàn)平臺智能化服務；擴展樣本庫，細分行業(yè)應用，賦能實體產(chǎn)業(yè)；建設統(tǒng)一隱私計算平臺，實現(xiàn)平臺隱私計算生態(tài)互聯(lián)互通。02第二階段就是擴場景階段，需要在高頻場景對大數(shù)據(jù)交易平臺開展業(yè)務驗證，提煉標準化場景和數(shù)據(jù)產(chǎn)品；擴展大數(shù)據(jù)交易平臺系統(tǒng)功能，如數(shù)據(jù)融合試驗功能，提高數(shù)據(jù)供需方的撮合效率；基于第一階段用戶反饋，迭代和優(yōu)化系統(tǒng)功能。5.1設計思路打基礎階段擴場景階段強運營階段5.2模式變革傳統(tǒng)的數(shù)據(jù)共享模式往往容易走入兩個極端：數(shù)據(jù)要么“捂”得死死的，不共享，不讓第三方使用，或者是物理限制，要跑到特定場所用；要么沒有底線，數(shù)據(jù)直接復制給第三方，要求第三方承擔數(shù)據(jù)保密的義務。這些都是治標不治本的方法。第一，放開了，數(shù)據(jù)的安全、隱私、權益保障不了。第二，捂死了，數(shù)據(jù)交易的市場和生態(tài)沒法激活，各種限制也會導致最終的交易平臺走向死亡。01應用層為平臺面對用戶提供數(shù)據(jù)要素流通服務的展示，包括官網(wǎng)門戶、交易門戶和展廳可視化大屏。03計算層由數(shù)據(jù)融合試驗系統(tǒng)、隱私計算試驗系統(tǒng)、PaaS云服務支撐系統(tǒng)、統(tǒng)一隱私計算系統(tǒng)構成。02業(yè)務層為數(shù)據(jù)交易提供業(yè)務、運營、監(jiān)管的完整支撐，包括用戶中心、流通業(yè)務平臺、運營管理平臺和監(jiān)管交易平臺。5.3功能構架應用層業(yè)務層計算層5.3功能構架技術支撐層技術支撐層提供數(shù)據(jù)要素流通統(tǒng)一技術支撐，主要包括：交易對接系統(tǒng)、消息管理系統(tǒng)、日志管理系統(tǒng)、智能風控系統(tǒng)和區(qū)塊鏈管理等系統(tǒng)，提供統(tǒng)一的技術支撐底座。數(shù)據(jù)層數(shù)據(jù)層為數(shù)據(jù)樣本采集、存儲和管理提供資源管控系統(tǒng)和數(shù)據(jù)目錄管理系統(tǒng)，將社會數(shù)據(jù)樣本、公共數(shù)據(jù)目錄進行歸集整理，構建包括但不限于醫(yī)療、金融、交通、農(nóng)業(yè)、信用、公積金、水電氣等主題數(shù)據(jù)樣本庫。5.4業(yè)務構架數(shù)據(jù)交易平臺業(yè)務流程以公共數(shù)據(jù)流程、數(shù)據(jù)需求方流程、數(shù)據(jù)提供方流程進行設計。數(shù)據(jù)提供方流程主要涉及數(shù)據(jù)合規(guī)、數(shù)據(jù)評估、產(chǎn)品管理、社會數(shù)據(jù)專區(qū)；數(shù)據(jù)需求方流程主要涉及社會數(shù)據(jù)和公共數(shù)據(jù)專區(qū)、訂單審核及管理、合同管理、支付模塊、計算平臺、結算模塊、存證監(jiān)管模塊等；公共數(shù)據(jù)流程主要涉及數(shù)據(jù)交易平臺的產(chǎn)品管理、公共數(shù)據(jù)專區(qū)、訂單審核及管理、支付模塊、計量計費模塊、結算模塊、存證監(jiān)管模塊等。為一套完整的數(shù)據(jù)交易平臺業(yè)務架構。5.5技術構架1.應用層采用JavaScript、HTML5、CSS、VUE、AJAX、Template、WS、H5等技術，主要為官網(wǎng)門戶、交易門戶以及展廳可視化大屏提供支持。2.業(yè)務層采用網(wǎng)關如WAF、Nginx、GateWay,服務包括CAS、OAuth、JWT、OSS、SMS、WebSocket、Dubbo、TagService、Workflow、MSF、MinIO、Zabbix,通信協(xié)議包括RabbitMQ,技術支撐層采用Blockmeta、DAG賬本、PoS/DPoS、ESCC、PBFT等技術，為技術支撐平臺提供支持。安全層采用kerberos認證、IBC-CHAP、RADIUS認證、SOAR、隱私保護、敏感數(shù)據(jù)指紋等技術，為安全保障平臺提供支持。計算層采用OpenServiceBroker、Docker、HealthManager、CloudControl、CloudAdapter等技術，為計算交付平臺提供支持。數(shù)據(jù)層采用分布式緩存ehcache、redis,關系型數(shù)據(jù)庫MySQL、Oracle、PostgreSQL,NoSQLMongoDB、HBase、Memcache。5.5技術構架階段二：處理層本階段對采集的數(shù)據(jù)基于數(shù)據(jù)管控與治理進行相應的處理，最終形成標識庫、算法算子庫、指標庫、特征庫和規(guī)則庫，為下一個階段提供必要的數(shù)據(jù)支撐。階段四：應用層本階段面向各類用戶提供展現(xiàn)形式豐富、展示終端多樣化(展廳大屏、Web端、移動端等)的呈現(xiàn)模式。階段一：采集層本階段將社會數(shù)據(jù)樣本和公共數(shù)據(jù)目錄等穩(wěn)定數(shù)據(jù)來源通過各種方式匯聚到綜合庫中供進一步存儲和處理。階段三：業(yè)務層本階段將前一階段生成的價值數(shù)據(jù)應用在具體的業(yè)務場景中，經(jīng)過數(shù)據(jù)登記確權、產(chǎn)品評估定價、產(chǎn)品購買、合同簽署和訂單計量計費等，完成數(shù)據(jù)交易的業(yè)務閉環(huán)。5.6安全構架5.7安全構架數(shù)據(jù)交易平臺安全架構是一個多層次、多方面的應用結構，綜合考慮各安全要素，主要包含貫穿始終的制度規(guī)范、安全運營和安全管理，以及三層安全技術建設：基礎安全、數(shù)據(jù)安全、交易安全?；A安全是指數(shù)據(jù)交易平臺的基礎設施安全，包括網(wǎng)絡安全、物理安全、系統(tǒng)安全、機房安全、云安全、終端安全等。數(shù)據(jù)安全是指數(shù)據(jù)交易平臺中交易的數(shù)據(jù)產(chǎn)品的全生命周期安全，包括數(shù)據(jù)使用安全、數(shù)據(jù)傳輸安全、數(shù)據(jù)交換安全、數(shù)據(jù)存