DB15內(nèi)蒙古自治區(qū)市場(chǎng)監(jiān)督管理局發(fā)布 1 1 1 2 2 3 3 5 6 7 9 I科技有限公司、內(nèi)蒙古躍晨科技有限公司、內(nèi)蒙古縱橫云技術(shù)有限大數(shù)據(jù)平臺(tái)接入技術(shù)要求本標(biāo)準(zhǔn)規(guī)定了大數(shù)據(jù)平臺(tái)與各數(shù)據(jù)提供單位管理支撐系統(tǒng)進(jìn)行數(shù)據(jù)接入的技術(shù)要求及數(shù)據(jù)采GB/T29262信息技術(shù)面向服務(wù)的體系結(jié)構(gòu)（SOA）術(shù)語(yǔ)GB/T35274信息安全技術(shù)大數(shù)據(jù)服務(wù)安全能GB/T37973信息安全技術(shù)大數(shù)據(jù)安全管理b)多樣性variety：數(shù)據(jù)可能來(lái)自1FTP：標(biāo)準(zhǔn)的文件傳輸協(xié)議（FileTransferProJDBC：java數(shù)據(jù)庫(kù)連接（JavaDataBaseConneHTTPS：超文本傳輸安全協(xié)議（HyperTextTransferProtocoloverSecureSocketLayer或HypertextTransferProtocolSecu2b)服務(wù)網(wǎng)關(guān)服務(wù)；大數(shù)據(jù)平臺(tái)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)接入服務(wù)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)源關(guān)系數(shù)據(jù)庫(kù)抽取關(guān)系數(shù)據(jù)庫(kù)結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)服務(wù)網(wǎng)關(guān)服務(wù)接口數(shù)據(jù)文件接收FTP服務(wù)半結(jié)構(gòu)化管理信息管理信息FTP服務(wù)文件拉取FTP服務(wù)實(shí)時(shí)消息隊(duì)列管理信息非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)流數(shù)據(jù)管理信息非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)直報(bào)系統(tǒng)關(guān)系數(shù)據(jù)庫(kù)抽取應(yīng)提供管理信息系統(tǒng)關(guān)系數(shù)據(jù)庫(kù)中的結(jié)構(gòu)化數(shù)據(jù)到大數(shù)據(jù)平臺(tái)數(shù)據(jù)存儲(chǔ)的定時(shí)批b)支持“全量”和“增量”兩種數(shù)據(jù)抽取模式；“全量”模式是指一次性將關(guān)系數(shù)據(jù)庫(kù)中物理c)支持關(guān)系數(shù)據(jù)庫(kù)中結(jié)構(gòu)化數(shù)據(jù)抽取到大數(shù)據(jù)平臺(tái),包含結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)、半結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)、非3固定時(shí)間間隔運(yùn)行、指定時(shí)間點(diǎn)運(yùn)行、指定時(shí)h)應(yīng)提供完善的監(jiān)控機(jī)制，運(yùn)行過(guò)程中出現(xiàn)異常可快速的定位及解決。b）數(shù)據(jù)抽取吞吐量：在千兆帶寬的網(wǎng)絡(luò)條件關(guān)系數(shù)據(jù)庫(kù)大數(shù)據(jù)平臺(tái)>關(guān)系數(shù)據(jù)庫(kù)大數(shù)據(jù)平臺(tái)>大數(shù)據(jù)平臺(tái)關(guān)系數(shù)據(jù)庫(kù)抽取a)抽取元數(shù)據(jù)信息b)配置數(shù)據(jù)傳輸任務(wù)c)配置數(shù)據(jù)傳輸任務(wù)運(yùn)行策略d)平臺(tái)運(yùn)行數(shù)據(jù)傳輸任務(wù)，數(shù)據(jù)抽取>>應(yīng)用場(chǎng)景描述如下:d)關(guān)系數(shù)據(jù)庫(kù)抽取服務(wù)運(yùn)行數(shù)據(jù)傳輸任務(wù)，從數(shù)據(jù)源的數(shù)據(jù)庫(kù)抽取數(shù)據(jù)到平臺(tái)4a)關(guān)系數(shù)據(jù)庫(kù)抽取服務(wù)適用于關(guān)系數(shù)據(jù)庫(kù)定時(shí)批量抽取場(chǎng)景，詳細(xì)說(shuō)明參見(jiàn)b)數(shù)據(jù)源須提供關(guān)系數(shù)據(jù)庫(kù)的訪問(wèn)鏈接c)數(shù)據(jù)源提供的數(shù)據(jù)庫(kù)訪問(wèn)用戶應(yīng)具備數(shù)據(jù)庫(kù)的元數(shù)據(jù)信息定義a)支持接入Webservice、RESTfu管理信息系統(tǒng)大數(shù)據(jù)平臺(tái)管理信息系統(tǒng)大數(shù)據(jù)平臺(tái)大數(shù)據(jù)平臺(tái)服務(wù)網(wǎng)關(guān)服務(wù)a)提供接口信息b)接口編排c)配置數(shù)據(jù)傳輸任務(wù)運(yùn)行策略d)平臺(tái)運(yùn)行數(shù)據(jù)傳輸任務(wù)，數(shù)據(jù)抽取>>5應(yīng)用場(chǎng)景描述如下:c)服務(wù)網(wǎng)關(guān)服務(wù)配置數(shù)據(jù)傳輸任務(wù)運(yùn)行策略，包括運(yùn)行的開始時(shí)間、結(jié)束時(shí)間d)服務(wù)網(wǎng)關(guān)服務(wù)運(yùn)行數(shù)據(jù)傳輸任務(wù)，從a）應(yīng)提供分布式消息隊(duì)列的管理功能，支持消息主題的創(chuàng)建g）具備完善的日志審計(jì)能力，可以記錄消息發(fā)送和消費(fèi)時(shí)6大數(shù)據(jù)平臺(tái)實(shí)時(shí)消息隊(duì)列大數(shù)據(jù)平臺(tái)大數(shù)據(jù)平臺(tái)實(shí)時(shí)消息隊(duì)列大數(shù)據(jù)平臺(tái)管理信息系統(tǒng)a)申請(qǐng)實(shí)時(shí)消息隊(duì)列服務(wù)b)創(chuàng)建消息主題<<返回消息配置信息c)業(yè)務(wù)系統(tǒng)開發(fā)業(yè)務(wù)處理程序，發(fā)送或接收消息>>c)管理信息系統(tǒng)應(yīng)依照大數(shù)據(jù)平臺(tái)提供的實(shí)時(shí)消息隊(duì)列采集接口完成自身數(shù)據(jù)發(fā)送或接收接口文件接收FTP服務(wù)應(yīng)提供外部系統(tǒng)文件數(shù)據(jù)的接收并存入到大數(shù)據(jù)平臺(tái)數(shù)據(jù)倉(cāng)庫(kù)的功能。文件采集f）支持圖形管理功能，支持認(rèn)證配置、文件目標(biāo)位置7大數(shù)據(jù)平臺(tái)管理信息系統(tǒng)大數(shù)據(jù)平臺(tái)管理信息系統(tǒng)文件接收FTP服務(wù)a)分配業(yè)務(wù)系統(tǒng)a)分配業(yè)務(wù)系統(tǒng)ftp賬號(hào) b)業(yè)務(wù)系統(tǒng)通過(guò)標(biāo)準(zhǔn)FTP協(xié)議連接大數(shù)據(jù)平臺(tái)服務(wù) c)業(yè)務(wù)系統(tǒng)檢查目標(biāo)臨時(shí)文件是否存在d)業(yè)務(wù)系統(tǒng)發(fā)起全量或續(xù)傳命令f)大數(shù)據(jù)平臺(tái)接收文件數(shù)據(jù)g)大數(shù)據(jù)平臺(tái)接收校驗(yàn)文件e)業(yè)務(wù)系統(tǒng)發(fā)送數(shù)據(jù)到大數(shù)據(jù)平臺(tái)f)大數(shù)據(jù)平臺(tái)接收文件數(shù)據(jù)g)大數(shù)據(jù)平臺(tái)接收校驗(yàn)文件g)業(yè)務(wù)系統(tǒng)發(fā)送數(shù)據(jù)校驗(yàn)文件h)大數(shù)據(jù)平臺(tái)校驗(yàn)內(nèi)容i)數(shù)據(jù)平臺(tái)按配置的規(guī)則存儲(chǔ)接收到的數(shù)據(jù)文件j)大數(shù)據(jù)平臺(tái)回寫數(shù)據(jù)存儲(chǔ)狀態(tài)k)業(yè)務(wù)系統(tǒng)獲取數(shù)據(jù)存儲(chǔ)狀態(tài)8a)管理信息系統(tǒng)須在大數(shù)據(jù)平臺(tái)注冊(cè)并b)管理信息系統(tǒng)須按平臺(tái)協(xié)議規(guī)范開發(fā)上傳功能；c)管理信息系統(tǒng)生成文件數(shù)據(jù)時(shí)須同時(shí)生成對(duì)應(yīng)的d)具體文件接收FTP服務(wù)API接口參見(jiàn)附錄D.1，具體實(shí)現(xiàn)邏a）支持順序型斷點(diǎn)續(xù)傳功能，支持外部文件存儲(chǔ)斷點(diǎn)續(xù)傳能力的自動(dòng)識(shí)別f）支持指定目標(biāo)文件存儲(chǔ)位置、文件名，提供文件類型轉(zhuǎn)換規(guī)則，支h）支持定時(shí)輪詢文件采集，采集新增的文件，支持文i）支持圖形管理功能，支持FTP連接配置、文件源配置、文件目傳輸規(guī)則配置、文件同步/異步傳輸規(guī)則配置、文件傳輸并行度配置、文件定時(shí)及實(shí)時(shí)策略配9管理信息系統(tǒng)大數(shù)據(jù)平臺(tái)文件拉取FTP管理信息系統(tǒng)大數(shù)據(jù)平臺(tái)文件拉取FTP服務(wù)大數(shù)據(jù)平臺(tái)a)將業(yè)務(wù)數(shù)據(jù)寫入指定的文件區(qū)域b)分配ftp賬號(hào)>c)配置FTP協(xié)議的數(shù)據(jù)采集服務(wù)d)運(yùn)行基于FTP協(xié)議的數(shù)據(jù)采集服務(wù)>e)進(jìn)行文件校驗(yàn)并寫入大數(shù)據(jù)平臺(tái)數(shù)據(jù)倉(cāng)庫(kù)a)管理信息系統(tǒng)應(yīng)提供初始文件存儲(chǔ)位置并將業(yè)務(wù)數(shù)據(jù)寫入到文b)管理信息系統(tǒng)搭建FTP服務(wù)并為大數(shù)據(jù)平臺(tái)分配FTP賬號(hào)c)大數(shù)據(jù)平臺(tái)全量文件采集提供基于FTP協(xié)議的采集任務(wù)配置，包括：存儲(chǔ)文件位置、采集文件、列表方式、是否文件校驗(yàn)、存儲(chǔ)目標(biāo)位置及文件存儲(chǔ)命名規(guī)c)管理信息系統(tǒng)生成文件數(shù)據(jù)時(shí)須同時(shí)生成對(duì)應(yīng)的d)具體文件拉取FTP服務(wù)API接口參見(jiàn)附錄E.1，具體實(shí)現(xiàn)邏b)支持用戶僅能同時(shí)登錄一次功能；c)支持模板管理功能，應(yīng)具備模板的新增、刪除、修改f)應(yīng)具備熔斷管理機(jī)制，保證服務(wù)整體可用，是直報(bào)系統(tǒng)訪問(wèn)異常情況下的大數(shù)據(jù)平臺(tái)大數(shù)據(jù)平臺(tái)數(shù)據(jù)接入單位大數(shù)據(jù)平臺(tái)a)打開瀏覽器b)訪問(wèn)直報(bào)系統(tǒng)在線注冊(cè) c)用戶審批 d)分配權(quán)限及下發(fā)模板下載模板e(cuò))根據(jù)模板填寫數(shù)據(jù) f)上傳數(shù)據(jù)文件d)審批通過(guò)后為注冊(cè)用戶分配權(quán)限并根據(jù)業(yè)務(wù)需求數(shù)據(jù)接入單位用戶上傳請(qǐng)求后進(jìn)行數(shù)據(jù)格式校驗(yàn)，a)對(duì)信息化建設(shè)較弱且有計(jì)算機(jī)基本操作知識(shí)的數(shù)據(jù)接入單位安全要求須滿足GB/T35274規(guī)范中“數(shù)據(jù)服務(wù)安全要求”。開始1.配置執(zhí)行器2.配置數(shù)據(jù)源3.配置任務(wù)4.配置作業(yè)是否立即執(zhí)行否是結(jié)束7.執(zhí)行日志查看5.立即執(zhí)行傳輸6.作業(yè)調(diào)度配置與執(zhí)結(jié)束7.執(zhí)行日志查看5.立即執(zhí)行傳輸行a)大數(shù)據(jù)平臺(tái)配置執(zhí)行器，用于作業(yè)調(diào)度執(zhí)g)配置數(shù)據(jù)源，分別配置源數(shù)據(jù)庫(kù)及目標(biāo)數(shù)據(jù)庫(kù)。根據(jù)業(yè)務(wù)源端的數(shù)據(jù)庫(kù)的IP、端口、實(shí)例i)配置作業(yè)，根據(jù)抽取任務(wù)執(zhí)行的先后順序配置成作業(yè)；j)立即執(zhí)行傳輸，手動(dòng)開啟作業(yè)輸立即執(zhí)行；l)執(zhí)行日志查看，提供作業(yè)執(zhí)行結(jié)果信息查看，包括作業(yè)開始執(zhí)行時(shí)間、結(jié)束時(shí)間、運(yùn)行時(shí)長(zhǎng)、通過(guò)大數(shù)據(jù)平臺(tái)的服務(wù)網(wǎng)關(guān)服務(wù)提供的Web界面進(jìn)行操作。首先服務(wù)網(wǎng)關(guān)通過(guò)服務(wù)編排進(jìn)行接口的編排，生成新的數(shù)據(jù)接口進(jìn)行調(diào)度發(fā)布。服務(wù)網(wǎng)關(guān)服務(wù)應(yīng)用流程見(jiàn)圖1.登記接口信息開始2.1.登記接口信息開始3.調(diào)度發(fā)布管理信息系統(tǒng)通過(guò)Java代碼開發(fā)方式調(diào)用大數(shù)據(jù)平臺(tái)提供的實(shí)時(shí)消息隊(duì)列API接口，往消息隊(duì)列主1.大數(shù)據(jù)平臺(tái)與管理信息系統(tǒng)方約定消費(fèi)隊(duì)列主題名稱1.大數(shù)據(jù)平臺(tái)與管理信息系統(tǒng)方約定消費(fèi)隊(duì)列主題名稱開始息隊(duì)列主題3.管理信息系統(tǒng)應(yīng)用方開發(fā)程序調(diào)用大數(shù)據(jù)平臺(tái)實(shí)時(shí)消息隊(duì)列API，封裝數(shù)據(jù)發(fā)送消息3.管理信息系統(tǒng)開發(fā)程序調(diào)用大數(shù)據(jù)平臺(tái)實(shí)時(shí)消息隊(duì)列API，封裝數(shù)據(jù)往消息隊(duì)列主題中發(fā)送消1Integerport,Stringusern2publicbooleanupload3publicbooleanCreateDirecroty(String管理信息系統(tǒng)在生成好文件后，編寫代碼實(shí)現(xiàn)上傳文件到大數(shù)據(jù)平臺(tái)的FTP服務(wù)中，調(diào)用服務(wù)示例publicvoidinitFtpClient(Stringhostname,Integerport,Stringusername,StringpaftpClient.setControlEncoding("ftpClient.connect(hostnftpClient.login(username,intreplyCode=ftpClSystem.out.println("connectfailed...ftp服務(wù)器:"+this.hostnam}}publicbooleanuploadFile(Stringpathname,StringfileNamSystem.out.println("開始上ftpClient.setFileType(FTP.BINARY_CreateDirecroty(patftpClient.makeDirectoryftpClient.changeWorkingDirectorftpClient.storeFile(fileName,iSystem.out.println("上傳文System.out.println("上傳文}}}}}publicbooleanCreateDirecroty(Stringremote)throwsIOE//如果遠(yuǎn)程目錄不存在，則遞歸創(chuàng)建遠(yuǎn)}Stringpaths="";StringsubDirectory=newString(remote.substring(start,end).getBytes("GBK"),"iso-8859-1"changeWorkingDirectory(suSystem.out.println("創(chuàng)建目錄["+schangeWorkingDirectory(su}changeWorkingDirectory(su}}}}}1username,Stringpass23CreateDirecroty(StringrpublicvoidinitFtpClient(Stringhostname,Integerport,Stringusername,StringpaftpClient.setControlEncoding("ftpClient.connect(hostnftpClient.login(username,intreplyCode=ftpClSystem.out.println("connectfailed...ftp服務(wù)器:"+this.hostnam}}publicbooleandownloadFile(Stringpathname,StringfbooleanchangeFlag=ftpClient.changeWorkingDirectory(patSystem.err.println("changeFlag=="+chftpClient.enterLocalPasftpClient.setRemoteVerificationEnabledString[]a=ftpClient.lisFTPFile[]ftpFiles=ftpClient.listFios=newFileOutputStream(lftpClient.retrieveFile(file.get}}System.out.println("下載文System.out.println("下載文}}}}}}publicbooleanCreateDirecroty(Stringremote)throwsIOExcep//如果遠(yuǎn)程目錄不存在，則遞歸創(chuàng)建遠(yuǎn)