DB15T 1872-2020 大數(shù)據(jù)平臺 接入技術(shù)要求_第1頁
DB15T 1872-2020 大數(shù)據(jù)平臺 接入技術(shù)要求_第2頁
DB15T 1872-2020 大數(shù)據(jù)平臺 接入技術(shù)要求_第3頁
DB15T 1872-2020 大數(shù)據(jù)平臺 接入技術(shù)要求_第4頁
DB15T 1872-2020 大數(shù)據(jù)平臺 接入技術(shù)要求_第5頁
已閱讀5頁,還剩45頁未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

DB15內(nèi)蒙古自治區(qū)市場監(jiān)督管理局發(fā)布 1 1 1 2 2 3 3 5 6 7 9 I科技有限公司、內(nèi)蒙古躍晨科技有限公司、內(nèi)蒙古縱橫云技術(shù)有限大數(shù)據(jù)平臺接入技術(shù)要求本標(biāo)準(zhǔn)規(guī)定了大數(shù)據(jù)平臺與各數(shù)據(jù)提供單位管理支撐系統(tǒng)進(jìn)行數(shù)據(jù)接入的技術(shù)要求及數(shù)據(jù)采GB/T29262信息技術(shù)面向服務(wù)的體系結(jié)構(gòu)(SOA)術(shù)語GB/T35274信息安全技術(shù)大數(shù)據(jù)服務(wù)安全能GB/T37973信息安全技術(shù)大數(shù)據(jù)安全管理b)多樣性variety:數(shù)據(jù)可能來自1FTP:標(biāo)準(zhǔn)的文件傳輸協(xié)議(FileTransferProJDBC:java數(shù)據(jù)庫連接(JavaDataBaseConneHTTPS:超文本傳輸安全協(xié)議(HyperTextTransferProtocoloverSecureSocketLayer或HypertextTransferProtocolSecu2b)服務(wù)網(wǎng)關(guān)服務(wù);大數(shù)據(jù)平臺數(shù)據(jù)倉庫數(shù)據(jù)接入服務(wù)數(shù)據(jù)倉庫數(shù)據(jù)源關(guān)系數(shù)據(jù)庫抽取關(guān)系數(shù)據(jù)庫結(jié)構(gòu)化數(shù)據(jù)存儲服務(wù)網(wǎng)關(guān)服務(wù)接口數(shù)據(jù)文件接收FTP服務(wù)半結(jié)構(gòu)化管理信息管理信息FTP服務(wù)文件拉取FTP服務(wù)實(shí)時(shí)消息隊(duì)列管理信息非結(jié)構(gòu)化數(shù)據(jù)存儲流數(shù)據(jù)管理信息非結(jié)構(gòu)化數(shù)據(jù)存儲直報(bào)系統(tǒng)關(guān)系數(shù)據(jù)庫抽取應(yīng)提供管理信息系統(tǒng)關(guān)系數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù)到大數(shù)據(jù)平臺數(shù)據(jù)存儲的定時(shí)批b)支持“全量”和“增量”兩種數(shù)據(jù)抽取模式;“全量”模式是指一次性將關(guān)系數(shù)據(jù)庫中物理c)支持關(guān)系數(shù)據(jù)庫中結(jié)構(gòu)化數(shù)據(jù)抽取到大數(shù)據(jù)平臺,包含結(jié)構(gòu)化數(shù)據(jù)存儲、半結(jié)構(gòu)數(shù)據(jù)存儲、非3固定時(shí)間間隔運(yùn)行、指定時(shí)間點(diǎn)運(yùn)行、指定時(shí)h)應(yīng)提供完善的監(jiān)控機(jī)制,運(yùn)行過程中出現(xiàn)異??煽焖俚亩ㄎ患敖鉀Q。b)數(shù)據(jù)抽取吞吐量:在千兆帶寬的網(wǎng)絡(luò)條件關(guān)系數(shù)據(jù)庫大數(shù)據(jù)平臺>關(guān)系數(shù)據(jù)庫大數(shù)據(jù)平臺>大數(shù)據(jù)平臺關(guān)系數(shù)據(jù)庫抽取a)抽取元數(shù)據(jù)信息b)配置數(shù)據(jù)傳輸任務(wù)c)配置數(shù)據(jù)傳輸任務(wù)運(yùn)行策略d)平臺運(yùn)行數(shù)據(jù)傳輸任務(wù),數(shù)據(jù)抽取>>應(yīng)用場景描述如下:d)關(guān)系數(shù)據(jù)庫抽取服務(wù)運(yùn)行數(shù)據(jù)傳輸任務(wù),從數(shù)據(jù)源的數(shù)據(jù)庫抽取數(shù)據(jù)到平臺4a)關(guān)系數(shù)據(jù)庫抽取服務(wù)適用于關(guān)系數(shù)據(jù)庫定時(shí)批量抽取場景,詳細(xì)說明參見b)數(shù)據(jù)源須提供關(guān)系數(shù)據(jù)庫的訪問鏈接c)數(shù)據(jù)源提供的數(shù)據(jù)庫訪問用戶應(yīng)具備數(shù)據(jù)庫的元數(shù)據(jù)信息定義a)支持接入Webservice、RESTfu管理信息系統(tǒng)大數(shù)據(jù)平臺管理信息系統(tǒng)大數(shù)據(jù)平臺大數(shù)據(jù)平臺服務(wù)網(wǎng)關(guān)服務(wù)a)提供接口信息b)接口編排c)配置數(shù)據(jù)傳輸任務(wù)運(yùn)行策略d)平臺運(yùn)行數(shù)據(jù)傳輸任務(wù),數(shù)據(jù)抽取>>5應(yīng)用場景描述如下:c)服務(wù)網(wǎng)關(guān)服務(wù)配置數(shù)據(jù)傳輸任務(wù)運(yùn)行策略,包括運(yùn)行的開始時(shí)間、結(jié)束時(shí)間d)服務(wù)網(wǎng)關(guān)服務(wù)運(yùn)行數(shù)據(jù)傳輸任務(wù),從a)應(yīng)提供分布式消息隊(duì)列的管理功能,支持消息主題的創(chuàng)建g)具備完善的日志審計(jì)能力,可以記錄消息發(fā)送和消費(fèi)時(shí)6大數(shù)據(jù)平臺實(shí)時(shí)消息隊(duì)列大數(shù)據(jù)平臺大數(shù)據(jù)平臺實(shí)時(shí)消息隊(duì)列大數(shù)據(jù)平臺管理信息系統(tǒng)a)申請實(shí)時(shí)消息隊(duì)列服務(wù)b)創(chuàng)建消息主題<<返回消息配置信息c)業(yè)務(wù)系統(tǒng)開發(fā)業(yè)務(wù)處理程序,發(fā)送或接收消息>>c)管理信息系統(tǒng)應(yīng)依照大數(shù)據(jù)平臺提供的實(shí)時(shí)消息隊(duì)列采集接口完成自身數(shù)據(jù)發(fā)送或接收接口文件接收FTP服務(wù)應(yīng)提供外部系統(tǒng)文件數(shù)據(jù)的接收并存入到大數(shù)據(jù)平臺數(shù)據(jù)倉庫的功能。文件采集f)支持圖形管理功能,支持認(rèn)證配置、文件目標(biāo)位置7大數(shù)據(jù)平臺管理信息系統(tǒng)大數(shù)據(jù)平臺管理信息系統(tǒng)文件接收FTP服務(wù)a)分配業(yè)務(wù)系統(tǒng)a)分配業(yè)務(wù)系統(tǒng)ftp賬號 b)業(yè)務(wù)系統(tǒng)通過標(biāo)準(zhǔn)FTP協(xié)議連接大數(shù)據(jù)平臺服務(wù) c)業(yè)務(wù)系統(tǒng)檢查目標(biāo)臨時(shí)文件是否存在d)業(yè)務(wù)系統(tǒng)發(fā)起全量或續(xù)傳命令f)大數(shù)據(jù)平臺接收文件數(shù)據(jù)g)大數(shù)據(jù)平臺接收校驗(yàn)文件e)業(yè)務(wù)系統(tǒng)發(fā)送數(shù)據(jù)到大數(shù)據(jù)平臺f)大數(shù)據(jù)平臺接收文件數(shù)據(jù)g)大數(shù)據(jù)平臺接收校驗(yàn)文件g)業(yè)務(wù)系統(tǒng)發(fā)送數(shù)據(jù)校驗(yàn)文件h)大數(shù)據(jù)平臺校驗(yàn)內(nèi)容i)數(shù)據(jù)平臺按配置的規(guī)則存儲接收到的數(shù)據(jù)文件j)大數(shù)據(jù)平臺回寫數(shù)據(jù)存儲狀態(tài)k)業(yè)務(wù)系統(tǒng)獲取數(shù)據(jù)存儲狀態(tài)8a)管理信息系統(tǒng)須在大數(shù)據(jù)平臺注冊并b)管理信息系統(tǒng)須按平臺協(xié)議規(guī)范開發(fā)上傳功能;c)管理信息系統(tǒng)生成文件數(shù)據(jù)時(shí)須同時(shí)生成對應(yīng)的d)具體文件接收FTP服務(wù)API接口參見附錄D.1,具體實(shí)現(xiàn)邏a)支持順序型斷點(diǎn)續(xù)傳功能,支持外部文件存儲斷點(diǎn)續(xù)傳能力的自動識別f)支持指定目標(biāo)文件存儲位置、文件名,提供文件類型轉(zhuǎn)換規(guī)則,支h)支持定時(shí)輪詢文件采集,采集新增的文件,支持文i)支持圖形管理功能,支持FTP連接配置、文件源配置、文件目傳輸規(guī)則配置、文件同步/異步傳輸規(guī)則配置、文件傳輸并行度配置、文件定時(shí)及實(shí)時(shí)策略配9管理信息系統(tǒng)大數(shù)據(jù)平臺文件拉取FTP管理信息系統(tǒng)大數(shù)據(jù)平臺文件拉取FTP服務(wù)大數(shù)據(jù)平臺a)將業(yè)務(wù)數(shù)據(jù)寫入指定的文件區(qū)域b)分配ftp賬號>c)配置FTP協(xié)議的數(shù)據(jù)采集服務(wù)d)運(yùn)行基于FTP協(xié)議的數(shù)據(jù)采集服務(wù)>e)進(jìn)行文件校驗(yàn)并寫入大數(shù)據(jù)平臺數(shù)據(jù)倉庫a)管理信息系統(tǒng)應(yīng)提供初始文件存儲位置并將業(yè)務(wù)數(shù)據(jù)寫入到文b)管理信息系統(tǒng)搭建FTP服務(wù)并為大數(shù)據(jù)平臺分配FTP賬號c)大數(shù)據(jù)平臺全量文件采集提供基于FTP協(xié)議的采集任務(wù)配置,包括:存儲文件位置、采集文件、列表方式、是否文件校驗(yàn)、存儲目標(biāo)位置及文件存儲命名規(guī)c)管理信息系統(tǒng)生成文件數(shù)據(jù)時(shí)須同時(shí)生成對應(yīng)的d)具體文件拉取FTP服務(wù)API接口參見附錄E.1,具體實(shí)現(xiàn)邏b)支持用戶僅能同時(shí)登錄一次功能;c)支持模板管理功能,應(yīng)具備模板的新增、刪除、修改f)應(yīng)具備熔斷管理機(jī)制,保證服務(wù)整體可用,是直報(bào)系統(tǒng)訪問異常情況下的大數(shù)據(jù)平臺大數(shù)據(jù)平臺數(shù)據(jù)接入單位大數(shù)據(jù)平臺a)打開瀏覽器b)訪問直報(bào)系統(tǒng)在線注冊 c)用戶審批 d)分配權(quán)限及下發(fā)模板下載模板e(cuò))根據(jù)模板填寫數(shù)據(jù) f)上傳數(shù)據(jù)文件d)審批通過后為注冊用戶分配權(quán)限并根據(jù)業(yè)務(wù)需求數(shù)據(jù)接入單位用戶上傳請求后進(jìn)行數(shù)據(jù)格式校驗(yàn),a)對信息化建設(shè)較弱且有計(jì)算機(jī)基本操作知識的數(shù)據(jù)接入單位安全要求須滿足GB/T35274規(guī)范中“數(shù)據(jù)服務(wù)安全要求”。開始1.配置執(zhí)行器2.配置數(shù)據(jù)源3.配置任務(wù)4.配置作業(yè)是否立即執(zhí)行否是結(jié)束7.執(zhí)行日志查看5.立即執(zhí)行傳輸6.作業(yè)調(diào)度配置與執(zhí)結(jié)束7.執(zhí)行日志查看5.立即執(zhí)行傳輸行a)大數(shù)據(jù)平臺配置執(zhí)行器,用于作業(yè)調(diào)度執(zhí)g)配置數(shù)據(jù)源,分別配置源數(shù)據(jù)庫及目標(biāo)數(shù)據(jù)庫。根據(jù)業(yè)務(wù)源端的數(shù)據(jù)庫的IP、端口、實(shí)例i)配置作業(yè),根據(jù)抽取任務(wù)執(zhí)行的先后順序配置成作業(yè);j)立即執(zhí)行傳輸,手動開啟作業(yè)輸立即執(zhí)行;l)執(zhí)行日志查看,提供作業(yè)執(zhí)行結(jié)果信息查看,包括作業(yè)開始執(zhí)行時(shí)間、結(jié)束時(shí)間、運(yùn)行時(shí)長、通過大數(shù)據(jù)平臺的服務(wù)網(wǎng)關(guān)服務(wù)提供的Web界面進(jìn)行操作。首先服務(wù)網(wǎng)關(guān)通過服務(wù)編排進(jìn)行接口的編排,生成新的數(shù)據(jù)接口進(jìn)行調(diào)度發(fā)布。服務(wù)網(wǎng)關(guān)服務(wù)應(yīng)用流程見圖1.登記接口信息開始2.1.登記接口信息開始3.調(diào)度發(fā)布管理信息系統(tǒng)通過Java代碼開發(fā)方式調(diào)用大數(shù)據(jù)平臺提供的實(shí)時(shí)消息隊(duì)列API接口,往消息隊(duì)列主1.大數(shù)據(jù)平臺與管理信息系統(tǒng)方約定消費(fèi)隊(duì)列主題名稱1.大數(shù)據(jù)平臺與管理信息系統(tǒng)方約定消費(fèi)隊(duì)列主題名稱開始息隊(duì)列主題3.管理信息系統(tǒng)應(yīng)用方開發(fā)程序調(diào)用大數(shù)據(jù)平臺實(shí)時(shí)消息隊(duì)列API,封裝數(shù)據(jù)發(fā)送消息3.管理信息系統(tǒng)開發(fā)程序調(diào)用大數(shù)據(jù)平臺實(shí)時(shí)消息隊(duì)列API,封裝數(shù)據(jù)往消息隊(duì)列主題中發(fā)送消1Integerport,Stringusern2publicbooleanupload3publicbooleanCreateDirecroty(String管理信息系統(tǒng)在生成好文件后,編寫代碼實(shí)現(xiàn)上傳文件到大數(shù)據(jù)平臺的FTP服務(wù)中,調(diào)用服務(wù)示例publicvoidinitFtpClient(Stringhostname,Integerport,Stringusername,StringpaftpClient.setControlEncoding("ftpClient.connect(hostnftpClient.login(username,intreplyCode=ftpClSystem.out.println("connectfailed...ftp服務(wù)器:"+this.hostnam}}publicbooleanuploadFile(Stringpathname,StringfileNamSystem.out.println("開始上ftpClient.setFileType(FTP.BINARY_CreateDirecroty(patftpClient.makeDirectoryftpClient.changeWorkingDirectorftpClient.storeFile(fileName,iSystem.out.println("上傳文System.out.println("上傳文}}}}}publicbooleanCreateDirecroty(Stringremote)throwsIOE//如果遠(yuǎn)程目錄不存在,則遞歸創(chuàng)建遠(yuǎn)}Stringpaths="";StringsubDirectory=newString(remote.substring(start,end).getBytes("GBK"),"iso-8859-1"changeWorkingDirectory(suSystem.out.println("創(chuàng)建目錄["+schangeWorkingDirectory(su}changeWorkingDirectory(su}}}}}1username,Stringpass23CreateDirecroty(StringrpublicvoidinitFtpClient(Stringhostname,Integerport,Stringusername,StringpaftpClient.setControlEncoding("ftpClient.connect(hostnftpClient.login(username,intreplyCode=ftpClSystem.out.println("connectfailed...ftp服務(wù)器:"+this.hostnam}}publicbooleandownloadFile(Stringpathname,StringfbooleanchangeFlag=ftpClient.changeWorkingDirectory(patSystem.err.println("changeFlag=="+chftpClient.enterLocalPasftpClient.setRemoteVerificationEnabledString[]a=ftpClient.lisFTPFile[]ftpFiles=ftpClient.listFios=newFileOutputStream(lftpClient.retrieveFile(file.get}}System.out.println("下載文System.out.println("下載文}}}}}}publicbooleanCreateDirecroty(Stringremote)throwsIOExcep//如果遠(yuǎn)程目錄不存在,則遞歸創(chuàng)建遠(yuǎn)

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論