第2頁智慧交通產(chǎn)品解決方案交通信息資源平臺【面向城市交通】

目錄1.1. 概述 31.2. 交通信息資源平臺 51.2.1. 平臺概述 51.2.2. 平臺特點 51.2.3. 平臺結(jié)構(gòu) 61.2.4. 平臺功能 71.2.5. 基礎環(huán)境架構(gòu)設計 81.2.6. 平臺數(shù)據(jù)存儲設計 171.2.7. 平臺接口設計 20

交通信息資源平臺平臺概述交通信息資源平臺是智慧交通管理系統(tǒng)的關(guān)鍵支撐平臺，為其它應用系統(tǒng)提供統(tǒng)一的數(shù)據(jù)采集和傳輸服務，支撐跨單位間信息交換與共享。同時交通信息資源平臺也是服務共享的統(tǒng)一支撐平臺，所有應用的業(yè)務功能以及統(tǒng)一消息平臺等公共功能都以標準化的服務形式集成到云中心，供其它應用共享使用并對交換平臺的運行情況進行監(jiān)控，對外提供標準的數(shù)據(jù)規(guī)范和交換接口。平臺特點1．數(shù)據(jù)標準化平臺設計遵循相關(guān)國家標準、部頒標準、行業(yè)標準及企業(yè)標準，并對所有的交通設備數(shù)據(jù)進行了標準化定義，向下兼容各種格式數(shù)據(jù)，向上標準化輸出給應用系統(tǒng)。2．設備訪問標準化平臺具備統(tǒng)一標準接口，屏蔽了不同廠家的硬件差異和技術(shù)差異，通過協(xié)議轉(zhuǎn)換方式，將設備訪問與控制標準化、透明化，降低技術(shù)門檻。3．資源訪問服務化平臺對數(shù)據(jù)資源與設備資源全部進行了服務化，其他平臺與業(yè)務系統(tǒng)對設備與資源的訪問一律采用服務調(diào)用方式，從而降低了耦合度與復雜度。4．海量數(shù)據(jù)處理與挖掘系統(tǒng)采用了大數(shù)據(jù)、云計算架構(gòu)，可支持百萬級并發(fā)訪問、秒級響應及在線擴容，內(nèi)置各種交通業(yè)務模型與算法，看借助平臺的大數(shù)據(jù)分析能力進行數(shù)據(jù)深入挖掘。5．數(shù)據(jù)高安全性平臺中的所有數(shù)據(jù)采用冗余存儲機制，可自動復制、分散存儲，對其中的重要數(shù)據(jù)實現(xiàn)了加密存儲。平臺結(jié)構(gòu)邏輯結(jié)構(gòu)邏輯結(jié)構(gòu)圖物理結(jié)構(gòu)物理結(jié)構(gòu)圖平臺功能專題訪問服務專題訪問服務是對交通數(shù)據(jù)的常規(guī)訪問場景的通用訪問方式，屏蔽了數(shù)據(jù)存儲位置、方式等底層信息，提供出通用服務接口形式，供業(yè)務系統(tǒng)調(diào)用。設備訪問服務設備訪問服務是對常用交通設備的常規(guī)訪問場景進行了概括與綜合，定義了統(tǒng)一的訪問方式，屏蔽了設備型號、版本、廠家等硬件信息，提供出通用服務接口形式，供業(yè)務系統(tǒng)調(diào)用。安全審計服務安全審計服務提供了日志的讀、寫、存儲、統(tǒng)計分析等功能，統(tǒng)一管理業(yè)務系統(tǒng)的業(yè)務日志信息。數(shù)據(jù)訪問服務數(shù)據(jù)訪問服務提供了通用的關(guān)系數(shù)據(jù)、海量數(shù)據(jù)、內(nèi)存數(shù)據(jù)的讀、寫服務接口，供業(yè)務系統(tǒng)調(diào)用。服務調(diào)度總線服務調(diào)度總線提供了服務的注冊、管理、監(jiān)控、通訊機制，統(tǒng)一管理交通資源信息平臺和應用系統(tǒng)的服務。消息通訊總線消息通訊總線提供了統(tǒng)一的消息格式、通訊機制，統(tǒng)一管理交通資源信息平臺和應用系統(tǒng)之間的消息通訊。數(shù)據(jù)與設備適配數(shù)據(jù)與設備適配模塊根據(jù)交通信息資源平臺的接口定義針對不同廠家、不同硬件、數(shù)據(jù)進行適配，轉(zhuǎn)化為標準設備、數(shù)據(jù)格式?；A環(huán)境架構(gòu)設計云計算基礎架構(gòu)對上述交通信息資源云中心的總體邏輯架構(gòu)中的云計算基礎層進行分析，擴展設計出以下“流式實時分布式—并行計算處理架構(gòu)”，如下圖所示：交通信息資源平臺處理架構(gòu)圖根據(jù)目前城市交通業(yè)務管理需求，構(gòu)建分布式大數(shù)據(jù)存儲與高并發(fā)流數(shù)據(jù)處理云中心，其平臺結(jié)構(gòu)如上述圖所示。交通信息資源云平臺采用分布式大數(shù)據(jù)存儲與高并發(fā)流數(shù)據(jù)處理，云平臺對海量交通業(yè)務數(shù)據(jù)進行處理工作；數(shù)據(jù)處理分析平臺采用分布式架構(gòu)部署到相應需求數(shù)量的節(jié)點服務器集群上，綜合利用每臺服務器的存儲和計算資源，實現(xiàn)對海量數(shù)據(jù)的管理與挖掘分析等功能。同時數(shù)據(jù)處理云中心的擴展能力非常強大，當應用層需要更多的資源時，能夠通過增加物理機器和節(jié)點即可以輕而易舉地實現(xiàn)在線熱擴展功能。分布式大數(shù)據(jù)存儲與高并發(fā)流數(shù)據(jù)處理云中心主要由分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、流式實時分布式計算框架、并行計算框架以及集群管理組件構(gòu)成。通過分布式數(shù)據(jù)庫和分布式文件系統(tǒng)對交通數(shù)據(jù)數(shù)據(jù)庫存儲系統(tǒng)導出的文本數(shù)據(jù)進行全量存儲；分布式文件系統(tǒng)通常是由基于客戶機/服務器模式構(gòu)成；服務器端由主管理服務器（主管理節(jié)點）、備用管理服務器（備用節(jié)點）以及多個計算節(jié)點服務器組成的計算資源池構(gòu)成。其中，主管理服務器提供元數(shù)據(jù)存取、備用管理服務器為主管理服務器提供冗余保護、計算節(jié)點服務器存儲數(shù)據(jù)塊，用于具體文件塊的存取。根據(jù)上圖分析其中主管理服務器節(jié)點的主要功能如下：1）元數(shù)據(jù)管理管理整個集群的文件系統(tǒng)命名空間、所有文件以及目錄的元數(shù)據(jù)，這些信息以圖片和文本文件方式存儲于節(jié)點的本地磁盤中，在集群運行時，主管理節(jié)點加載這兩個文件，在內(nèi)存中構(gòu)建一個完整的文件樹；當元數(shù)據(jù)更新時，主管理節(jié)點將更新數(shù)據(jù)寫入磁盤中。2）文件塊管理管理并保存每個文件的數(shù)據(jù)塊分布狀況，這些信息主要是在主管理節(jié)點啟動后，根據(jù)計算節(jié)點的數(shù)據(jù)塊報告匯總生成。3）故障管理分布式文件系統(tǒng)通過定期接收計算節(jié)點心跳信號與數(shù)據(jù)塊報告，監(jiān)測節(jié)點的可用性，確保計算節(jié)點失效后，仍能保證數(shù)據(jù)的可用性。4）交互管理主要包括：故障切換、信息歸并以及信息同步等。5）容錯能力根據(jù)系統(tǒng)故障發(fā)生頻率的不同，故障大致有下面幾種：硬盤故障、服務器故障、網(wǎng)絡故障、存儲中心故障（大面積停電、空調(diào)事故、斷網(wǎng)、自然災害等）。硬盤故障比較頻繁發(fā)生，服務器故障其次，網(wǎng)絡故障再次。分布式文件系統(tǒng)要能通過下列3種方法來規(guī)避故障和保證數(shù)據(jù)完整性：數(shù)據(jù)在寫入時被同步復制多份，并且可以通過用戶自定義的復制策略分布到不同機架的服務器上，保證了在單臺甚至單機架服務器故障時，數(shù)據(jù)也不丟失；數(shù)據(jù)在讀寫時將自動進行數(shù)據(jù)的校驗，一旦發(fā)現(xiàn)數(shù)據(jù)校驗錯誤將重新進行復制；系統(tǒng)在后臺自動連續(xù)的檢測數(shù)據(jù)的一致性，并維持數(shù)據(jù)的副本數(shù)量在指定的復制水平上。6）擴展能力系統(tǒng)的存儲和計算能力能夠動態(tài)擴充。在數(shù)據(jù)處理云中心內(nèi)部，可以簡單地通過增加服務器，在該服務器上安裝數(shù)據(jù)處理云中心軟件，然后配置成加入該平臺的服務器集群即可。而其他服務器的配置不去做任何改動。根據(jù)上圖分析計算節(jié)點服務器的主要功能如下：1）數(shù)據(jù)存取接收主管理節(jié)點指令，執(zhí)行文件數(shù)據(jù)塊的存儲、讀取、復制，并在本地定期創(chuàng)建子目錄以更好地管理各文件數(shù)據(jù)塊，同時將處理結(jié)果回寫給傳統(tǒng)存儲環(huán)境和交通信息資源云中心存儲環(huán)境中。2）定期上報以心跳的方式周期性地向主管理節(jié)點報告自身狀態(tài)，在計算節(jié)點啟動時，全自動掃描并生成所有文件塊信息，并上報至主管理節(jié)點服務器即是數(shù)據(jù)塊報告。3）數(shù)據(jù)交互通過網(wǎng)絡通信協(xié)議TCP/IP和應用統(tǒng)一接口向終端展示數(shù)據(jù)處理結(jié)果，在與終端交換時，需要分布式文件系統(tǒng)和分布式數(shù)據(jù)庫搭建的分布式云中心具有豐富的對外接口。分布式的特性是能夠利用集群龐大的存儲能力，對PB級的數(shù)據(jù)提供便捷有效的存儲管理手段、且適合用于對大文件的處理；通過在不同機器上對同一份數(shù)據(jù)進行冗余備份來實現(xiàn)可靠性，計算節(jié)點之間通過相互通信來轉(zhuǎn)移數(shù)據(jù)從而使數(shù)據(jù)分布均衡。流式實時分布式——并行計算框架是一個用于在城市交通管理海量數(shù)據(jù)集上解決可分布式——并行化的問題的計算框架，利用多臺服務器的計算資源來并行地完成對特定問題的快速處理分析，其主要包括兩個功能：1）由負責統(tǒng)一分配調(diào)度的主節(jié)點即主管理服務器將輸入數(shù)據(jù)分成若干份并分發(fā)到不同計算節(jié)點上并發(fā)的解決全局問題中它所負責的子問題；2）利用主管理服務器以特定方式將各計算節(jié)點返回的數(shù)據(jù)處理結(jié)果合并得到全局問題的結(jié)果，并將結(jié)果回寫到交通信息數(shù)據(jù)存儲系統(tǒng)中的緝查布控數(shù)據(jù)庫中進行存儲；同時通過相關(guān)接口展示給業(yè)務終端。服務調(diào)度總線服務調(diào)度總線圖是一個分布式服務框架，提供高性能和透明化的RPC遠程服務調(diào)用方案，以及SOA服務治理方案。

其核心部分包含:遠程通訊:提供對多種基于長連接的NIO框架抽象封裝，包括多種線程模型，序列化，以及“請求-響應”模式的信息交換方式。集群容錯:提供基于接口方法的透明遠程過程調(diào)用，包括多協(xié)議支持，以及軟負載均衡，失敗容錯，地址路由，動態(tài)配置等集群支持。自動發(fā)現(xiàn):基于注冊中心目錄服務，使服務消費方能動態(tài)的查找服務提供方，使地址透明，使服務提供方可以平滑增加或減少機器。分布式內(nèi)存數(shù)據(jù)庫是一個key-value存儲系統(tǒng)，支持存儲的value類型相廣泛，包括string(字符串)、list(鏈表)、set(集合)、zset(sortedset--有序集合)和hash（哈希類型）。這些數(shù)據(jù)類型都支持push/pop、add/remove及取交集并集和差集及更豐富的操作，而且這些操作都是原子性的。在此基礎上，支持各種不同方式的排序。為了保證效率，數(shù)據(jù)都是緩存在內(nèi)存中。周期性的把更新的數(shù)據(jù)寫入磁盤或者把修改操作寫入追加的記錄文件，在此基礎上實現(xiàn)了master-slave(主從)同步。是一個高性能的key-value數(shù)據(jù)庫，專為頻繁訪問的熱數(shù)據(jù)而設計，提供了多種開發(fā)語言支持，目前可以使用的有Java，C/C++，C#，PHP，JavaScript，Perl，Object-C，Python，Ruby，Erlang等客戶端。支持主從同步。數(shù)據(jù)可以從主服務器向任意數(shù)量的從服務器上同步，從服務器可以是關(guān)聯(lián)其他從服務器的主服務器?？蓤?zhí)行單層樹復制。存盤可以有意無意的對數(shù)據(jù)進行寫操作。由于完全實現(xiàn)了發(fā)布/訂閱機制，使得從數(shù)據(jù)庫在任何地方同步樹時，可訂閱一個頻道并接收主服務器完整的消息發(fā)布記錄。同步對讀取操作的可擴展性和數(shù)據(jù)冗余很有幫助。消息通訊總線訂閱分發(fā)式消息隊列該消息系統(tǒng)的核心作用是三點：解耦，異步和并行。這種模式有個專業(yè)的名詞，就叫最終一致。核心原理Notify在設計思路上與傳統(tǒng)的MQ有一定的不同，核心設計理念是1.為了消息堆積而設計系統(tǒng)2.無單點，可自由擴展的設計為了消息堆積而設計系統(tǒng)在市面上的大部分MQ產(chǎn)品，大部分的核心場景就是點對點的消息傳輸通道，然后非常激進的使用內(nèi)存來提升整體的系統(tǒng)性能，這樣做雖然標稱的tps都能達到很高，但這種設計的思路是很難符合大規(guī)模分布式場景的實際需要的。

在實際的分布式場景中，這樣的系統(tǒng)會存在著較大的應用場景瓶頸，在后端有大量消費者的前提下，消費者出現(xiàn)問題是個非常常見的情況，而消息系統(tǒng)則必須能夠在后端消費不穩(wěn)定的情況下，仍然能夠保證用戶寫入的正常并且TPS不降，是個非?？简炏⑾到y(tǒng)能力的實際場景。

也因為如此，在Notify的整體設計中，我們最優(yōu)先考慮的就是消息堆積問題，在目前的設計中我們使用了持久化磁盤的方式，在每次用戶發(fā)消息到Notify的時候都將消息先落盤，然后再異步的進行消息投遞，而沒有采用激進的使用內(nèi)存的方案來加快投遞速度。

這種方式，作為整個業(yè)務邏輯的核心單元，穩(wěn)定，安全可靠是系統(tǒng)的核心訴求。無單點，可自由擴展的設計Notify系統(tǒng)組成結(jié)構(gòu)上圖展示了組成Notify整個生態(tài)體系的有五個核心的部分。發(fā)送消息的集群這主要是業(yè)務方的機器，這些APP的機器上是沒有任何狀態(tài)信息的，可以隨著用戶請求量的增加而隨時增加或減少業(yè)務發(fā)送方的機器數(shù)量，從而擴大或縮小集群能力。配置服務器集群(Configserver)這個集群的主要目的是動態(tài)的感知應用集群，消息集群機器上線與下線的過程，并及時廣播給其他集群。如當業(yè)務接受消息的機器下線時，configserver會感知到機器下線，從而將該機器從目標用戶組內(nèi)踢出，并通知給notifyserver，notifyserver在獲取通知后，就可以將已經(jīng)下線的機器從自己的投遞目標列表中刪除，這樣就可以實現(xiàn)機器的自動上下線擴容了。消息服務器(NotifyServer)消息服務器，也就是真正承載消息發(fā)送與消息接收的服務器，也是一個集群，應用發(fā)送消息時可以隨機選擇一臺機器進行消息發(fā)送，任意一臺server掛掉，系統(tǒng)都可以正常運行。當需要增加處理能力時，只需要簡單地增加notifyServer就可以了存儲(Storage)Notify的存儲集群有多種不同的實現(xiàn)方式，以滿足不同應用的實際存儲需求。針對消息安全性要求高的應用，我們會選擇使用多份落盤的方式存儲消息數(shù)據(jù)，而對于要求吞吐量而不要求消息安全的場景，我們則可以使用內(nèi)存存儲模型的存儲。自然的，所有存儲也被設計成了隨機無狀態(tài)寫入存儲模型以保障可以自由擴展。消息接收集群業(yè)務方用于處理消息的服務器組，上下線機器時候也能夠動態(tài)的由configserver感知機器上下線的時機，從而可以實現(xiàn)機器自動擴展。順序讀取式消息隊列完全的隊列模型消息中間件，服務器使用Java語言編寫，可在多種軟硬件平臺上部署?？蛻舳酥С諮ava、C++編程語言。結(jié)合應用場景對性能的要求，對數(shù)據(jù)的存儲結(jié)構(gòu)進行了全新設計。在功能層面，增加了更適合海量消息交互的功能點。整體結(jié)構(gòu)如上圖所示，對外提供的是一個隊列服務，內(nèi)部實現(xiàn)也是完全的隊列模型，這里的隊列是持久化的磁盤隊列，具有非常高的可靠性，并且充分利用了操作系統(tǒng)cache來提高性能。是一個隊列模型的消息中間件，具有高性能、高可靠、高實時、分布式特點。Producer、Consumer、隊列都可以分布式。Producer向一些隊列輪流發(fā)送消息，隊列集合稱為Topic，Consumer如果做廣播消費，則一個consumer實例消費這個Topic對應的所有隊列，如果做集群消費，則多個Consumer實例平均消費這個topic對應的隊列集合。能夠保證嚴格的消息順序提供豐富的消息拉取模式高效的訂閱者水平擴展能力實時的消息訂閱機制億級消息堆積能力消息隊列存儲結(jié)構(gòu)存儲結(jié)構(gòu)是根據(jù)海量消息交互應用需求，完全重新設計的一套存儲結(jié)構(gòu)，使用這套存儲結(jié)構(gòu)可以支持上萬的隊列模型，并且可以支持消息查詢、分布式事務、定時隊列等功能，如下圖所示。MetaQ存儲體系單機上萬隊列內(nèi)部大部分功能都靠隊列來驅(qū)動，那么必須支持足夠多的隊列，才能更好的滿足業(yè)務需求，如圖所示，可以在單機支持上萬隊列，這里的隊列全部為持久化磁盤方式，從而對IO性能提出了挑戰(zhàn)。Message全部寫入到一個獨立的隊列，完全的順序?qū)慚essage在文件的位置信息寫入到另外的文件，串行方式寫。通過以上方式，既做到數(shù)據(jù)可靠，又可以支持更多的隊列，如下圖所示。圖單機上萬隊列平臺數(shù)據(jù)存儲設計不同系統(tǒng)的數(shù)據(jù)上傳頻率、數(shù)據(jù)量、數(shù)據(jù)增長量、數(shù)據(jù)形式都是不同的，如數(shù)據(jù)存儲和數(shù)據(jù)計算環(huán)境采用一種方式，則必然會出現(xiàn)系統(tǒng)瓶頸，構(gòu)建數(shù)據(jù)中心采用單一技術(shù)路線無法滿足業(yè)務需求，因此針對不同數(shù)據(jù)情況采用傳統(tǒng)存儲環(huán)境和云計算、云存儲環(huán)境相結(jié)合方式。傳統(tǒng)存儲環(huán)境設計傳統(tǒng)存儲環(huán)境，主要以PC服務器+SAN存儲方式為主，其中SAN存儲通過光纖與服務器進行存儲資源關(guān)聯(lián)，數(shù)據(jù)服務器采用HBA卡，實現(xiàn)共享SAN存儲高速讀寫性能。Oracle關(guān)系型數(shù)據(jù)庫存儲數(shù)據(jù)量在千萬級以下的結(jié)構(gòu)化數(shù)據(jù)存儲在關(guān)系數(shù)據(jù)庫中，設計使用普通X86PC服務器搭建即可，重要業(yè)務數(shù)據(jù)可以考慮放在小型機上，地市級全市的業(yè)務數(shù)據(jù)建議存儲在關(guān)系數(shù)據(jù)數(shù)據(jù)庫；考慮系統(tǒng)可用性，建議使用雙機熱備方式實現(xiàn)系統(tǒng)單點故障時實時切換。1、交通靜態(tài)數(shù)據(jù)容量設計交通靜態(tài)數(shù)據(jù)容量設計表數(shù)據(jù)項單項數(shù)據(jù)（KB）目標數(shù)量

（個）數(shù)據(jù)量（GB）說明路網(wǎng)數(shù)據(jù)1500000.05設備數(shù)據(jù)1100000.01設施數(shù)據(jù)2400000.08人員、機構(gòu)數(shù)據(jù)2100000.02預案數(shù)據(jù)510000.005合計0.162、交通動態(tài)數(shù)據(jù)及歷史數(shù)據(jù)交通動態(tài)數(shù)據(jù)及歷史數(shù)據(jù)表數(shù)據(jù)類周期數(shù)據(jù)量(K）每天數(shù)據(jù)量(M）總數(shù)據(jù)量（G）數(shù)據(jù)計算說明路況數(shù)據(jù)488.28686.651,206.99全市5000個路段每1分鐘存儲一次道路通行狀態(tài)警情數(shù)據(jù)156.253.666.44全市每小時平均報警量為200起指揮調(diào)度數(shù)據(jù)585.9413.7324.14每起警情均有對應出警記錄數(shù)據(jù)警力定位數(shù)據(jù)585.94823.97289.68按照全市1000輛警車、2000手臺定位終端，每30秒上傳一次數(shù)據(jù)交通違法記錄數(shù)據(jù)2,734.382.674.69按照全市每天違法4000起計算勤務數(shù)據(jù)6,835.946.6811.73執(zhí)勤狀態(tài)描述、執(zhí)勤排版信息等設備狀態(tài)數(shù)據(jù)100,000.0097.6668.665000個設備平均每天20條合計16351,612.34云計算和云存儲環(huán)境對于符合大數(shù)據(jù)4V特征的數(shù)據(jù)，一般為非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)或者數(shù)據(jù)增長較大的業(yè)務數(shù)據(jù)，均需要存儲在大數(shù)據(jù)系統(tǒng)中，使用X86服務器構(gòu)建服務器群，利用PC服務器的廉價存儲構(gòu)建云存儲架構(gòu)，使用Hadoop技術(shù)實現(xiàn)數(shù)據(jù)分布式存儲及云計算功能。大數(shù)據(jù)云計算存儲物理架構(gòu)設計大數(shù)據(jù)云計算存儲物理架構(gòu)示意圖大數(shù)據(jù)存儲大表結(jié)構(gòu)設計HBase數(shù)據(jù)表的數(shù)據(jù)根據(jù)行主鍵被自動切分成多個塊(Region)，塊由數(shù)據(jù)中心內(nèi)部的服務器自動分發(fā)管理，每個服務器可管理多個塊（數(shù)百或者數(shù)千）。HBase客戶端自動與數(shù)據(jù)中心通訊，查找ROOT表從而找到分塊信息表(META表)的存放位置。META表記錄了行主鍵區(qū)間范圍(startkeyendkey)與分塊服務器地址的對應關(guān)系。找到分塊服務器后，HBase客戶端直接與該服務器進行通訊，進行數(shù)據(jù)查詢或者寫入。平臺接口設計專題訪問接口專題訪問接口目標是將所有交通數(shù)據(jù)屬