混合無線網(wǎng)絡(luò)負(fù)載均衡系統(tǒng)架構(gòu)研究概述目錄TOC\o"1-3"\h\u31794混合無線網(wǎng)絡(luò)負(fù)載均衡系統(tǒng)架構(gòu)研究概述 1327151.1設(shè)計(jì)目標(biāo) 12431.2系統(tǒng)整體架構(gòu)設(shè)計(jì) 225811.3基于SDN的DPI節(jié)點(diǎn)負(fù)載均衡網(wǎng)絡(luò)設(shè)計(jì) 4306041.3.1操作系統(tǒng)層設(shè)計(jì) 4185621.3.2SDN網(wǎng)絡(luò)層設(shè)計(jì) 7117111.3.3控制器應(yīng)用層設(shè)計(jì) 10187181.4LTE與SDN混合架構(gòu)網(wǎng)絡(luò)設(shè)計(jì) 11234061.4.1LTE網(wǎng)絡(luò)架構(gòu) 11261471.4.2LTE-SDN混合網(wǎng)絡(luò)架構(gòu)與數(shù)據(jù)流 13297691.5實(shí)時動態(tài)的負(fù)載均衡算法設(shè)計(jì) 1495881.5.1節(jié)點(diǎn)負(fù)載模型 1430251.5.2負(fù)載均衡過程 151.1設(shè)計(jì)目標(biāo)LTE網(wǎng)絡(luò)運(yùn)營商為客戶提供服務(wù)時，出于網(wǎng)絡(luò)安全、服務(wù)質(zhì)量（QualityofService,Qos）、體驗(yàn)質(zhì)量（QualityofExperience,QoE）和政策需求等方面考慮，需要對用戶上網(wǎng)的流量進(jìn)行實(shí)時的檢測，檢查用戶數(shù)據(jù)包中是否含有危害信息，對用戶流量進(jìn)行控制等。對比基于端口的識別分類方法，深度包檢測方法可以分析更多的信息，也能做出更智能的決策。但是，DPI需要的耗費(fèi)更多的計(jì)算資源，對檢測節(jié)點(diǎn)產(chǎn)生的負(fù)載也更大。由于LTE網(wǎng)絡(luò)服務(wù)的用戶數(shù)量眾多，產(chǎn)生的流量巨大，往往無法對所有流量進(jìn)行檢測，很大程度上限制了DPI的運(yùn)行效果。因此，在硬件資源有限的情況下，通過負(fù)載均衡算法，提高多個DPI節(jié)點(diǎn)總負(fù)載上限，可以進(jìn)一步提高包檢測的覆蓋率，進(jìn)而達(dá)到更好的檢測效果。為實(shí)現(xiàn)提高多個DPI節(jié)點(diǎn)總負(fù)載上限的目標(biāo)，本章將設(shè)計(jì)一種把多節(jié)點(diǎn)負(fù)載均衡系統(tǒng)與LTE網(wǎng)絡(luò)結(jié)合起來的系統(tǒng)架構(gòu)，以及基于當(dāng)前網(wǎng)絡(luò)狀態(tài)和用戶流量數(shù)據(jù)進(jìn)行動態(tài)調(diào)整的負(fù)載均衡算法。其中多節(jié)點(diǎn)負(fù)載均衡系統(tǒng)以SDN網(wǎng)絡(luò)架構(gòu)為基礎(chǔ)，通過LTE網(wǎng)絡(luò)的SGI接口以及中轉(zhuǎn)鏡像交換機(jī)獲取LTE流量數(shù)據(jù)。而負(fù)載均衡算法則通過SDN網(wǎng)絡(luò)，全局、動態(tài)地獲取網(wǎng)絡(luò)和流量數(shù)據(jù)信息，進(jìn)而調(diào)整各DPI節(jié)點(diǎn)所承擔(dān)的用戶流量。1.2系統(tǒng)整體架構(gòu)設(shè)計(jì)針對設(shè)計(jì)基于SDN的多節(jié)點(diǎn)負(fù)載均衡系統(tǒng)與LTE網(wǎng)絡(luò)結(jié)合的系統(tǒng)架構(gòu)這一目標(biāo)，主要需要對三個部分進(jìn)行設(shè)計(jì)：基于SDN的DPI節(jié)點(diǎn)負(fù)載均衡系統(tǒng)，LTE與SDN混合網(wǎng)絡(luò)架構(gòu)，實(shí)時動態(tài)的負(fù)載均衡算法。另外，由于需要對系統(tǒng)進(jìn)行驗(yàn)證，還需要能為實(shí)際的用戶設(shè)備提供服務(wù)，測試實(shí)際條件下對用戶流量的檢測效果。LTE網(wǎng)絡(luò)各部分和功能的設(shè)計(jì)與實(shí)現(xiàn)，需要與符合3GPP相關(guān)的標(biāo)準(zhǔn)?；赟DN的多節(jié)點(diǎn)負(fù)載均衡系統(tǒng)需要實(shí)現(xiàn)四方面功能：用戶流量分發(fā)、用戶數(shù)據(jù)DPI、DPI節(jié)點(diǎn)負(fù)載與網(wǎng)絡(luò)狀態(tài)統(tǒng)計(jì)、節(jié)點(diǎn)負(fù)載動態(tài)調(diào)整。為實(shí)現(xiàn)以上設(shè)計(jì)目標(biāo)，系統(tǒng)整體架構(gòu)圖如REF_Ref23283\h圖7所示：圖SEQ圖\*ARABIC7系統(tǒng)整體架構(gòu)圖系統(tǒng)整體架構(gòu)包含兩個部分：LTE網(wǎng)絡(luò)與流量生成，負(fù)載均衡的DPI網(wǎng)絡(luò)，UE終端的用戶數(shù)據(jù)則流通于這兩個部分之上。兩者分別對應(yīng)用戶數(shù)據(jù)從終端產(chǎn)生，經(jīng)LTE網(wǎng)絡(luò)轉(zhuǎn)發(fā)到互聯(lián)網(wǎng)的流程，和用戶數(shù)據(jù)轉(zhuǎn)發(fā)到負(fù)載均衡的DPI網(wǎng)絡(luò)中接受檢測流程。LTE網(wǎng)絡(luò)與流量生成系統(tǒng)。該部分主要包括三層：硬件層、系統(tǒng)層和網(wǎng)絡(luò)層。其中硬件層包括一臺主機(jī)，運(yùn)行OAI程序；還包括一個SDR設(shè)備，負(fù)責(zé)接受和發(fā)送LTE網(wǎng)絡(luò)的無線信號。系統(tǒng)層中所包含的主要為SDR設(shè)備的驅(qū)動程序。網(wǎng)絡(luò)層中為一個完整的LTE網(wǎng)絡(luò)，包括兩個主要部分：LTE核心網(wǎng)和LTE接入網(wǎng)。核心網(wǎng)中包括四個主要單元：服務(wù)網(wǎng)關(guān)，PDN網(wǎng)關(guān)，歸屬簽約用戶服務(wù)器和移動管理實(shí)體。LTE接入網(wǎng)中僅包含一個單元：eNB基站。在最上層的應(yīng)用層，包含了流量測試功能模塊，其中包含兩個子模塊：測試應(yīng)用配置和測試流量生成。負(fù)載均衡的DPI網(wǎng)絡(luò)。該部分同樣包含硬件層、系統(tǒng)層和網(wǎng)絡(luò)層。比起LTE網(wǎng)絡(luò)與流量生成系統(tǒng)，該部分有兩個個重要特點(diǎn)：系統(tǒng)層分為宿主機(jī)系統(tǒng)層和虛擬機(jī)系統(tǒng)層、網(wǎng)絡(luò)層為SDN網(wǎng)絡(luò)。由于開發(fā)環(huán)境限制，宿主機(jī)為windows10系統(tǒng)而SDN網(wǎng)絡(luò)需要運(yùn)行在linux系統(tǒng)下，因此將系統(tǒng)層分成了宿主機(jī)系統(tǒng)層和虛擬機(jī)系統(tǒng)層。而為了實(shí)現(xiàn)負(fù)載均衡功能，網(wǎng)絡(luò)層為SD你網(wǎng)絡(luò)。下面詳細(xì)敘述各層的組成。硬件層由一臺多網(wǎng)卡計(jì)算機(jī)組成。該計(jì)算機(jī)在網(wǎng)絡(luò)上承擔(dān)著橋梁作用，一方面和LTE網(wǎng)絡(luò)與流量生成系統(tǒng)連接，另一方面和互聯(lián)網(wǎng)連接，既作為DPI的網(wǎng)絡(luò)，也作為LTE網(wǎng)絡(luò)數(shù)據(jù)的轉(zhuǎn)發(fā)節(jié)點(diǎn)。宿主機(jī)系統(tǒng)層。SDN網(wǎng)絡(luò)部署在虛擬機(jī)當(dāng)中，通過宿主機(jī)和外部網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行交互。宿主機(jī)系統(tǒng)層主要包括兩個部分：宿主機(jī)環(huán)境配置和虛擬機(jī)環(huán)境配置。宿主機(jī)環(huán)境配置主要負(fù)責(zé)設(shè)置與LTE網(wǎng)絡(luò)和互聯(lián)網(wǎng)的連接，以及數(shù)據(jù)包的轉(zhuǎn)發(fā)；虛擬機(jī)環(huán)境配置主要設(shè)置虛擬機(jī)網(wǎng)卡與宿主機(jī)網(wǎng)卡的關(guān)系，保證虛擬機(jī)內(nèi)能獲得經(jīng)外部宿主機(jī)所轉(zhuǎn)發(fā)的LTE網(wǎng)絡(luò)流量。虛擬機(jī)系統(tǒng)層主要包括兩部分：虛擬機(jī)網(wǎng)絡(luò)接口配置和SDN網(wǎng)絡(luò)主控制。虛擬機(jī)網(wǎng)絡(luò)接口配置部分主要負(fù)責(zé)管理上層應(yīng)用所用到的虛擬機(jī)的網(wǎng)卡，特別是與宿主機(jī)有關(guān)的網(wǎng)卡。SDN網(wǎng)絡(luò)主控制主要負(fù)責(zé)對SDN網(wǎng)絡(luò)的各個進(jìn)程進(jìn)行控制，協(xié)調(diào)多個進(jìn)程的配置，啟動停止等過程。SDN網(wǎng)絡(luò)層由三個部分組成：SDN交換機(jī)網(wǎng)絡(luò)、軟件SDN交換機(jī)以及SDN控制器。SDN交換機(jī)網(wǎng)絡(luò)包含四個部分：配置信息管理、硬件接口檢測與接入、拓?fù)渖珊途W(wǎng)絡(luò)節(jié)點(diǎn)配置，該部分主要負(fù)責(zé)提供一個軟件環(huán)境的SDN交換機(jī)網(wǎng)絡(luò)。軟件SDN交換機(jī)主要包括兩個部分：主進(jìn)程狀態(tài)管理和交換機(jī)信息查詢，該部分承擔(dān)了運(yùn)行SDN交換機(jī)的功能。SDN控制器主要包含四個部分：網(wǎng)絡(luò)狀態(tài)管理、流表項(xiàng)生成、交換機(jī)事件處理和流表項(xiàng)下發(fā)，該部分的主要職責(zé)為處理與SDN交換機(jī)相關(guān)的信息，并為應(yīng)用層提供操作接口。應(yīng)用層主要包含兩個應(yīng)用：DPI和負(fù)載均衡。DPI應(yīng)用包含兩個部分：流量數(shù)據(jù)獲取和流量數(shù)據(jù)統(tǒng)計(jì)，該部分主要負(fù)責(zé)對接收到LTE網(wǎng)絡(luò)流量進(jìn)行深度包檢測，并統(tǒng)計(jì)相關(guān)數(shù)據(jù)。負(fù)載均衡應(yīng)用包含五個部分：負(fù)載狀態(tài)管理、流量數(shù)據(jù)分析、負(fù)載調(diào)整算法和負(fù)載配置更新，該部分主要負(fù)責(zé)對各DPI節(jié)點(diǎn)的負(fù)載狀態(tài)進(jìn)行維護(hù)，動態(tài)調(diào)整各DPI節(jié)點(diǎn)的負(fù)載，達(dá)到負(fù)載均衡的目的。1.3基于SDN的DPI節(jié)點(diǎn)負(fù)載均衡網(wǎng)絡(luò)設(shè)計(jì)基于SDN的DPI節(jié)點(diǎn)負(fù)載均衡網(wǎng)絡(luò)（以下簡稱負(fù)載均衡網(wǎng)絡(luò)），是將DPI節(jié)點(diǎn)部署在SDN網(wǎng)絡(luò)之中，利用SDN網(wǎng)絡(luò)所具有的全局視野優(yōu)勢，對多個檢測節(jié)點(diǎn)的負(fù)載進(jìn)行監(jiān)控，并實(shí)時調(diào)整各個節(jié)點(diǎn)的負(fù)載，來達(dá)到負(fù)載均衡的效果。該設(shè)計(jì)方案的功能模塊按照所處的位置劃分成三層，自下而上分別是負(fù)責(zé)SDN網(wǎng)絡(luò)運(yùn)行環(huán)境配置的操作系統(tǒng)層、負(fù)責(zé)SDN網(wǎng)絡(luò)構(gòu)建運(yùn)行和提供服務(wù)的SDN網(wǎng)絡(luò)層、承載DPI與負(fù)載均衡過程的控制器應(yīng)用層。本節(jié)將從這三個方面，敘述基于SDN的DPI節(jié)點(diǎn)負(fù)載均衡網(wǎng)絡(luò)設(shè)計(jì)。1.3.1操作系統(tǒng)層設(shè)計(jì)圖SEQ圖\*ARABIC8負(fù)載均衡網(wǎng)絡(luò)操作系統(tǒng)層功能模塊圖上述REF_Ref21949\h圖8為負(fù)載均衡網(wǎng)絡(luò)操作系統(tǒng)層的功能模塊圖。操作系統(tǒng)層的四個功能模塊：宿主機(jī)環(huán)境配置模塊、虛擬機(jī)環(huán)境配置模塊、虛擬機(jī)網(wǎng)絡(luò)接口配置模塊和SDN網(wǎng)絡(luò)主控制模塊，與LTE網(wǎng)絡(luò)被檢測數(shù)據(jù)的流向息息相關(guān)。四個中的前三個都是為了使得LTE被檢測數(shù)據(jù)能正確流入SDN網(wǎng)絡(luò)，而最后一個則是SDN網(wǎng)絡(luò)的外部維護(hù)模塊。下面首先論述LTE網(wǎng)絡(luò)被檢測數(shù)據(jù)的流向設(shè)計(jì)，再根據(jù)流向設(shè)計(jì)，按照先宿主機(jī)層面后虛擬機(jī)層面的順序，說明各模塊所起的作用。LTE被檢測數(shù)據(jù)的流向設(shè)計(jì)。宿主機(jī)包含兩塊物理網(wǎng)卡：連接LTE網(wǎng)絡(luò)的網(wǎng)卡和連接互聯(lián)網(wǎng)的網(wǎng)卡，這兩塊網(wǎng)卡分別負(fù)責(zé)數(shù)據(jù)的接收和發(fā)送，中間經(jīng)過宿主機(jī)自身的路由轉(zhuǎn)發(fā)功能將數(shù)據(jù)從前一塊網(wǎng)卡轉(zhuǎn)發(fā)到后一塊網(wǎng)卡。由于SDN網(wǎng)絡(luò)部署在虛擬機(jī)當(dāng)中，因此在連接LTE網(wǎng)絡(luò)的網(wǎng)卡接收到數(shù)據(jù)以后，除了要轉(zhuǎn)發(fā)到出口網(wǎng)卡，還需要將數(shù)據(jù)鏡像發(fā)送至虛擬機(jī)的虛擬網(wǎng)卡。從虛擬機(jī)內(nèi)部的角度來看，這塊網(wǎng)卡是專門負(fù)責(zé)接收LTE被檢測數(shù)據(jù)的，所有流量都會被輸入到SDN網(wǎng)絡(luò)中，待后續(xù)進(jìn)一步處理。宿主機(jī)環(huán)境配置模塊。該模塊主要包含兩個功能：硬件與虛擬網(wǎng)卡配置、路由轉(zhuǎn)發(fā)功能配置。硬件與虛擬網(wǎng)卡配置功能，主要是根據(jù)外部網(wǎng)絡(luò)環(huán)境，設(shè)置連接LTE網(wǎng)絡(luò)的網(wǎng)卡和連接互聯(lián)網(wǎng)網(wǎng)卡的參數(shù)，包括IP地址、子網(wǎng)掩碼、默認(rèn)網(wǎng)關(guān)等。路由轉(zhuǎn)發(fā)功能配置，主要是開啟宿主機(jī)的路由轉(zhuǎn)發(fā)功能，該功能默認(rèn)是關(guān)閉的。虛擬機(jī)環(huán)境配置模塊。該模塊主要包含兩個功能：虛擬機(jī)網(wǎng)卡配置和虛擬機(jī)其他參數(shù)配置。虛擬機(jī)網(wǎng)卡為需要配置的參數(shù)中的關(guān)鍵部分，為了實(shí)現(xiàn)獲取LTE網(wǎng)絡(luò)的所有數(shù)據(jù)，并且鏡像發(fā)送到虛擬機(jī)網(wǎng)卡這兩個子功能，本設(shè)計(jì)將虛擬機(jī)網(wǎng)卡橋接到連接LTE網(wǎng)絡(luò)的網(wǎng)卡上，并且開啟混雜模式。橋接在LTE網(wǎng)絡(luò)的網(wǎng)卡上，這樣做的好處是可以獲取到所有并且只有與LTE網(wǎng)絡(luò)有關(guān)聯(lián)的流量，如果橋接在連接到互聯(lián)網(wǎng)的網(wǎng)卡上，宿主機(jī)自身與網(wǎng)絡(luò)進(jìn)行交互時的數(shù)據(jù)也會被發(fā)送到虛擬機(jī)，與需求不符。此外，為了虛擬機(jī)可以恰當(dāng)運(yùn)行，還需要對虛擬機(jī)的其他參數(shù)進(jìn)行設(shè)置，如虛擬CPU、內(nèi)存、硬盤的設(shè)置等，這部分作為模塊的另一個功能：虛擬機(jī)其他參數(shù)配置。虛擬機(jī)網(wǎng)絡(luò)接口配置模塊。該模塊主要包含兩個功能：外部配置讀取存儲與多網(wǎng)卡配置。需要說明的一點(diǎn)是：虛擬機(jī)不止一塊網(wǎng)卡與外部連接，但有且僅有一塊網(wǎng)卡（以下稱為LTE數(shù)據(jù)檢測網(wǎng)卡）是用于LTE網(wǎng)絡(luò)數(shù)據(jù)獲取，其他網(wǎng)卡（以下稱為上網(wǎng)網(wǎng)卡）為虛擬機(jī)正常聯(lián)網(wǎng)使用。外部配置讀取存儲功能，主要負(fù)責(zé)在虛擬機(jī)啟動之時，讀取LTE數(shù)據(jù)檢測網(wǎng)卡的配置。由于該網(wǎng)卡是橋接到宿主機(jī)網(wǎng)卡上，因而與宿主機(jī)LTE網(wǎng)絡(luò)連接網(wǎng)卡處于同一個局域網(wǎng)，SDN網(wǎng)絡(luò)想要通過該網(wǎng)卡與LTE網(wǎng)絡(luò)連接，則需要獲取外部配置信息。由于該網(wǎng)卡要與SDN網(wǎng)絡(luò)連接起來，配置會被改變，因此還需要把這些讀取到的外部配置信息保存起來，供后續(xù)使用。多網(wǎng)卡配置功能，主要對LTE數(shù)據(jù)檢測網(wǎng)卡和上網(wǎng)網(wǎng)卡進(jìn)行參數(shù)配置，為適應(yīng)SDN網(wǎng)絡(luò)連接需求，去除部分配置參數(shù)。SDN網(wǎng)絡(luò)主控制模塊。該模塊的定位是操作系統(tǒng)層與SDN網(wǎng)絡(luò)層銜接的模塊，主要包括四個功能：交換機(jī)網(wǎng)絡(luò)進(jìn)程管理、SDN交換機(jī)進(jìn)程管理、SDN控制器進(jìn)程管理以及日志信息記錄。交換機(jī)網(wǎng)絡(luò)、SDN交換機(jī)、SDN控制器是SDN網(wǎng)絡(luò)的主要組成部分，但進(jìn)程間的協(xié)調(diào)需要從通過外部守護(hù)進(jìn)程的方式實(shí)現(xiàn)，因此設(shè)計(jì)了SDN網(wǎng)絡(luò)主控制模塊。另外，由于系統(tǒng)運(yùn)行過程中會產(chǎn)生各種信息，可以幫助調(diào)試與分析，因而該模塊還包含了日志信息記錄功能，記錄SDN網(wǎng)絡(luò)運(yùn)行時產(chǎn)生的各種日志信息。1.3.2SDN網(wǎng)絡(luò)層設(shè)計(jì)SDN網(wǎng)絡(luò)作為負(fù)載均衡DPI網(wǎng)絡(luò)的中間層，承擔(dān)著檢測數(shù)據(jù)分發(fā)，節(jié)點(diǎn)狀態(tài)收集和提供上層接口的功能。這一節(jié)從SDN網(wǎng)絡(luò)結(jié)構(gòu)、SDN網(wǎng)絡(luò)功能模塊和上層接口三個方面展開論述。圖SEQ圖\*ARABIC9SDN網(wǎng)絡(luò)結(jié)構(gòu)圖SDN網(wǎng)絡(luò)結(jié)構(gòu)如上REF_Ref513\h圖9所示。本設(shè)計(jì)中的SDN網(wǎng)絡(luò)，主要包含三種節(jié)點(diǎn)：一個SDN控制器（圖中c0節(jié)點(diǎn)）、一個SDN交換機(jī)（圖中s0節(jié)點(diǎn)）以及若干個主機(jī)（圖中h0、h1……h(huán)n節(jié)點(diǎn)）。SDN控制器負(fù)責(zé)與SDN交換機(jī)進(jìn)行交互，控制交換機(jī)的各種行為，從交換機(jī)處獲取各種網(wǎng)絡(luò)狀態(tài)信息，如LTE網(wǎng)絡(luò)流量信息和DPI節(jié)點(diǎn)負(fù)載信息。SDN交換機(jī)受SDN控制器控制，主要負(fù)責(zé)數(shù)據(jù)包的轉(zhuǎn)發(fā)，包括將LTE網(wǎng)絡(luò)數(shù)據(jù)轉(zhuǎn)發(fā)到各個節(jié)點(diǎn)，以及將各節(jié)點(diǎn)的狀態(tài)信息轉(zhuǎn)發(fā)給SDN控制器。需要說明的是，為了獲取到已經(jīng)轉(zhuǎn)發(fā)給虛擬機(jī)的LTE檢測網(wǎng)卡的數(shù)據(jù)，SDN控制器需要把這個網(wǎng)卡配置為自身的其中一個網(wǎng)絡(luò)接口，并且清除該網(wǎng)卡原本的配置。圖中的h0、h1和hn代表的是若干個主機(jī)節(jié)點(diǎn)，它們承載著DPI應(yīng)用，由圖中的dpi0、dpi1和dpin表示。這些主機(jī)節(jié)點(diǎn)都通過唯一的端口與SDN交換機(jī)連接，由圖中的h0-eth0、h1-eth1和hn-ethn表示。而交換機(jī)被主機(jī)節(jié)點(diǎn)連接的端口則由圖中的s0-eth0、s0-eth1和s0-ethn表示。圖中箭頭表示數(shù)據(jù)流向：s0從LTE檢測網(wǎng)卡處獲得LTE網(wǎng)絡(luò)被檢測數(shù)據(jù)，根據(jù)與c0控制器交互的結(jié)果，決定把這些數(shù)據(jù)分發(fā)到哪個個DPI節(jié)點(diǎn)。圖SEQ圖\*ARABIC10SDN網(wǎng)絡(luò)層功能模塊圖SDN網(wǎng)絡(luò)層的功能模塊如REF_Ref27241\h圖10所示。SDN網(wǎng)絡(luò)層一共包含三個主要模塊：軟件SDN交換機(jī)模塊，SDN交換機(jī)網(wǎng)絡(luò)模塊和SDN控制器模塊，三個模塊在SDN網(wǎng)絡(luò)運(yùn)行過程中承擔(dān)著不同的作用。軟件SDN交換機(jī)模塊。該模塊主要包括兩個功能：主進(jìn)程狀態(tài)管理和交換機(jī)信息查詢。主進(jìn)程狀態(tài)管理功能的作用是，控制SDN交換機(jī)的啟動和停止，在系統(tǒng)啟動后SDN交換機(jī)先啟動，后續(xù)其他模塊才能正確運(yùn)行；在系統(tǒng)停止運(yùn)行后，該功能會停止軟件SDN交換機(jī)，殺死子進(jìn)程。交換機(jī)信息查詢功能，主要作用于系統(tǒng)運(yùn)行的過程，提供SDN交換機(jī)狀態(tài)、配置信息、流表項(xiàng)查詢等功能。SDN交換機(jī)網(wǎng)絡(luò)模塊。該模塊主要用于配置SDN交換機(jī)網(wǎng)絡(luò)，并提供命令行式的SDN網(wǎng)絡(luò)交互界面。模塊中包含4個主要功能：配置信息管理、拓?fù)渖伞⒂布涌跈z測與接入、網(wǎng)絡(luò)節(jié)點(diǎn)配置。按照SDN交換機(jī)網(wǎng)絡(luò)配置流程，首先會使用拓?fù)渖晒δ?，讀取配置信息中的拓?fù)浣Y(jié)構(gòu)，生成并連接SDN網(wǎng)絡(luò)中的各個節(jié)點(diǎn)；然后會使用硬件接口檢測與接入功能，讀取配置信息中關(guān)于LTE檢測網(wǎng)卡的信息，檢查該網(wǎng)卡的狀態(tài)是否可用并接入到SDN交換機(jī)中；最后會使用網(wǎng)絡(luò)節(jié)點(diǎn)配置功能，同樣要讀取配置信息中關(guān)于外部網(wǎng)絡(luò)的配置信息，并按照這個信息來設(shè)置SDN網(wǎng)絡(luò)中節(jié)點(diǎn)的網(wǎng)絡(luò)接口，使得可以與外網(wǎng)連通。在SDN網(wǎng)絡(luò)配置的整個過程中，都會調(diào)用到和配置信息管理功能。SDN控制器模塊。該模塊主要負(fù)責(zé)在SDN網(wǎng)絡(luò)運(yùn)行時，對網(wǎng)絡(luò)進(jìn)行控制，收集需要的信息，下發(fā)流表項(xiàng)控制交換機(jī)行為，以及為上層提供接口。該模塊主要包含4個功能：網(wǎng)絡(luò)狀態(tài)管理、交換機(jī)事件處理、流表項(xiàng)生成和流表項(xiàng)下發(fā)。網(wǎng)絡(luò)狀態(tài)管理功能會存儲從交換機(jī)收集到的網(wǎng)絡(luò)狀態(tài)信息，包括交換機(jī)自身的信息以及各個DPI節(jié)點(diǎn)上報(bào)的信息。交換機(jī)事件處理功能，主要負(fù)責(zé)管理與交換機(jī)通信過程中的事件，例如最常見的觸發(fā)pack-in事件時，就會由該功能來處理。流表項(xiàng)生成和流表項(xiàng)下發(fā)，主要負(fù)責(zé)將上層應(yīng)用通過接口所給出的指令，翻譯成流表項(xiàng)的形式，并下發(fā)給交換機(jī)。表SEQ表\*ARABIC1SDN網(wǎng)絡(luò)層向上接口接口類別接口功能網(wǎng)絡(luò)狀態(tài)讀取SDN交換機(jī)流表項(xiàng)獲取DPI節(jié)點(diǎn)信息獲取網(wǎng)絡(luò)端口獲取流量統(tǒng)計(jì)數(shù)據(jù)獲取網(wǎng)絡(luò)狀態(tài)配置直接修改交換機(jī)流表項(xiàng)間接配置交換機(jī)行為SDN網(wǎng)絡(luò)層向上層的接口如REF_Ref25263\h表1所示。SDN網(wǎng)絡(luò)層通過制定接口，為更上層的應(yīng)用層提供服務(wù)。接口類別主要有兩大類：網(wǎng)絡(luò)狀態(tài)讀取以及網(wǎng)絡(luò)狀態(tài)配置。網(wǎng)絡(luò)狀態(tài)讀取主要提供四項(xiàng)功能：SDN交換機(jī)流表獲取、DPI節(jié)點(diǎn)信息獲取、網(wǎng)絡(luò)端口獲取以及流量統(tǒng)計(jì)數(shù)據(jù)獲取。其中SDN交換機(jī)流表獲取和網(wǎng)絡(luò)端口獲取功能，提供的都是交換機(jī)本身的信息。DPI節(jié)點(diǎn)獲取的是SDN網(wǎng)絡(luò)的信息，而流量統(tǒng)計(jì)數(shù)據(jù)獲取指的是在轉(zhuǎn)發(fā)LTE網(wǎng)絡(luò)數(shù)據(jù)的過程中，SDN控制器所做的一些統(tǒng)計(jì)，以方便后續(xù)負(fù)載均衡算法的使用。網(wǎng)絡(luò)狀態(tài)配置主要提供四項(xiàng)功能：直接和間接的方式修改流表項(xiàng)。直接修改流表項(xiàng)是較為根本的方式，相當(dāng)于在SDN控制器封裝一層后直接讓應(yīng)用層的程序決定流表項(xiàng)的各個參數(shù)。而間接方式對流表項(xiàng)進(jìn)行修改，主要是與負(fù)載均衡算法有關(guān)的流表項(xiàng)修改，以更為抽象的方式，屏蔽了一些底層實(shí)現(xiàn)，簡化了不必要的參數(shù)。1.3.3控制器應(yīng)用層設(shè)計(jì)控制器應(yīng)用層包含了DPI應(yīng)用和負(fù)載均衡應(yīng)用。應(yīng)用層的主要目的是對接收到的LTE數(shù)據(jù)進(jìn)行統(tǒng)計(jì)、分析，并保證各DPI節(jié)點(diǎn)負(fù)載均處于相對均勻狀態(tài)?？刂破鲬?yīng)用層的功能模塊圖如REF_Ref6711\h圖11所示。圖SEQ圖\*ARABIC11控制器應(yīng)用層功能模塊圖DPI應(yīng)用。該應(yīng)用主要負(fù)責(zé)對從SDN網(wǎng)絡(luò)轉(zhuǎn)發(fā)過來的LTE網(wǎng)絡(luò)流量進(jìn)行深度包檢測，并統(tǒng)計(jì)相關(guān)指標(biāo)數(shù)據(jù)。應(yīng)用中的功能模塊有兩個：流量數(shù)據(jù)獲取模塊和流量數(shù)據(jù)統(tǒng)計(jì)模塊。流量數(shù)據(jù)獲取模塊中有三個功能：網(wǎng)絡(luò)配置獲取、DPI配置和DPI管理，三個功能協(xié)同進(jìn)行流量數(shù)據(jù)獲取。首先通過網(wǎng)絡(luò)配置獲取功能，從SDN控制層獲取網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)、配置信息等數(shù)據(jù)；然后通過這些數(shù)據(jù)，調(diào)用DPI配置功能，為DPI程序啟動做準(zhǔn)備；最后是DPI管理功能，主要負(fù)責(zé)總體協(xié)調(diào)三個功能，控制DPI程序的狀態(tài)，如運(yùn)行與停止。流量數(shù)據(jù)統(tǒng)計(jì)模塊中有三個功能：IP數(shù)據(jù)統(tǒng)計(jì)、URL數(shù)據(jù)統(tǒng)計(jì)以及數(shù)據(jù)可視化。IP數(shù)據(jù)統(tǒng)計(jì)既是DPI的統(tǒng)計(jì)指標(biāo)，也是負(fù)載均衡算法所需要的用到的數(shù)據(jù)；URL數(shù)據(jù)統(tǒng)計(jì)主要是DPI的指標(biāo)；而數(shù)據(jù)可視化功能主要是將統(tǒng)計(jì)數(shù)據(jù)以網(wǎng)頁圖表的方式顯示出來，便于使用者分析和觀看。負(fù)載均衡應(yīng)用。該應(yīng)用主要負(fù)責(zé)對各DPI節(jié)點(diǎn)的負(fù)載進(jìn)行調(diào)整，需要用到SDN網(wǎng)絡(luò)層提供的網(wǎng)絡(luò)配置信息，以及DPI應(yīng)用獲取到的流量信息。該應(yīng)用中主要包含兩個模塊：統(tǒng)計(jì)分析模塊和負(fù)載更新模塊。統(tǒng)計(jì)分析模塊一方面獲取DPI節(jié)點(diǎn)的負(fù)載狀態(tài)，另一方面對DPI應(yīng)用統(tǒng)計(jì)出來的流量數(shù)據(jù)進(jìn)行分析，最后將流量數(shù)據(jù)分析結(jié)果和節(jié)點(diǎn)負(fù)載狀態(tài)提供給負(fù)載更新模塊。負(fù)載更新模塊從統(tǒng)計(jì)分析模塊中獲取到算法所需的各項(xiàng)數(shù)據(jù)以后，運(yùn)行負(fù)載調(diào)整算法，得出新的負(fù)載配置，然后通過負(fù)載配置更新功能，把新的配置下發(fā)給SDN控制層，由SDN控制層修改SDN交換機(jī)的狀態(tài)，達(dá)到負(fù)載均衡目的?？刂破鲬?yīng)用層的數(shù)據(jù)流向。該層的輸入數(shù)據(jù)有兩類：來自SDN網(wǎng)絡(luò)轉(zhuǎn)發(fā)的LTE網(wǎng)絡(luò)流量，以及SDN控制層提供的網(wǎng)絡(luò)配置信息。配置信息為DPI應(yīng)用的部署提供具體參數(shù)，而LTE網(wǎng)絡(luò)流量則是DPI應(yīng)用分析的主體。DPI應(yīng)用運(yùn)行時統(tǒng)計(jì)的數(shù)據(jù)會和網(wǎng)絡(luò)配置信息一起交給負(fù)載均衡應(yīng)用，經(jīng)過統(tǒng)計(jì)分析模塊的加工，變成可以供負(fù)載更新模塊處理的數(shù)據(jù)，并且由負(fù)載更新模塊最后產(chǎn)生新的配置，下發(fā)給SDN控制器層，完成整個DPI與負(fù)載均衡過程。1.4LTE與SDN混合架構(gòu)網(wǎng)絡(luò)設(shè)計(jì)LTE網(wǎng)絡(luò)是產(chǎn)生被檢測流量數(shù)據(jù)的來源，而進(jìn)行檢測的DPI節(jié)點(diǎn)處于SDN網(wǎng)絡(luò)，要使得系統(tǒng)能正確運(yùn)行，需要將兩者結(jié)合起來，設(shè)計(jì)一種LTE-SDN混合的網(wǎng)絡(luò)架構(gòu)。本節(jié)將從LTE網(wǎng)絡(luò)簡要說明和LTE網(wǎng)絡(luò)與SDN網(wǎng)絡(luò)結(jié)合的方式這兩個方面，來描述的LTE-SDN混合網(wǎng)絡(luò)架構(gòu)。1.4.1LTE網(wǎng)絡(luò)架構(gòu)圖SEQ圖\*ARABIC12LTE網(wǎng)絡(luò)拓?fù)鋱DLTE網(wǎng)絡(luò)拓?fù)鋱D如REF_Ref2330\h圖12所示。LTE網(wǎng)絡(luò)邏輯層面的拓?fù)浣Y(jié)構(gòu)有3GPP相關(guān)標(biāo)準(zhǔn)來制定，這里僅描述與本設(shè)計(jì)相關(guān)部分的拓?fù)浣Y(jié)構(gòu)。移動終端UE要連接到互聯(lián)網(wǎng)，首先需要與基站eNB建立連接。建立連接的過程中，由移動管理實(shí)體MME管控建立的過程，eNB與MME通過S1接口進(jìn)行通信。終端要入網(wǎng)，除了需要經(jīng)過eNB的承載和MME的控制之外，還需要用歸屬簽約服務(wù)器HSS中有UE的信息，且準(zhǔn)許UE入網(wǎng)。MME與HSS通信的接口是S6接口。當(dāng)HSS中的信息準(zhǔn)許UE入網(wǎng)后，MME會與服務(wù)網(wǎng)關(guān)S-GW通信，讓S-GW作為UE的入網(wǎng)網(wǎng)關(guān)，兩者通信的接口是S11接口。S-GW、MME、HSS這些節(jié)點(diǎn)都屬于LTE核心網(wǎng)的部分，而P-GW則作為核心網(wǎng)的出口網(wǎng)關(guān)，承載UE終端數(shù)據(jù)包與外界的通信，P-GW與外網(wǎng)的通信接口是SGi接口。對終端上網(wǎng)的數(shù)據(jù)包進(jìn)行深度包檢測的網(wǎng)絡(luò)節(jié)點(diǎn)，往往部署在核心網(wǎng)出口的SGi接口上，而不會部署在核心網(wǎng)內(nèi)部。深度包檢測部署在SGi接口，是因?yàn)楹诵木W(wǎng)內(nèi)部通信中包含有大量的LTE功能節(jié)點(diǎn)通信信令，從中篩選出用戶數(shù)據(jù)包需要較多的額外計(jì)算資源。SGi接口則是純粹的TCP/IP接口，而且基本只含有用戶的數(shù)據(jù)包，便于進(jìn)行深度包監(jiān)測。從上面的分析中可以看出，DPI節(jié)點(diǎn)部署在SDN網(wǎng)絡(luò)，這個SDN網(wǎng)絡(luò)要跟LTE網(wǎng)絡(luò)結(jié)合的話，也應(yīng)當(dāng)是部署在LTE網(wǎng)絡(luò)的SGi接口上。下面開始對LTE-SDN混合的網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)進(jìn)行說明。1.4.2LTE-SDN混合網(wǎng)絡(luò)架構(gòu)與數(shù)據(jù)流圖SEQ圖\*ARABIC13LTE-SDN混合網(wǎng)絡(luò)架構(gòu)LTE-SDN網(wǎng)絡(luò)架構(gòu)拓?fù)?。LTE-SDN混合網(wǎng)絡(luò)架構(gòu)整體拓?fù)淙鏡EF_Ref9090\h圖13所示。該架構(gòu)的主要設(shè)計(jì)理念，就是把部署了DPI節(jié)點(diǎn)的SDN網(wǎng)絡(luò)，放在LTE與互聯(lián)網(wǎng)連接的SGi接口上。LTE網(wǎng)絡(luò)的架構(gòu)基本按照3GPP標(biāo)準(zhǔn)不變，而承載DPI功能的SDN網(wǎng)絡(luò)架構(gòu)在1.3.2節(jié)中也說明過了，這里需要補(bǔ)充說明的圖中的中轉(zhuǎn)鏡像交換機(jī)。該交換機(jī)的功能有兩個：轉(zhuǎn)發(fā)來自LTE終端的數(shù)據(jù)包和將這些數(shù)據(jù)包鏡像發(fā)送到SDN網(wǎng)絡(luò)，供DPI節(jié)點(diǎn)檢測，因此稱為中轉(zhuǎn)鏡像交換機(jī)。從整體架構(gòu)上看，這臺交換機(jī)的硬件部分由REF_Ref23283\h圖7中的“多網(wǎng)卡計(jì)算機(jī)”所承擔(dān)，軟件部分則通過REF_Ref23283\h圖7的宿主機(jī)系統(tǒng)層和虛擬機(jī)系統(tǒng)層來實(shí)現(xiàn)。LTE-SDN網(wǎng)絡(luò)架構(gòu)數(shù)據(jù)流。從UE終端發(fā)出的數(shù)據(jù)流，如果是負(fù)責(zé)與LTE網(wǎng)絡(luò)接入的網(wǎng)絡(luò)信令，那么這些數(shù)據(jù)不會離開LTE網(wǎng)絡(luò)。如果是用戶自身的應(yīng)用數(shù)據(jù)，那么首先會通過無線傳輸?shù)姆绞桨l(fā)送到eNB基站，然后eNB會轉(zhuǎn)發(fā)給S-GW，到達(dá)UE的服務(wù)網(wǎng)關(guān)。S-GW再轉(zhuǎn)發(fā)給P-GW，然后P-GW通過SGi接口向外網(wǎng)發(fā)送。在發(fā)送的途中經(jīng)過中轉(zhuǎn)鏡像交換機(jī)時，該交換機(jī)在轉(zhuǎn)發(fā)數(shù)據(jù)包的同時，鏡像數(shù)據(jù)包到SDN交換機(jī)。SDN交換機(jī)根據(jù)SDN控制器下發(fā)的流表配置，轉(zhuǎn)發(fā)到具體的DPI節(jié)點(diǎn)，進(jìn)行檢測。1.5實(shí)時動態(tài)的負(fù)載均衡算法設(shè)計(jì)LTE流量數(shù)據(jù)在DPI節(jié)點(diǎn)進(jìn)行檢測，會對節(jié)點(diǎn)產(chǎn)生負(fù)載，負(fù)載隨時間變化，與具體的用戶有關(guān)。同時，網(wǎng)絡(luò)帶寬限制也會影響節(jié)點(diǎn)的負(fù)載能力。因此，本節(jié)將設(shè)計(jì)一個實(shí)時動態(tài)的負(fù)載均衡算法，綜合考慮時間、用戶和網(wǎng)絡(luò)帶寬因素，對各個節(jié)點(diǎn)的負(fù)載進(jìn)行平衡。本章的論述將包含以下兩個方面：節(jié)點(diǎn)負(fù)載模型和負(fù)載均衡過程。1.5.1節(jié)點(diǎn)負(fù)載模型節(jié)點(diǎn)負(fù)載均衡模型包括四部分：網(wǎng)絡(luò)結(jié)構(gòu)、理想負(fù)載、實(shí)際負(fù)載和逼近原則。主要思想就是依據(jù)當(dāng)前的網(wǎng)絡(luò)結(jié)構(gòu)，計(jì)算出各節(jié)點(diǎn)的理想負(fù)載，然后測量出當(dāng)前的實(shí)際負(fù)載，最后遵循逼近原則來使實(shí)際負(fù)載接近理想負(fù)載。網(wǎng)絡(luò)結(jié)構(gòu)。主要包含兩部分：網(wǎng)絡(luò)節(jié)點(diǎn)和帶寬狀態(tài)。對于有n個DPI節(jié)點(diǎn)的網(wǎng)絡(luò)，檢測節(jié)點(diǎn)的集合為：H={考慮到實(shí)際情況，每個節(jié)點(diǎn)所可以使用的帶寬有所不同，可用帶寬集合B為：B={總的帶寬為b，則n個DPI節(jié)點(diǎn)的帶寬可以表示為：b=理想負(fù)載。理想負(fù)載考慮的是節(jié)點(diǎn)的計(jì)算能力相當(dāng)，受限制的瓶頸主要是節(jié)點(diǎn)所擁有的帶寬，那么按理想狀態(tài)下，對于每個節(jié)點(diǎn)i，其負(fù)載lil實(shí)際負(fù)載。在實(shí)現(xiàn)中，往往并不能按照理想負(fù)載的條件去分配流量，因?yàn)槿绻耆凑绽硐胴?fù)載加權(quán)隨機(jī)的方式去分配流量到每個DPI節(jié)點(diǎn)，可能會出現(xiàn)把屬于同一個流的數(shù)據(jù)包分配到不同節(jié)點(diǎn)，嚴(yán)重影響DPI的結(jié)果。因此，至少需要把同一個流的數(shù)據(jù)都分配給同一個DPI節(jié)點(diǎn)。而每個流的持續(xù)時間不同，即便是某個時刻剛好按照理想情況分配負(fù)載，過了一段時間之后可能又會離開理想負(fù)載狀態(tài)。因此需要對實(shí)際的負(fù)載進(jìn)行測量