混合無線網(wǎng)絡負載均衡系統(tǒng)實現(xiàn)案例概述目錄TOC\o"1-3"\h\u27266混合無線網(wǎng)絡負載均衡系統(tǒng)實現(xiàn)案例概述 1313561.1引言 1284151.2系統(tǒng)所用平臺工具 162871.2.1開源空中接口 1269501.3LTE-SDN混合的DPI節(jié)點負載均衡網(wǎng)絡實現(xiàn) 399521.3.1基于OAI的LTE網(wǎng)絡實現(xiàn) 3222731.3.2基于SDN的DPI節(jié)點負載均衡網(wǎng)絡實現(xiàn) 5254071.4實時動態(tài)的負載均衡算法實現(xiàn) 111.1引言本章將描述混合無線網(wǎng)絡負載均衡系統(tǒng)各部分的實現(xiàn)，首先介紹系統(tǒng)實現(xiàn)所需要的平臺與工具，然后說明LTE-SDN混合的DPI節(jié)點負載均衡網(wǎng)絡的實現(xiàn)方式，最后詳細介紹實時動態(tài)負載均衡算法的實現(xiàn)過程。1.2系統(tǒng)所用平臺工具1.2.1開源空中接口OAI是由法國的歐洲電信學院（EURECOM）發(fā)起并維護的開源項目，項目的目的是通過使用SDR設備和通用Intelx86架構(gòu)的Linux計算機，對3GPPRelease10標準的LTE網(wǎng)絡進行實現(xiàn)。該項目具有良好的兼容性、仿真性以及低廉的實現(xiàn)成本。該項目所構(gòu)建的LTE接入網(wǎng)與LTE核心網(wǎng)，不僅可以自身形成一套完整的LTE網(wǎng)絡系統(tǒng)，還可以兼容商用的LTE核心網(wǎng)或者接入網(wǎng)。另外該項目所需的SDR硬件價格也較為低廉，可以方便地在高校實驗環(huán)境中搭建一套LTE網(wǎng)絡系統(tǒng)，有利于開展各項相關(guān)技術(shù)研究。OAI項目包含兩個主要部分：作為接入網(wǎng)的OpenAirInterface5g和作為核心網(wǎng)的OpenAir-CN。作為接入網(wǎng)的OpenAirInterface5g除了包含實現(xiàn)接入網(wǎng)功能的代碼外，還需要一個SDR設備，OAI官方支持的SDR設備列表中包含EttusResearch公司生產(chǎn)的USRP系列產(chǎn)品USRP-B210和USRP-X310、nuand公司生產(chǎn)的BladeRF產(chǎn)品等。而OpenAir-CN核心網(wǎng)需要的硬件則是一臺Intelx86架構(gòu)的計算機，需要的CPU型號為三代及以上的標準電壓酷睿i5/i7處理器，或者2代及以上的至強系列處理器。另外作為測試用的終端，還需要能讀寫數(shù)據(jù)的SIM卡一張，以及能裝載SIM卡的4G手機或者4G調(diào)制解調(diào)器。1.2.2軟件SDN網(wǎng)絡：mininet、ovs和ryu本研究中構(gòu)建的SDN網(wǎng)絡是軟件SDN網(wǎng)絡，由軟件模擬的終端節(jié)點和拓撲結(jié)構(gòu)、軟件SDN交換機，以及SDN控制器組成。其中，模擬網(wǎng)絡拓撲結(jié)構(gòu)和終端的軟件為mininet，軟件SDN交換機為開源虛擬交換機（OpenvSwitch,OVS），SDN控制器為RYU開源SDN控制器。Mininet網(wǎng)絡模擬軟件。Mininet是一個運行在普通計算機上的虛擬網(wǎng)絡軟件，以較為高效的內(nèi)核態(tài)運行，可以與實際的物理設備相連接。Mininet提供了命令行交互方式和可供調(diào)用的Python函數(shù)庫，使用者既可以使用命令行快速地創(chuàng)建虛擬網(wǎng)絡，也可以調(diào)用函數(shù)庫按照自身需求實現(xiàn)較為復雜的模擬網(wǎng)絡。Mininet還有一個重要的特點是對SDN網(wǎng)絡支持程度很高，支持Openflow架構(gòu)和P4架構(gòu)的SDN網(wǎng)絡，便于SDN相關(guān)實驗環(huán)境的搭建和驗證。OVS軟件SDN交換機。OVS是一個高質(zhì)量、多層的虛擬交換機，它的目的是通過編程擴展支持大規(guī)模網(wǎng)絡自動化，同時支持標準的管理接口和協(xié)議。這些支持的協(xié)議里面，就包含OpenFlow協(xié)議。使用OVS發(fā)揮SDN交換機的作用時，既可以作為軟件交換機部署在虛擬網(wǎng)絡中，也可以部署到物理硬件上作為SDN交換機的控制層。作為軟件SDN交換機，相較于物理交換機，成本更低，工作效率也比較高，而且占用的系統(tǒng)資源也不多，具有良好的性能。RYU開源SDN控制器。RYU是一款基于組件定義的SDN控制器，使用Python語言編寫，其前身是POX控制器。相比起POX控制器，RYU控制器支持的協(xié)議更多，包括不同版本的OpenFlow協(xié)議、BGP協(xié)議和OSPF協(xié)議等。RYU控制器比起其他更富在的控制器，例如OpenDaylight，還具有代碼簡潔優(yōu)美、開發(fā)難度較小、開發(fā)效率較高的優(yōu)勢。1.2.3開源DPI程序ntopng本研究中使用了開源的DPI程序ntopng來對LTE網(wǎng)絡數(shù)據(jù)進行深度包檢測。ntopng是一個基于Web的深度包檢測與流量分析工具，是ntop的最新一代版本，發(fā)展自開源的DPI代碼庫OpenDPI。其在OpenDPI的基礎(chǔ)上新增了許多功能，并優(yōu)化了一些功能的實現(xiàn)方式，提高了深度包監(jiān)測的效率，增加了配置的靈活性。1.3LTE-SDN混合的DPI節(jié)點負載均衡網(wǎng)絡實現(xiàn)1.3.1基于OAI的LTE網(wǎng)絡實現(xiàn)本節(jié)將描述使用OAI實現(xiàn)LTE網(wǎng)絡的方案，從軟硬件環(huán)境配置、LTE組網(wǎng)拓撲和LTE參數(shù)設置三個方面展開說明。首先是軟硬件參數(shù)配置的說明，本實現(xiàn)方案使用的軟硬件環(huán)境如下REF_Ref17710\h表2所示。表SEQ表\*ARABIC2軟硬件參數(shù)配置表環(huán)境類型環(huán)境內(nèi)容環(huán)境參數(shù)硬件計算機ThinkpadT430CPUi73630QMSDR硬件USRPB210軟件操作系統(tǒng)Ubuntu18.04SDR驅(qū)動程序UHD1.0.0openair-cncommitedb74831dabf79686eb5a92fbf8fc06e6b267d35openairinterfacecommit724542d0b59797b010af8c5df15af7f669c1e838opencell-modsversion.20190923MySQLversion.11.14本實現(xiàn)方案使用的硬件配置為一臺ThinkpadT430計算機，內(nèi)含i73630QM四核八線程處理器，SDR硬件使用的型號為USRPB210。ThinkpadT430計算機默認的CPU配置為i53320M雙核四線程處理器，而對于openairinterface要求的三代以上標準電壓i5/i7處理器來說，性能不足，因為i53320M是筆記本的低電壓處理器，因此將CPU換成了i73630QM處理器以達到系統(tǒng)運行的最低標準。本實現(xiàn)方案使用的軟件配置包括五個方面：操作系統(tǒng)、SDR驅(qū)動程序、openair-cn、openairinterface和opencell-mods。操作系統(tǒng)選用的是Ubuntu18.04系統(tǒng)，SDR驅(qū)動程序版本號為UHD1.0.0，openair-cn和openairinterface分別選用了最新的版本。需要說明的是，本實現(xiàn)方案中還使用了opencell-mods作為OAI的補丁。因為OAI默認的接入網(wǎng)和核心網(wǎng)是在兩臺單獨的計算機上實現(xiàn)的，為了使得接入網(wǎng)與核心網(wǎng)能在同一臺機器上實現(xiàn)，采用了opencell-mods的補丁，版本號為20190923。另外OAI中的HSS節(jié)點需要用到MySQL數(shù)據(jù)庫，使用的版本是11.14。本方案的LTE組網(wǎng)拓撲如下REF_Ref21387\h圖17所示。在OAI的實現(xiàn)中，主要包括的網(wǎng)絡節(jié)點為eNB、HSS、MME和SPGW。在LTE的標準實現(xiàn)中，SGW與PGW是分開的，而OAI的實現(xiàn)則把他們何為一個網(wǎng)絡節(jié)點，稱為SPGW。OAI網(wǎng)絡就部署在計算機本地回環(huán)網(wǎng)絡所處的局域網(wǎng)中，HSS就部署在本機127.0.0.1/8的回環(huán)地址上，MME的IP地址為127.0.0.20/8，SPGW的IP地址為127.0.0.30/8，eNB的IP地址為127.0.0.10/8。圖SEQ圖\*ARABIC17LTE網(wǎng)絡實現(xiàn)拓撲圖本方案LTE參數(shù)設置的作用是配置這個網(wǎng)絡的全球唯一MME標識符（GloballyUniqueMMEIdentifier，GUMMEI），讓SIM卡中參數(shù)與GUMMEI相符合的終端可以接入到LTE網(wǎng)絡中。GUMMEI包含的參數(shù)有4個：移動國家碼（MobileCountryCode，MCC）、移動網(wǎng)絡碼（MobileNationCode，MNC）、MME_GID和MME_CODE。其中MCC和MNC都是面向終端的屬性，終端SIM卡的用戶身份數(shù)據(jù)（InternationalMobileSubscriberIdentity，IMSI）中頁包含MCC和MNC，LTE網(wǎng)絡與SIM卡中的這兩個屬性相符合的時候，終端可以入網(wǎng)。本方案中配置的MCC值為208，MNC值為92，這是一個法國的測試用移動網(wǎng)絡，可以避免與現(xiàn)實環(huán)境中的移動網(wǎng)絡產(chǎn)生沖突。1.3.2基于SDN的DPI節(jié)點負載均衡網(wǎng)絡實現(xiàn)本節(jié)將描述基于SDN的DPI節(jié)點負載均衡網(wǎng)絡實現(xiàn)，按照REF_Ref23283\h圖7的系統(tǒng)架構(gòu)分層，自下而上依次介紹操作系統(tǒng)層、SDN網(wǎng)絡層和控制器應用層的實現(xiàn)方式。其中控制器應用層包含兩個應用：DPI應用和負載均衡應用，本節(jié)會將兩個部分單獨說明。操作系統(tǒng)層包含兩個模塊：虛擬機網(wǎng)絡接口配置模塊和SDN網(wǎng)絡主控制模塊，首先說明虛擬機網(wǎng)絡接口配置模塊。該模塊首先需要在虛擬機的多個網(wǎng)卡中找到LTE數(shù)據(jù)檢測網(wǎng)卡，即橋接在宿主直接連接LTE網(wǎng)絡的那塊網(wǎng)卡。宿主機連接LTE網(wǎng)絡的網(wǎng)卡IP地址是已知的，而虛擬機的網(wǎng)卡的IP地址是虛擬機創(chuàng)建的時候自動分配的?？梢酝ㄟ^檢查是否在同一網(wǎng)段的方式，找出LTE數(shù)據(jù)檢測網(wǎng)卡。如果找到了，那么記錄下網(wǎng)卡的名稱、IP地址等信息，然后清除該網(wǎng)卡的配置，為后續(xù)SDN網(wǎng)絡使用做準備；如果沒找到，則說明虛擬機配置有誤，記錄錯誤信息并退出程序。虛擬機網(wǎng)絡接口配置模塊的實現(xiàn)流程如REF_Ref8995\h圖18上半部分所示：圖SEQ圖\*ARABIC18操作系統(tǒng)層流程圖SDN網(wǎng)絡主控制模塊流程如REF_Ref8995\h圖18下半部分所示。SDN網(wǎng)絡主控制模塊，運行時間貫穿系統(tǒng)的整個生命周期。在系統(tǒng)啟動初期，SDN網(wǎng)絡主控制模塊首先啟動OVS數(shù)據(jù)庫和OVS控制程序，然后再啟動Mininet虛擬網(wǎng)絡和RYU控制器。OVS的啟動時間必須在兩者之前，而Mininet虛擬網(wǎng)絡和RYU控制器的啟動順序則無先后要求。這三個模塊是SDN網(wǎng)絡的主要組成部分，都啟動后SDN網(wǎng)絡就會開始運行。然后啟動日志記錄模塊，記錄SDN網(wǎng)絡運行期間的信息，并且進入循環(huán)等待的模式，等待Mininet進程的停止。本模塊的實現(xiàn)中，以Mininet的停止作為系統(tǒng)停止運行的標志，因為Mininet具有一個命令行交互界面，對網(wǎng)絡的各類操控一般都是通過Minninet進行，而OVS與RYU都是后臺運行的，一般不會被手動停止。如果發(fā)現(xiàn)Mininet進程停止運行了，說明系統(tǒng)運行結(jié)束，那么把RYU和OVS進程也停止運行。對于系統(tǒng)運行期間由日志記錄模塊記錄的信息，在程序結(jié)束前要保存下來，寫入到日志文件中。這些步驟都完成以后，程序退出。SDN網(wǎng)絡層包含三個模塊：SDN交換機網(wǎng)絡模塊、軟件SDN交換機模塊和SDN控制器模塊。其中軟件SDN交換機模塊實現(xiàn)較為簡單，負責啟動和停止軟件SDN交換機，在收到查詢是反饋SDN交換機的狀態(tài)。因此著重說明另外兩個模塊的實現(xiàn)方式。SDN交換機網(wǎng)絡模塊。該模塊主要負責按照網(wǎng)絡配置，生成SDN交換機網(wǎng)絡并對其進行配置，以及啟動命令行界面供用戶交互。模塊啟動時，先加載網(wǎng)絡配置信息。網(wǎng)絡配置信息包含兩種：網(wǎng)絡拓撲信息和LTE檢測網(wǎng)卡信息。網(wǎng)絡拓撲信息主要是寫好在配置文件中的節(jié)點數(shù)量、交換機數(shù)量、網(wǎng)絡連接方式等信息；而LTE檢測網(wǎng)卡的信息由前面操作系統(tǒng)層的模塊獲得，包含了LTE檢測網(wǎng)卡的名稱，宿主機分配給LTE檢測網(wǎng)卡的IP地址和網(wǎng)段等。獲得了網(wǎng)絡配置信息后，該模塊生成網(wǎng)絡節(jié)點、按照網(wǎng)絡配置信息去連接，并設置SDN控制器。在網(wǎng)絡初步配置完成后，還需要將LTE檢測網(wǎng)卡放進SDN網(wǎng)絡中，才能使SDN網(wǎng)絡收到LTE檢測網(wǎng)卡的數(shù)據(jù)。如果LTE檢測網(wǎng)卡被其他程序占用，則無法放進SDN網(wǎng)絡，因此需要先檢查LTE數(shù)據(jù)檢測網(wǎng)卡是否空閑。如果處于空閑狀態(tài)，則按照網(wǎng)絡配置信息，將SDN網(wǎng)絡的各個結(jié)點設置在與LTE監(jiān)測網(wǎng)卡原本IP地址的同一個網(wǎng)段，這樣才能使SDN網(wǎng)絡的節(jié)點與外部互聯(lián)互通。設置完成后，啟動SDN網(wǎng)絡，啟動命令行交互界面，然后等待命令行交互界面退出作為系統(tǒng)運行結(jié)束的標志。SDN網(wǎng)絡交換機模塊的流程圖如REF_Ref6413\h圖19所示。圖SEQ圖\*ARABIC19SDN交換機網(wǎng)絡模塊流程圖SDN控制器模塊是SDN層的關(guān)鍵模塊，承擔下層SDN網(wǎng)絡與上層應用的信息交互功能。模塊啟動后，首先與SDN交換機建立連接，然后進入事件等待狀態(tài)。分別有兩個事件觸發(fā)器，一個是接收到交換機Packet-in消息的觸發(fā)器，另一個是接收到上層應用信息的觸發(fā)器。接收到交換機packet-in消息時，如果是網(wǎng)絡狀態(tài)有更新的packet-in消息，則更新網(wǎng)絡狀態(tài)模塊；如果是發(fā)現(xiàn)了新的流，那么要向應用層的負載均衡模塊進行反饋，因為關(guān)系到負載均衡算法的執(zhí)行，否則就按照基本的交換機方式進行處理。接收到上層應用信息時，對信息的類別進行判斷。如果是要求更新交換機流表項，則按照要求想交換機發(fā)送流表項更新指令；如果是要求獲取網(wǎng)絡狀態(tài)，則讀取網(wǎng)絡狀態(tài)中的信息并反饋。SDN控制器模塊執(zhí)行流程如REF_Ref12859\h圖20所示。圖SEQ圖\*ARABIC20SDN控制器模塊流程圖控制器應用層的DPI應用。該模塊負責對接收到的LTE網(wǎng)絡流量進行深度包檢測，統(tǒng)計數(shù)據(jù)，并作可視化展示。該模塊啟動時首先會從下層的SDN控制器中獲取SDN網(wǎng)絡配置，以決定要檢測的端。然后根據(jù)這些信息，生成DPI應用的配置文件，并啟動DPI應用。啟動后，模塊主要有兩個進程在活動。一個是數(shù)據(jù)捕獲與分析的進程，在接收到數(shù)據(jù)包時會解包分析IP地址和URL等數(shù)據(jù)，然后將結(jié)果保存起來。另一個是統(tǒng)計與展示的進程，對數(shù)據(jù)捕獲和分析的結(jié)果進行統(tǒng)計，生成可視化統(tǒng)計圖，并定時刷新可視化展示頁面。DPI應用的運行過程如下REF_Ref530\h圖21所示。圖SEQ圖\*ARABIC21DPI應用流程圖圖SEQ圖\*ARABIC22負載均衡應用流程圖控制器應用層的負載均衡應用的執(zhí)行流程如上REF_Ref3810\h圖22所示。該模塊在系統(tǒng)運行過程中，保持循環(huán)執(zhí)行，不斷對各節(jié)點的負載進行調(diào)整。循環(huán)的過程中，首先獲取個節(jié)點流的統(tǒng)計數(shù)據(jù)，然后通過計算判斷各節(jié)點當前的負載狀態(tài)，接著由負載調(diào)整算法決定有沒有節(jié)點、哪些節(jié)點的負載需要調(diào)整。如果有節(jié)點的負載需要調(diào)整，則通過控制器向SDN交換機下發(fā)流表修改指令，否則不作改動。1.4實時動態(tài)的負載均衡算法實現(xiàn)本節(jié)將