第36章某移動(dòng)公司虛擬化遷移后應(yīng)用緩慢分析案例36.1故障描述 36.2分析過(guò)程36.3總結(jié)

某省移動(dòng)公司的業(yè)務(wù)管理系統(tǒng)目前已遷移到Citrix虛擬化平臺(tái)，但個(gè)別業(yè)務(wù)應(yīng)用在遷移之后使用者感覺(jué)非常緩慢，因此需要通過(guò)網(wǎng)絡(luò)回溯分析技術(shù)對(duì)這些業(yè)務(wù)訪(fǎng)問(wèn)緩慢的原因進(jìn)行分析。36.1故障描述用戶(hù)的內(nèi)部信息系統(tǒng)拓?fù)涫疽鈭D如圖36-1所示。其中，Citrix虛擬化平臺(tái)服務(wù)器位于“網(wǎng)管核心業(yè)務(wù)區(qū)”，各業(yè)務(wù)系統(tǒng)維護(hù)人員在“維護(hù)終端區(qū)”通過(guò)Citrix客戶(hù)端連接到虛擬化平臺(tái)，再通過(guò)虛擬化平臺(tái)訪(fǎng)問(wèn)數(shù)據(jù)業(yè)務(wù)區(qū)的應(yīng)用系統(tǒng)服務(wù)器。

圖36-1使用者感覺(jué)緩慢的應(yīng)用主要是某應(yīng)用管理平臺(tái)(具體名稱(chēng)隱去)，其核心服務(wù)器IP為10.16.8.41，虛擬化平臺(tái)IP為10.16.3.112，該應(yīng)用為C/S架構(gòu)。

在“網(wǎng)管核心業(yè)務(wù)區(qū)”核心交換機(jī)旁路部署科來(lái)回溯分析系統(tǒng)(見(jiàn)圖36-1)，鏡像交換機(jī)上聯(lián)端口雙向流量。

通過(guò)科來(lái)回溯分析系統(tǒng)7

×

24小時(shí)采集“網(wǎng)管核心業(yè)務(wù)區(qū)”的流量，針對(duì)出現(xiàn)緩慢的業(yè)務(wù)和發(fā)生訪(fǎng)問(wèn)緩慢時(shí)段的數(shù)據(jù)進(jìn)行重點(diǎn)分析。通過(guò)捕獲Citrix平臺(tái)與管理終端及業(yè)務(wù)服務(wù)器的交易過(guò)程，評(píng)估訪(fǎng)問(wèn)緩慢應(yīng)用交易過(guò)程的網(wǎng)絡(luò)傳輸延時(shí)和應(yīng)用系統(tǒng)應(yīng)答延時(shí)等性能參數(shù)，從而判斷業(yè)務(wù)訪(fǎng)問(wèn)緩慢的根本原因。36.2分析過(guò)程36.2.1鏈路流量狀況分析

首先，通過(guò)科來(lái)回溯分析系統(tǒng)對(duì)“網(wǎng)管核心業(yè)務(wù)區(qū)”出口的鏈路流量狀況進(jìn)行整體評(píng)估，目的是判斷在交換機(jī)上聯(lián)鏈路上是否存在擁塞現(xiàn)象，如圖36-2所示。

通過(guò)圖36-2中展示的上午4小時(shí)流量趨勢(shì)及流量統(tǒng)計(jì)數(shù)據(jù)來(lái)看，“網(wǎng)管核心業(yè)務(wù)區(qū)”出口的流量并不大，峰值流量為37.51Mbps，遠(yuǎn)小于鏈路總帶寬，因此可以排除“網(wǎng)管核心業(yè)務(wù)區(qū)”出口帶寬利用率過(guò)高導(dǎo)致應(yīng)用訪(fǎng)問(wèn)緩慢的可能性。

圖36-236.2.2故障應(yīng)用管理平臺(tái)通信數(shù)據(jù)分析

1.實(shí)測(cè)訪(fǎng)問(wèn)流量趨勢(shì)分析

根據(jù)用戶(hù)中一些相關(guān)技術(shù)人員介紹，故障應(yīng)用管理平臺(tái)從打開(kāi)客戶(hù)端程序到終端顯示初始界面，大約需要1分鐘左右時(shí)間，嚴(yán)重影響使用者感受。我們請(qǐng)用戶(hù)技術(shù)人員實(shí)際訪(fǎng)問(wèn)一次故障應(yīng)用管理平臺(tái)，從終端打開(kāi)Citrix客戶(hù)端程序，到連接到虛擬化平臺(tái)，再到打開(kāi)故障應(yīng)用客戶(hù)端顯示初始界面，全部過(guò)程共用了50多秒。通過(guò)對(duì)Citrix平臺(tái)IP10.230.3.112的流量趨勢(shì)進(jìn)行精細(xì)分析，如圖36-3所示，這一次測(cè)試訪(fǎng)問(wèn)從15時(shí)58分30秒測(cè)試開(kāi)始到初始界面顯示(當(dāng)測(cè)試人員看到初始界面時(shí)，我們從流量趨勢(shì)圖上看到明顯的流量突發(fā))大約持續(xù)50多秒，期間10.230.3.112主要與10.230.3.125(測(cè)試終端)、10.230.3.86(域控制器)和10.161.8.41(業(yè)務(wù)服務(wù)器)等3個(gè)IP通信，其他幾個(gè)IP經(jīng)過(guò)后續(xù)數(shù)據(jù)分析確認(rèn)與本次測(cè)試訪(fǎng)問(wèn)無(wú)關(guān)。整個(gè)訪(fǎng)問(wèn)過(guò)程所產(chǎn)生的流量不到1MB，峰值速率約為4Mbps，而15時(shí)48分45秒至15時(shí)49分22秒這段時(shí)間幾乎沒(méi)有什么流量，因此我們需要對(duì)這段時(shí)間通信量很少的原因進(jìn)行深入分析。

圖36-3

2．通信會(huì)話(huà)深入分析

我們下載了這段時(shí)間IP10.230.3.112的原始數(shù)據(jù)包，利用科來(lái)回溯分析系統(tǒng)“專(zhuān)家分析”模塊的“TCP會(huì)話(huà)重組”功能分析本次測(cè)試訪(fǎng)問(wèn)所觸發(fā)的TCP會(huì)話(huà)流。

在圖36-4中，我們使用了TCP會(huì)話(huà)“開(kāi)始發(fā)包時(shí)間”進(jìn)行會(huì)話(huà)排序，可以看到在15時(shí)58分34秒這一時(shí)刻，測(cè)試終端10.230.3.125向10.230.3.112發(fā)起建立了Citrix會(huì)話(huà)，該會(huì)話(huà)一直持續(xù)到采樣結(jié)束；在Citrix會(huì)話(huà)建立之后，10.230.3.112向域控制器10.230.3.86發(fā)起建立了若干TCP會(huì)話(huà)，從其通信端口和協(xié)議類(lèi)型來(lái)看是域身份驗(yàn)證相關(guān)的會(huì)話(huà)；在15時(shí)58分45秒這一時(shí)刻，10.230.3.112向故障應(yīng)用平臺(tái)服務(wù)器10.161.8.41發(fā)起建立了兩個(gè)TCP會(huì)話(huà)，通信服務(wù)端口為8006，經(jīng)過(guò)核實(shí)這是故障應(yīng)用管理平臺(tái)的服務(wù)端口。

圖36-4

3．域登錄過(guò)程響應(yīng)時(shí)間分析

從會(huì)話(huà)列表中我們可以看出，與域登錄相關(guān)的若干會(huì)話(huà)中，有個(gè)別會(huì)話(huà)持續(xù)時(shí)間比較長(zhǎng)。因此，我們接下來(lái)對(duì)登錄過(guò)程中觸發(fā)的各會(huì)話(huà)進(jìn)行精細(xì)分析。

由于TCP通信過(guò)程中三次握手是由操作系統(tǒng)的TCP進(jìn)程執(zhí)行的，不需要應(yīng)用系統(tǒng)干預(yù)，因此我們可以將三次握手延時(shí)看作客戶(hù)端到服務(wù)端的網(wǎng)絡(luò)響應(yīng)時(shí)間(RTT)。圖36-5中，10.230.3.112與域控制器的445端口的會(huì)話(huà)三次握手延時(shí)為2.97毫秒，網(wǎng)絡(luò)延時(shí)非常小。從后續(xù)應(yīng)用層數(shù)據(jù)交互過(guò)程中我們可以看出，域控制器的服務(wù)端應(yīng)答時(shí)間也非常小(1毫秒左右)。

圖36-5整個(gè)會(huì)話(huà)在開(kāi)始約996毫秒后事務(wù)處理完成，其后有約20秒的空閑時(shí)間，會(huì)話(huà)應(yīng)用層關(guān)閉，如圖36-6所示。

圖36-6從這個(gè)會(huì)話(huà)交互過(guò)程我們可以判斷，該會(huì)話(huà)雖然持續(xù)20多秒時(shí)間，但在1秒之內(nèi)已經(jīng)完成了登錄過(guò)程必須的數(shù)據(jù)交互。

通過(guò)對(duì)其他域登錄所觸發(fā)的會(huì)話(huà)分析我們發(fā)現(xiàn)，這些會(huì)話(huà)均在1秒之內(nèi)完成了有效數(shù)據(jù)交互，可以確定整個(gè)域身份驗(yàn)證過(guò)程從15時(shí)58分34秒開(kāi)始，到15時(shí)58分36秒已經(jīng)驗(yàn)證完成。因此，Citrix平臺(tái)客戶(hù)端登錄的身份驗(yàn)證過(guò)程并不會(huì)直接導(dǎo)致用戶(hù)感覺(jué)緩慢。

4．故障應(yīng)用管理平臺(tái)應(yīng)用會(huì)話(huà)響應(yīng)時(shí)間分析

Citrix虛擬化平臺(tái)與10.161.8.41應(yīng)用服務(wù)器之間建立的兩個(gè)TCP會(huì)話(huà)，三次握手延時(shí)和服務(wù)器應(yīng)用層響應(yīng)時(shí)間也很短，如圖36-7所示。

但是，從會(huì)話(huà)整體延時(shí)統(tǒng)計(jì)中我們可以看出，整個(gè)會(huì)話(huà)的主要時(shí)間占用源自“客戶(hù)端空閑時(shí)間”，如圖36-8所示。

圖36-7

圖36-8“客戶(hù)端空閑時(shí)間”是指客戶(hù)端與服務(wù)端一次應(yīng)用層交互完成后，到下一次發(fā)起應(yīng)用層請(qǐng)求的間隔時(shí)間。在故障應(yīng)用平臺(tái)客戶(hù)端打開(kāi)的過(guò)程中并沒(méi)有額外需要人工干預(yù)的過(guò)程，因此，出現(xiàn)大量“客戶(hù)端空閑時(shí)間”說(shuō)明客戶(hù)端系統(tǒng)(10.230.3.112)或客戶(hù)端程序處理出現(xiàn)問(wèn)題，導(dǎo)致不能及時(shí)向服務(wù)端發(fā)送下一次應(yīng)用層請(qǐng)求。

從會(huì)話(huà)交易時(shí)序圖中我們可以看到，兩個(gè)會(huì)話(huà)均有一次明顯的客戶(hù)端空閑，如圖36-9和圖36-10所示。

圖36-9

圖36-10可以判斷，這些客戶(hù)端空閑是使用者感覺(jué)緩慢的直接原因，很可能是這段時(shí)間客戶(hù)端程序處理過(guò)于緩慢，導(dǎo)致很長(zhǎng)一段時(shí)間沒(méi)有發(fā)送應(yīng)用層請(qǐng)求。

在其他時(shí)段，我們隨機(jī)選擇了一些10.230.3.112與10.161.8.41的TCP會(huì)話(huà)，均發(fā)現(xiàn)了相同的客戶(hù)端空閑，如圖36-11所示。我們還發(fā)現(xiàn)，在較長(zhǎng)的客戶(hù)端空閑后，10.230.3.112發(fā)起的主要是兩個(gè)應(yīng)用層請(qǐng)求：

selectright_id,right_type,module_id,module_name,right_name,right_valuefromtco_role_rightswhererole_id=…andright_type=…

selectuserid,config_class_name,config_version,configfromtap_wf_userRelatedConfigswhereuserid=…andconfig_class_name=…andconfig_version=…

圖36-11至此，我們推斷故障應(yīng)用平臺(tái)的客戶(hù)端程序在發(fā)送上述兩個(gè)查詢(xún)之前的處理過(guò)程過(guò)于緩慢，建議系統(tǒng)研發(fā)人員對(duì)程序處理過(guò)程進(jìn)行深入分析。

5．Citrix平臺(tái)響應(yīng)時(shí)間分析

用戶(hù)終端與Citrix平臺(tái)(10.230.3.112)之間的會(huì)話(huà)，三次握手和應(yīng)用層響應(yīng)時(shí)間也非?？?，如圖36-12所示。

圖36-12在故障應(yīng)用管理平臺(tái)會(huì)話(huà)的客戶(hù)端空閑時(shí)間內(nèi)，10.230.3.112與10.230.3.125之間只有少量的數(shù)據(jù)交互，在15:59:21.336時(shí)刻可以看到10.230.3.112向10.230.3.125發(fā)送了大量大數(shù)據(jù)包，如圖36-13所示。

圖36-13而這一時(shí)刻與10.230.3.112在長(zhǎng)時(shí)間等待后向10.161.8.41發(fā)送新的應(yīng)用層請(qǐng)求的時(shí)間點(diǎn)比較吻合(滯后3毫秒)，這說(shuō)明Citrix平臺(tái)在應(yīng)用軟件處理完成后能夠很快地將處理后的圖像數(shù)據(jù)發(fā)送給用戶(hù)終端。

可以判斷，Citrix平臺(tái)并沒(méi)有對(duì)用戶(hù)訪(fǎng)問(wèn)造成明顯的延時(shí)(以上延時(shí)不包括Citrix客戶(hù)端程序處理圖像數(shù)據(jù)到最終顯示出來(lái)的時(shí)間)。

故障應(yīng)用管理平臺(tái)用戶(hù)感受緩慢的原因與網(wǎng)絡(luò)基礎(chǔ)設(shè)施、Citrix平臺(tái)、10.161.8.41服務(wù)器無(wú)關(guān)，造成緩慢的主要原因是10.23