EAS系統(tǒng)管理員

—EAS性能問(wèn)題診斷基礎(chǔ)講師：黃云志金蝶顧問(wèn)學(xué)院名詞解釋EAS部署模型EAS性能問(wèn)題分類(lèi)EAS性能問(wèn)題診斷與分析總目錄了解性能問(wèn)題主要分類(lèi)掌握性能問(wèn)題處理流程掌握性能問(wèn)題基本診斷方法課程收益全國(guó)金蝶認(rèn)證唯一指定叢書(shū)金蝶顧問(wèn)學(xué)院認(rèn)證產(chǎn)品部組編《金蝶認(rèn)證教材—EAS系統(tǒng)管理員》《金蝶認(rèn)證課件—EAS系統(tǒng)管理員》《金蝶認(rèn)證考綱和考題—EAS系統(tǒng)管理員》課程介紹學(xué)習(xí)EAS性能問(wèn)題的主要分類(lèi)及排除手段；學(xué)習(xí)EAS性能問(wèn)題的日志收集及診斷；時(shí)間：40%專業(yè)知識(shí)+20%產(chǎn)品演示+40%操作練習(xí)；課程介紹JVM

java虛擬機(jī)，java程序運(yùn)行在java虛擬機(jī)中，它能模擬實(shí)際處理器的結(jié)構(gòu)，解釋字節(jié)碼，并且擁有自己的內(nèi)存空間。因?yàn)橛衘vm，所以java可以跨平臺(tái)

GC

java的內(nèi)存是通過(guò)垃圾回收機(jī)制來(lái)回收的，一次gc操作，就是一次回收內(nèi)存RPC

該課件提及的rpc，是指金蝶自主開(kāi)發(fā)的ORM-RPC協(xié)議，用于eas的遠(yuǎn)程調(diào)用，rpc日志則是記錄從eas客戶端調(diào)用到應(yīng)用服務(wù)器，應(yīng)用服務(wù)器到數(shù)據(jù)庫(kù)這一過(guò)程的性能數(shù)據(jù)，用于性能分析線程堆棧

指程序運(yùn)行時(shí)的方法調(diào)用過(guò)程，分客戶端和服務(wù)端堆棧，通過(guò)對(duì)其的分析，可判斷目前eas在運(yùn)行什么方法調(diào)用，在做什么操作名詞解釋統(tǒng)計(jì)分析（統(tǒng)計(jì)信息收集）收集數(shù)據(jù)庫(kù)中對(duì)象的詳細(xì)信息，并存儲(chǔ)在相應(yīng)的數(shù)據(jù)字典。因?yàn)槟壳皵?shù)據(jù)庫(kù)優(yōu)化器采用的是基于成本的規(guī)則，需要這些信息生成最優(yōu)的執(zhí)行計(jì)劃來(lái)運(yùn)行sql語(yǔ)句。換頁(yè)空間

用作虛擬內(nèi)存的空間，unix、linux等操作系統(tǒng)會(huì)將物理內(nèi)存做為文件緩存使用，通過(guò)對(duì)

換頁(yè)空間使用率的高低觀察，可判斷操作系統(tǒng)內(nèi)存是否吃緊磁盤(pán)IO

對(duì)磁盤(pán)的讀寫(xiě)操作，尤其數(shù)據(jù)庫(kù)文件，會(huì)涉及到大量的磁盤(pán)IO內(nèi)存溢出程序運(yùn)行要用到的內(nèi)存大于虛擬機(jī)能提供的最大內(nèi)存內(nèi)存泄露對(duì)象有被引用，但程序以后不會(huì)再使用這些對(duì)象，這些對(duì)象不能被GC回收，然而它卻占用內(nèi)存。名詞解釋EAS部署模型－網(wǎng)絡(luò)圖客戶端性能網(wǎng)絡(luò)性能應(yīng)用服務(wù)器性能數(shù)據(jù)庫(kù)性能EAS部署模型－部署圖(6.0)支持本機(jī)和多機(jī)集群一臺(tái)機(jī)器可以部署多個(gè)EAS組成本機(jī)集群?？梢詫⒍鄠€(gè)服務(wù)器上EAS組成多機(jī)集群。兩種模式可以混合使用。異構(gòu)的應(yīng)用服務(wù)器之間可以組成集群。自動(dòng)負(fù)載均衡和高可用特性：大并發(fā)時(shí)減少單點(diǎn)內(nèi)存占用，降低故障幾率；根據(jù)預(yù)設(shè)權(quán)重以及運(yùn)行期的實(shí)例負(fù)荷情況進(jìn)行自動(dòng)負(fù)載均衡；當(dāng)實(shí)例健康狀態(tài)惡化，無(wú)法自行恢復(fù)時(shí)，系統(tǒng)會(huì)主動(dòng)重啟相應(yīng)的實(shí)例。實(shí)例因故障失效后，客戶端能重新連接到正常實(shí)例，且當(dāng)前工作內(nèi)容不會(huì)丟失。在運(yùn)行期可以動(dòng)態(tài)地裝載或者卸載EAS運(yùn)行實(shí)例。自主集群技術(shù)：不依賴操作系統(tǒng)或者應(yīng)用服務(wù)器的集群技術(shù)。EAS部署模型－EAS集群模型特點(diǎn)EAS性能問(wèn)題分類(lèi)—癥狀性能問(wèn)題癥狀系統(tǒng)已經(jīng)癱瘓，不可用系統(tǒng)整體非常緩慢部分功能點(diǎn)緩慢功能點(diǎn)卡住，“假死”狀態(tài)應(yīng)用服務(wù)器或數(shù)據(jù)庫(kù)服務(wù)不能啟動(dòng)EAS性能問(wèn)題分類(lèi)—排查手段序號(hào)問(wèn)題描述分類(lèi)排查手段1系統(tǒng)大面積報(bào)錯(cuò)，提示與服務(wù)器失去聯(lián)系，系統(tǒng)已經(jīng)癱瘓

應(yīng)用服務(wù)器宕機(jī)1、通過(guò)管理控制臺(tái)查看實(shí)例的狀態(tài)

2、通過(guò)客戶端修改服務(wù)器rpc端口號(hào)以測(cè)試各個(gè)實(shí)例是否能登陸數(shù)據(jù)庫(kù)宕機(jī)數(shù)據(jù)庫(kù)連接工具或命令(sqlplus)數(shù)據(jù)庫(kù)連接泄露服務(wù)器未宕機(jī)，所有客戶端登陸報(bào)錯(cuò)，搜索apusic日志中是否有"Resourceunavailable"的錯(cuò)誤信息

2系統(tǒng)整體非常緩慢；大面積出現(xiàn)白屏；難以登錄；響應(yīng)時(shí)間衰減嚴(yán)重服務(wù)器資源消耗嚴(yán)重查看cpu及內(nèi)存使用情況數(shù)據(jù)庫(kù)資源消耗嚴(yán)重查看cpu及內(nèi)存，io使用情況數(shù)據(jù)庫(kù)阻塞1、Oracle可通過(guò)em查看頂級(jí)會(huì)話是否出現(xiàn)一片“紅色”及實(shí)例鎖

2、sqlserver可查看活動(dòng)監(jiān)視器網(wǎng)絡(luò)問(wèn)題ping-l1000服務(wù)器ip，響應(yīng)時(shí)間在50ms以下，丟包率2%以下下載更新導(dǎo)致服務(wù)器端網(wǎng)絡(luò)阻塞大量客戶端做更新操作，同時(shí)網(wǎng)絡(luò)阻塞，排查方法同上3某些功能點(diǎn)長(zhǎng)時(shí)間等待或?qū)е驴蛻舳恕八罊C(jī)”數(shù)據(jù)庫(kù)阻塞同上述數(shù)據(jù)庫(kù)阻塞功能點(diǎn)性能問(wèn)題最終能操作完成4部分功能點(diǎn)慢功能點(diǎn)性能問(wèn)題其他功能點(diǎn)正常5部分客戶端緩慢網(wǎng)絡(luò)問(wèn)題或客戶端自身配置問(wèn)題其他客戶正常6EAS服務(wù)器或集群不能啟動(dòng)N/AN/A7數(shù)據(jù)庫(kù)不能啟動(dòng)N/AN/A結(jié)合案例來(lái)對(duì)如下問(wèn)題進(jìn)行分析診斷功能點(diǎn)緩慢功能點(diǎn)“卡死”部分客戶端存在性能問(wèn)題整體性能緩慢系統(tǒng)癱瘓EAS性能問(wèn)題診斷與分析概述

屬于單點(diǎn)功能的性能問(wèn)題，現(xiàn)場(chǎng)反饋只是特定功能點(diǎn)慢相關(guān)日志收集rpc日志客戶端線程堆棧

涉及到的知識(shí)點(diǎn)RPC日志分析使用jconsole工具收集客戶端線程堆棧

診斷與分析—功能點(diǎn)緩慢

功能點(diǎn)緩慢—處理流程收集rpc日志客戶端（eas\client\logs）:rpcD.V60SP1.log服務(wù)器（server\profiles\server(N)\logs）：RpcSqlD.V60SP1.log，SqlPlanD.V60SP1.log收集方法參考《EAS性能問(wèn)題判斷定位與日志收集》分析rpc日志記錄操作過(guò)程中客戶端與應(yīng)用服務(wù)器，應(yīng)用服務(wù)器與數(shù)據(jù)庫(kù)服務(wù)器之間的交互過(guò)程交互執(zhí)行的動(dòng)作、消耗的時(shí)間、數(shù)據(jù)流量等定位問(wèn)題客戶端計(jì)算耗時(shí)網(wǎng)絡(luò)問(wèn)題應(yīng)用服務(wù)器計(jì)算耗時(shí)Sql語(yǔ)句耗時(shí)

功能點(diǎn)緩慢—rpc日志分析

功能點(diǎn)緩慢—rpc日志分析

場(chǎng)景

如下圖，兩個(gè)結(jié)束時(shí)間之間存在近30秒的調(diào)用，而rpc的調(diào)用時(shí)間卻為0，說(shuō)明時(shí)間消耗在客戶端的計(jì)算，需要知道程序具體在執(zhí)行什么操作耗時(shí)（雖然知道是refresh方法，但還不能準(zhǔn)確定位）

收集工具利用jdk自帶的工具jconsole來(lái)收集。每個(gè)eas客戶端的安裝目錄下都有安裝jdk，進(jìn)入jdk安裝目錄（如eas\clientjdk\bin），

運(yùn)行jconsole.exe

功能點(diǎn)緩慢—客戶端線程堆棧收集

功能點(diǎn)緩慢—客戶端線程堆棧收集概述

客戶端操作某個(gè)功能點(diǎn)長(zhǎng)時(shí)間沒(méi)反應(yīng)，表現(xiàn)為假死狀態(tài)相關(guān)日志收集服務(wù)端線程堆?？蛻舳司€程堆棧數(shù)據(jù)庫(kù)鎖信息

涉及到的知識(shí)點(diǎn)如何打開(kāi)并分析服務(wù)端線程堆棧如何使用em工具查看阻塞如何查看sqlserver的鎖等待

診斷與分析—功能點(diǎn)“卡死”

功能點(diǎn)“卡死”—處理流程是否有相關(guān)功能堆棧信息查看服務(wù)器線程堆棧根據(jù)堆棧信息判斷是否在等待數(shù)據(jù)庫(kù)返回查看客戶端線程堆棧否是查看數(shù)據(jù)庫(kù)鎖或阻塞是分析服務(wù)端代碼邏輯否分析客戶端代碼邏輯確定功能點(diǎn)運(yùn)行在哪個(gè)實(shí)例上用戶監(jiān)控客戶端直接配置指定的server(實(shí)例)通過(guò)管理控制臺(tái)獲取該實(shí)例的http端口在瀏覽器中輸入如下URL

端口號(hào)/easportal/tools/threaddump.jsp

功能點(diǎn)“卡死”—查看服務(wù)器線程堆棧

功能點(diǎn)“卡死”—查看服務(wù)器線程堆棧Oem的操作詳見(jiàn)《OracleEnterpriseManager(OEM)基礎(chǔ)管理》

功能點(diǎn)“卡死”—查看oracle的阻塞

功能點(diǎn)“卡死”—查看oracle的阻塞ManagementStudio->對(duì)象資源管理器->數(shù)據(jù)庫(kù)實(shí)例->管理->活動(dòng)監(jiān)視器

根據(jù)上圖，進(jìn)程51的阻塞者為56，而56無(wú)阻塞者，并且阻塞一欄為1，說(shuō)明56為阻塞源頭。查看該56號(hào)進(jìn)程的sql并定位問(wèn)題功能點(diǎn)“卡死”—查看sqlserver的鎖等待概述

部分客戶端存在性能問(wèn)題，或者不同網(wǎng)段的客戶端存在性能問(wèn)題相關(guān)日志收集客戶端eassupport涉及到的知識(shí)點(diǎn)網(wǎng)絡(luò)診斷客戶端配置

診斷與分析—部分客戶端存在性能問(wèn)題子公司一般都是通過(guò)外網(wǎng)來(lái)訪問(wèn)總部eas系統(tǒng)的,網(wǎng)絡(luò)質(zhì)量不穩(wěn)定對(duì)EAS的運(yùn)行性能可能產(chǎn)生較大的影響，網(wǎng)絡(luò)質(zhì)量的評(píng)價(jià)指標(biāo)主要包括帶寬、延遲、丟包率等。

要保障EAS正常運(yùn)行，對(duì)于網(wǎng)絡(luò)質(zhì)量有如下要求：每客戶端128kbit的帶寬保障；

多人共用出口時(shí)，帶寬要求：客戶端數(shù)量×128/2（客戶端數(shù)超過(guò)5人），客戶端數(shù)量×128/3（客戶端數(shù)超過(guò)10人）；網(wǎng)絡(luò)延遲低于50ms（為理想值）小于100ms為可接受值；如果超過(guò)100ms，響應(yīng)性能會(huì)出現(xiàn)明顯衰減不穩(wěn)定現(xiàn)象。丟包率小于2%。(附：電信服務(wù)規(guī)范，因特網(wǎng)數(shù)據(jù)傳送業(yè)務(wù)的服務(wù)標(biāo)準(zhǔn)第項(xiàng)IP包丟失率<2%)部分客戶端存在性能問(wèn)題—網(wǎng)絡(luò)問(wèn)題連通性測(cè)試ping<ip>-l1000–n100

，響應(yīng)時(shí)間少于50ms，丟包率少于2次。文件下載測(cè)試從應(yīng)用服務(wù)器進(jìn)行http文件下載，速度應(yīng)大于16KB/S。下載文件可正常打開(kāi)，沒(méi)有錯(cuò)誤。eassupport工具收集最新版本會(huì)自動(dòng)進(jìn)行ping、rpcping、tracert、下載測(cè)試等。流量監(jiān)測(cè)DUMeter，Cacti。發(fā)現(xiàn)流量異常，判斷是否有病毒等問(wèn)題。部分客戶端存在性能問(wèn)題—網(wǎng)絡(luò)問(wèn)題

某些輸入法導(dǎo)致JVM異常退出查看client/bin或者桌面，通常能看到hs_err*.log文件，打開(kāi)可看到如下字樣：

這里的最后一行UNISPIM6.IME是導(dǎo)致異常退出的模塊名字，google一下，通常就會(huì)知道是什么輸入法，甚至其版本號(hào)。JDK的Bug

同上，通常能看到hs_err*.log文件

部分客戶端存在性能問(wèn)題—窗口消失查看客戶端日志文件（client.log)java.lang.OutOfMemory:Javaheapspacejava.lang.OutOfMemory:PermGenspace

修改set-client-env.bat中JVM_MAX_PERMSIZE變量的值為128或者更大，若無(wú)，請(qǐng)?jiān)黾右恍胁⒃O(shè)置java.lang.StackOverflow出現(xiàn)這樣的異常信息，通常是產(chǎn)品Bug引起，需要需求反饋系統(tǒng)提單處理

部分客戶端存在性能問(wèn)題—內(nèi)存溢出異常概述

現(xiàn)場(chǎng)反饋整體性能衰減，所有功能點(diǎn)運(yùn)行緩慢相關(guān)日志收集Rpc日志客戶端eassupport、服務(wù)端eassupport數(shù)據(jù)庫(kù)配置信息、Awr報(bào)告

涉及到的知識(shí)點(diǎn)操作系統(tǒng)性能數(shù)據(jù)收集Cpu，內(nèi)存，io等性能指標(biāo)應(yīng)用服務(wù)器與數(shù)據(jù)庫(kù)服務(wù)器參數(shù)調(diào)優(yōu)OEM查看頂級(jí)活動(dòng)gc日志分析

診斷與分析—整體性能緩慢

整體性能緩慢—處理流程參數(shù)檢查應(yīng)用服務(wù)器參數(shù)設(shè)置數(shù)據(jù)庫(kù)服務(wù)器參數(shù)設(shè)置查看應(yīng)用服務(wù)器使用資源cpu消耗內(nèi)存消耗查看數(shù)據(jù)庫(kù)服務(wù)器使用資源cpu消耗內(nèi)存消耗IO等待sql頂級(jí)活動(dòng)Oracle數(shù)據(jù)庫(kù)整體性能緩慢—數(shù)據(jù)庫(kù)參數(shù)檢查參數(shù)說(shuō)明sga_max_size（物理內(nèi)存*80%）*80%sga_target等于sga_max_sizepga_aggregate_target（物理內(nèi)存*80%）*20%processesmax(500,EAS并發(fā)用戶數(shù)）open_cursors建議改為500optimizer_index_caching調(diào)整基于成本的優(yōu)化程序的假定值，建議值90optimizer_index_cost_adj索引方式與全表掃描成本折算比例，建議值50_b_tree_bitmap_plans在可以使用兩叉樹(shù)索引時(shí)，不考慮使用位圖索引，建議值FLASE（視情況修改）_no_or_expansion避免綁定變量復(fù)雜的語(yǔ)句解析執(zhí)行計(jì)劃時(shí)消耗過(guò)多內(nèi)存，建議值TRUE（視情況修改）plex_view_merging避免使用內(nèi)部復(fù)雜視圖合并，建議值FALSE（視情況修改）服務(wù)器JDK參數(shù)優(yōu)化整體性能緩慢—應(yīng)用服務(wù)器參數(shù)檢查#參數(shù)配置文件：eas\profiles\server(N)\bin\set-server-env.bat（sh）1JVM_INITIAL_HEAP_SIZE最小堆內(nèi)存,設(shè)置Xms、Xmx相等以避免在每次GC后調(diào)整堆的大小，默認(rèn)空余堆內(nèi)存小于40%時(shí)，JVM就會(huì)增大堆直到-Xmx的最大限制，大于70%時(shí)，JVM會(huì)減少堆直到-Xms的最小限制2SETJVM_MAX_HEAP_SIZE最大堆內(nèi)存,非window系統(tǒng)設(shè)置為1536m，windows系統(tǒng)設(shè)置為1024m3JVM_VERBOSE_GC生成gc日志，默認(rèn)為true4JVM_CUSTOM_PARAMSibmjdk-Xgcpolicy:gencon-Xmn200m（分代垃圾回收）Sun（hp）jdk-XX:NewSize=200m-XX:NewRatio=6-XX:MaxTenuringThreshold=1-XX:+UseParallelOldGC-XX:+DisableExplicitGCAIX：topasHpunix、linux：topWin：任務(wù)管理器，性能監(jiān)視器整體性能緩慢—應(yīng)用服務(wù)器性能數(shù)據(jù)收集這是最常見(jiàn)的引起系統(tǒng)緩慢的因素，主要由如下兩個(gè)原因引起程序問(wèn)題（復(fù)雜計(jì)算或死循環(huán)等）

通過(guò)收集服務(wù)器線程堆棧信息來(lái)分析jvm內(nèi)存緊張通常jvm內(nèi)存參數(shù)設(shè)置過(guò)低、GC參數(shù)設(shè)置不當(dāng)或者應(yīng)用存在內(nèi)存泄漏，可引發(fā)頻繁FUllGC，會(huì)出現(xiàn)整體CPU利用率偏高的情況

注：如果出現(xiàn)內(nèi)存溢出（也就是最終導(dǎo)致無(wú)可用內(nèi)存分配），通常系統(tǒng)會(huì)宕機(jī)，但在某些jdk下（hpjdk），jvm會(huì)嘗試不斷回收內(nèi)存（fullgc），造成系統(tǒng)大量消耗cpu，系統(tǒng)近乎癱瘓，這種情況的出現(xiàn)后，要手工收集內(nèi)存文件（heapdump文件），用于事后分析，并果斷重啟eas服務(wù)。整體性能緩慢—應(yīng)用服務(wù)器CPU持續(xù)高消耗案例（癥狀：應(yīng)用服務(wù)器cpu占用高，系統(tǒng)運(yùn)行緩慢）

AIX系統(tǒng)，用topas查看資源使用情況整體性能緩慢—應(yīng)用服務(wù)器CPU持續(xù)高消耗判斷是否為內(nèi)存緊張導(dǎo)致

整體性能緩慢—應(yīng)用服務(wù)器CPU持續(xù)高消耗判斷是否為內(nèi)存緊張導(dǎo)致

整體性能緩慢—應(yīng)用服務(wù)器CPU持續(xù)高消耗手工生產(chǎn)heapdump文件和線程堆棧用于分析，同時(shí)重啟有異常的eas實(shí)例HpJDK 1、$EAS_HOME\eas\profiles\server*\bin\set-server-env.sh里加上參數(shù)： JVM_CUSTOM_PARAMS="-XX:+HeapDump“2、運(yùn)行kill-3進(jìn)程號(hào)

IBMJDK

http://應(yīng)用服務(wù)器IP:http端口號(hào)/easportal/tools/dump.jsp?type=heapdumpSun

JDK

用JDK自帶的jmap程序直接收集Windows系統(tǒng):jmap-dump:format=b,file=<filename><pid> Linux系統(tǒng)：jmap–heap:format=b<pid>

整體性能緩慢—應(yīng)用服務(wù)器CPU持續(xù)高消耗原因存在大量的全表掃描存儲(chǔ)設(shè)備的IO吞吐能力有限解決辦法優(yōu)化sql語(yǔ)句，查看索引是否建立正確，消除全表掃描檢查存儲(chǔ)設(shè)備是否存在瓶頸或者故障并排除。檢查操作系統(tǒng)、數(shù)據(jù)庫(kù)參數(shù)配置是否不當(dāng)并調(diào)整整體性能緩慢—IO等待率高整體性能緩慢—IO等待率高整體性能緩慢—OEM查看頂級(jí)活動(dòng)概述

現(xiàn)場(chǎng)反饋客戶端大面積報(bào)錯(cuò)，無(wú)法登陸，系統(tǒng)不可用相關(guān)日志收集服務(wù)端eassupportoracle數(shù)據(jù)庫(kù)alert信息·Heapdump文件收集、打開(kāi)、分析連接泄露

診斷與分析—系統(tǒng)癱瘓

系統(tǒng)癱瘓—處理流程應(yīng)用服務(wù)器宕機(jī)數(shù)據(jù)庫(kù)服務(wù)器宕機(jī)數(shù)據(jù)庫(kù)連接不可用Servertrace查看服務(wù)器是否有異常停機(jī)$EAS_HOME\eas\profiles\server*\logs\server.trace

說(shuō)明：[killserver]是人工手動(dòng)執(zhí)行killserver.sh[Autokillserver]是管理控制臺(tái)自動(dòng)殺掉（CC通知控制臺(tái)重啟實(shí)例時(shí)的記錄）[Stop]人工手動(dòng)停止[Start]啟動(dòng)JDKbug宕機(jī)$EAS_HOME\eas\profiles\server*\bin\hs_err_pid*內(nèi)存溢出(OOM)宕機(jī)IBMJDK出現(xiàn)內(nèi)存溢出宕機(jī)時(shí)會(huì)自動(dòng)在如下目錄生成內(nèi)存鏡像文件。其他JDK默認(rèn)情況下則不會(huì)。$EAS_HOME\eas\profiles\ser