IT系統(tǒng)維護(hù)故障排除手冊(cè)與記錄模板一、手冊(cè)概述與適用范圍本手冊(cè)旨在規(guī)范IT系統(tǒng)故障排除的標(biāo)準(zhǔn)化流程，保證維護(hù)人員能夠快速、準(zhǔn)確地定位并解決系統(tǒng)故障，保障業(yè)務(wù)連續(xù)性。適用于企業(yè)內(nèi)部各類(lèi)IT系統(tǒng)的日常維護(hù)，包括但不限于服務(wù)器硬件/軟件、網(wǎng)絡(luò)設(shè)備（交換機(jī)、路由器、防火墻）、存儲(chǔ)系統(tǒng)、數(shù)據(jù)庫(kù)（MySQL、Oracle等）、中間件（Tomcat、Nginx）及業(yè)務(wù)應(yīng)用系統(tǒng)（ERP、CRM等）。手冊(cè)面向系統(tǒng)管理員、網(wǎng)絡(luò)工程師、運(yùn)維工程師及相關(guān)技術(shù)支持人員，為故障處理提供全流程指導(dǎo)。二、標(biāo)準(zhǔn)化故障排除流程（一）故障發(fā)覺(jué)與初步判斷故障識(shí)別通過(guò)監(jiān)控系統(tǒng)（如Zabbix、Prometheus）告警、用戶(hù)反饋、日志分析或主動(dòng)巡檢發(fā)覺(jué)系統(tǒng)異常，明確故障現(xiàn)象（如服務(wù)不可用、響應(yīng)緩慢、數(shù)據(jù)丟失、硬件告警等）。區(qū)分故障緊急程度：緊急：核心業(yè)務(wù)中斷（如數(shù)據(jù)庫(kù)宕機(jī)、主干網(wǎng)絡(luò)中斷），需30分鐘內(nèi)響應(yīng)；重要：業(yè)務(wù)功能受損（如子系統(tǒng)無(wú)法訪問(wèn)、功能下降），需2小時(shí)內(nèi)響應(yīng)；一般：非核心問(wèn)題（如輔助功能異常、輕微告警），需24小時(shí)內(nèi)響應(yīng)。初步判斷范圍根據(jù)故障現(xiàn)象初步定位問(wèn)題類(lèi)型：硬件故障（服務(wù)器宕機(jī)、硬盤(pán)損壞）、軟件故障（服務(wù)進(jìn)程異常、配置錯(cuò)誤）、網(wǎng)絡(luò)故障（鏈路中斷、端口阻塞）、安全故障（病毒感染、異常訪問(wèn)）或外部依賴(lài)故障（第三方接口失效）。（二）故障信息收集記錄基本信息故障發(fā)生時(shí)間、持續(xù)時(shí)間、影響范圍（如涉及用戶(hù)數(shù)、業(yè)務(wù)模塊）、故障現(xiàn)象描述（含截圖、錯(cuò)誤代碼等）。示例：2024--14:30，生產(chǎn)環(huán)境ERP系統(tǒng)訂單模塊無(wú)法提交訂單，提示“數(shù)據(jù)庫(kù)連接超時(shí)”，影響約200名用戶(hù)操作。收集系統(tǒng)日志服務(wù)器日志：/var/log/（Linux）、事件查看器（Windows）；應(yīng)用日志：Tomcatcatalina.out、Nginxerror.log、數(shù)據(jù)庫(kù)alert.log；網(wǎng)絡(luò)設(shè)備日志：交換機(jī)syslog、防火墻security.log。使用grep、awk或日志分析工具（ELK、Splunk）篩選關(guān)鍵錯(cuò)誤信息。環(huán)境與配置核查確認(rèn)故障系統(tǒng)最近是否有變更（如系統(tǒng)升級(jí)、配置修改、補(bǔ)丁安裝）；檢查硬件狀態(tài)（服務(wù)器指示燈、磁盤(pán)SMART信息、網(wǎng)絡(luò)端口狀態(tài)）；核對(duì)網(wǎng)絡(luò)拓?fù)洌↖P地址、VLAN劃分、路由配置）。（三）故障定位與根因分析分層排查法物理層：檢查設(shè)備供電、網(wǎng)線連接、硬件指示燈（如服務(wù)器電源燈、網(wǎng)卡燈）；網(wǎng)絡(luò)層：使用ping測(cè)試連通性，tracert/traceroute追蹤鏈路，netstat-an檢查端口狀態(tài)；系統(tǒng)層：通過(guò)top、htop查看資源占用，ps-ef檢查進(jìn)程狀態(tài)，df-h檢查磁盤(pán)空間；應(yīng)用層：查看應(yīng)用服務(wù)日志，測(cè)試接口連通性，檢查數(shù)據(jù)庫(kù)連接池配置。根因分析工具硬件故障：使用dmide查看硬件信息，smartctl檢測(cè)磁盤(pán)健康；軟件故障：通過(guò)gdb調(diào)試進(jìn)程，strace跟蹤系統(tǒng)調(diào)用；網(wǎng)絡(luò)故障：使用Wireshark抓包分析，tcpdump抓取網(wǎng)絡(luò)數(shù)據(jù)包。定位原則從簡(jiǎn)單到復(fù)雜：先檢查物理連接、基礎(chǔ)配置，再深入軟件邏輯；排除法：逐一驗(yàn)證可能因素，縮小故障范圍；參考?xì)v史案例：查詢(xún)過(guò)往類(lèi)似故障處理記錄，復(fù)現(xiàn)排查思路。（四）故障處理與臨時(shí)措施制定處理方案根據(jù)根因選擇處理方式：重啟服務(wù)、修復(fù)配置、替換硬件、回滾變更、聯(lián)系廠商支持等。示例：若定位為數(shù)據(jù)庫(kù)連接池耗盡，臨時(shí)措施為重啟Tomcat服務(wù)，根本方案為調(diào)整連接池最大連接數(shù)。執(zhí)行操作操作前確認(rèn)數(shù)據(jù)備份（如數(shù)據(jù)庫(kù)備份、配置文件備份），避免二次損失；嚴(yán)格按照操作步驟執(zhí)行，重要操作需雙人復(fù)核（如工與工共同確認(rèn)硬件更換流程）；記錄每步操作結(jié)果（如14:45執(zhí)行systemctlrestarttomcat，服務(wù)狀態(tài)變?yōu)閞unning）。臨時(shí)應(yīng)急方案若故障無(wú)法快速解決，需啟動(dòng)臨時(shí)措施保障業(yè)務(wù)：切換至備用系統(tǒng)（如主數(shù)據(jù)庫(kù)故障，切換至備用數(shù)據(jù)庫(kù)）；限制功能（如訂單模塊異常，臨時(shí)關(guān)閉該模塊并通知用戶(hù)）；手動(dòng)處理（如數(shù)據(jù)同步異常，手動(dòng)導(dǎo)出導(dǎo)入數(shù)據(jù)）。（五）驗(yàn)證與恢復(fù)故障驗(yàn)證測(cè)試故障現(xiàn)象是否消失（如訪問(wèn)訂單模塊是否正常提交、服務(wù)器資源占用是否恢復(fù)正常）；驗(yàn)證關(guān)聯(lián)系統(tǒng)是否受影響（如ERP訂單模塊恢復(fù)后，檢查財(cái)務(wù)模塊數(shù)據(jù)同步是否正常）。業(yè)務(wù)恢復(fù)逐步恢復(fù)業(yè)務(wù)功能，避免全量上線引發(fā)新問(wèn)題；通知用戶(hù)故障解決情況（如通過(guò)企業(yè)群、郵件告知“ERP系統(tǒng)已恢復(fù)正?！保Ｏ到y(tǒng)監(jiān)控持續(xù)監(jiān)控系統(tǒng)狀態(tài)1-2小時(shí)，確認(rèn)故障無(wú)復(fù)發(fā)（如觀察數(shù)據(jù)庫(kù)連接數(shù)、CPU使用率趨勢(shì)）。（六）文檔記錄與閉環(huán)填寫(xiě)故障記錄表（詳見(jiàn)第三部分）詳細(xì)記錄故障處理全過(guò)程，包括根因、解決方案、處理時(shí)長(zhǎng)、責(zé)任人等。知識(shí)庫(kù)沉淀將典型故障案例、解決方案錄入知識(shí)庫(kù)（如Confluence、Wiki），標(biāo)注關(guān)鍵詞（如“數(shù)據(jù)庫(kù)連接池超時(shí)”“Tomcat內(nèi)存溢出”），便于后續(xù)查閱。復(fù)盤(pán)總結(jié)對(duì)于重大故障（如緊急級(jí)故障），組織復(fù)盤(pán)會(huì)議，分析處理過(guò)程中的不足（如響應(yīng)延遲、排查方法不當(dāng)），優(yōu)化故障處理流程。三、故障處理記錄表模板字段填寫(xiě)說(shuō)明示例故障編號(hào)按年份+月份+序號(hào)（如202410-001）202410-001故障發(fā)生時(shí)間精確到分鐘（YYYY-MM-DDHH:MM）2024-10-2514:30故障結(jié)束時(shí)間精確到分鐘（YYYY-MM-DDHH:MM）2024-10-2515:45系統(tǒng)名稱(chēng)故障涉及的具體系統(tǒng)（如“生產(chǎn)ERP系統(tǒng)”“核心交換機(jī)”）生產(chǎn)ERP系統(tǒng)故障現(xiàn)象描述詳細(xì)記錄用戶(hù)反饋、監(jiān)控告警、錯(cuò)誤提示等（可附截圖或日志文件）訂單模塊提交訂單時(shí)提示“數(shù)據(jù)庫(kù)連接超時(shí)”，頁(yè)面無(wú)響應(yīng)影響范圍受影響用戶(hù)數(shù)、業(yè)務(wù)模塊、業(yè)務(wù)時(shí)長(zhǎng)約200名用戶(hù)，訂單模塊無(wú)法使用，持續(xù)1小時(shí)15分鐘故障優(yōu)先級(jí)緊急/重要/一般重要發(fā)覺(jué)方式監(jiān)控告警/用戶(hù)反饋/主動(dòng)巡檢用戶(hù)反饋初步判斷類(lèi)型硬件/軟件/網(wǎng)絡(luò)/安全/外部依賴(lài)軟件處理人員負(fù)責(zé)處理故障的人員姓名（用*號(hào)代替）*工協(xié)助人員參與處理的人員（如*工、廠商技術(shù)支持）工、廠商技術(shù)支持故障信息收集記錄關(guān)鍵日志、配置變更、硬件狀態(tài)等檢查T(mén)omcatcatalina.out日志，發(fā)覺(jué)“OutOfMemoryError”錯(cuò)誤；確認(rèn)近期未修改配置根因分析說(shuō)明故障產(chǎn)生的根本原因TomcatJVM內(nèi)存分配不足，導(dǎo)致內(nèi)存溢出，服務(wù)進(jìn)程死亡處理步驟分步驟記錄操作內(nèi)容（含命令、時(shí)間節(jié)點(diǎn)）1.14:35備份Tomcat配置文件；2.14:40修改JVM參數(shù)（-Xms512m-Xmx1024m）；3.14:42重啟Tomcat服務(wù)臨時(shí)措施故障解決前的應(yīng)急方案臨時(shí)重啟Tomcat服務(wù)恢復(fù)業(yè)務(wù)解決方案根本解決方法調(diào)整TomcatJVM內(nèi)存參數(shù)，增加堆內(nèi)存大小驗(yàn)證結(jié)果故障是否解決，系統(tǒng)是否穩(wěn)定訂單模塊恢復(fù)正常，持續(xù)監(jiān)控1小時(shí)無(wú)復(fù)發(fā)處理時(shí)長(zhǎng)從故障發(fā)覺(jué)到解決的總時(shí)長(zhǎng)（分鐘）75分鐘預(yù)防措施避免同類(lèi)故障再次發(fā)生的建議定期檢查T(mén)omcat內(nèi)存使用情況，設(shè)置JVM告警閾值備注其他需要說(shuō)明的信息（如廠商工單號(hào)、待跟進(jìn)事項(xiàng)）廠商工單號(hào)：SR-20241025001四、常見(jiàn)故障處理示例（一）服務(wù)器無(wú)法啟動(dòng)現(xiàn)象：服務(wù)器開(kāi)機(jī)后無(wú)顯示，電源燈閃爍。排查步驟：檢查電源線是否松動(dòng)，更換電源插座；打開(kāi)服務(wù)器機(jī)箱，檢查內(nèi)存條、硬盤(pán)數(shù)據(jù)線是否松動(dòng)；使用主板診斷卡排查POST代碼（如“0x0F”表示內(nèi)存故障）；若確認(rèn)內(nèi)存損壞，更換新內(nèi)存條后重啟。（二）數(shù)據(jù)庫(kù)連接超時(shí)現(xiàn)象：應(yīng)用系統(tǒng)提示“數(shù)據(jù)庫(kù)連接超時(shí)”，無(wú)法查詢(xún)數(shù)據(jù)。排查步驟：使用ping測(cè)試數(shù)據(jù)庫(kù)服務(wù)器IP，確認(rèn)網(wǎng)絡(luò)連通性；檢查數(shù)據(jù)庫(kù)服務(wù)狀態(tài)（systemctlstatusmysql）；查看數(shù)據(jù)庫(kù)連接數(shù)（showprocesslist），確認(rèn)是否達(dá)到最大連接數(shù)；若連接數(shù)耗盡，重啟數(shù)據(jù)庫(kù)服務(wù)或調(diào)整max_connections參數(shù)。（三）網(wǎng)絡(luò)端口阻塞現(xiàn)象：特定IP無(wú)法訪問(wèn)服務(wù)器指定端口（如8080端口）。排查步驟：使用telnetIP端口測(cè)試端口連通性；檢查服務(wù)器防火墻規(guī)則（iptables-L或firewall-cmd--list-ports）；若防火墻攔截端口，添加放行規(guī)則（firewall-cmd--add-port=8080/tcp--permanent）；檢查交換機(jī)端口是否禁用（displayinterface）。五、操作規(guī)范與風(fēng)險(xiǎn)提示（一）安全操作規(guī)范硬件操作：斷電操作：更換硬件前必須關(guān)閉服務(wù)器電源并拔出電源線，避免帶電操作；防靜電：佩戴防靜電手環(huán)，防止靜電損壞電子元件。軟件操作：備份優(yōu)先：修改配置、升級(jí)系統(tǒng)前，必須備份原配置文件、數(shù)據(jù)庫(kù)及重要數(shù)據(jù)；權(quán)限管控：使用最小權(quán)限賬戶(hù)操作，避免使用root/administrator賬戶(hù)進(jìn)行日常維護(hù)。（二）溝通協(xié)作要求故障發(fā)生時(shí)，及時(shí)通知相關(guān)負(fù)責(zé)人（如業(yè)務(wù)部門(mén)負(fù)責(zé)人、IT經(jīng)理），同步處理進(jìn)展；涉及廠商支持時(shí)，提供詳細(xì)故障信息（日志、錯(cuò)誤截圖、環(huán)境配置），配合廠商排查；用戶(hù)溝通