1、歡送共閱系統(tǒng)應(yīng)急預(yù)案2021年7月系統(tǒng)名稱涉及部門財(cái)務(wù)部人員名 稱人員所在單位人員聯(lián)系方式儀 人力 式 及-1產(chǎn) 預(yù)案事件描述：調(diào)整失敗,可能涉及如下情況：1系統(tǒng)崩潰：系統(tǒng)出現(xiàn)重大故障是指所有的客戶端程序都不能正常連接到效勞器,任何合法的系統(tǒng)用戶都無(wú)法正確登錄系統(tǒng),甚至于系統(tǒng)完全崩潰；2數(shù)據(jù)喪失：系統(tǒng)數(shù)據(jù)喪失狀態(tài),如數(shù)據(jù)庫(kù)效勞出現(xiàn)故障,用戶數(shù)據(jù)喪失,公司現(xiàn)肩技術(shù)手段無(wú)法恢復(fù)；3效勞停頓：系統(tǒng)效勞停頓狀態(tài),如系統(tǒng)由于不明原因?qū)е麓笠?guī)模用戶無(wú)法使用,效勞停頓.4接口無(wú)法正常調(diào)用：系統(tǒng)無(wú)法正常調(diào)用財(cái)務(wù)管控接口財(cái)務(wù)管控接口、ERPRF皎口、 ESB o預(yù)案處理要求1系統(tǒng)崩潰：停止系統(tǒng)后臺(tái)效勞,預(yù)防不知

2、情用戶繼續(xù)投遞數(shù)據(jù).抓取并保存系統(tǒng) 出錯(cuò)信息及日志文件,簡(jiǎn)單判斷異常部位,通知相關(guān)人員到崗,保存現(xiàn)場(chǎng),分析 查找原因.2數(shù)據(jù)喪失：停止效勞和后臺(tái)數(shù)據(jù)庫(kù)效勞,將剩余用戶數(shù)據(jù)進(jìn)行備份,抓取并保存 系統(tǒng)出錯(cuò)信息及日志文件,通知相關(guān)人員到崗,保存現(xiàn)場(chǎng),分析查找原因.3效勞停頓：聯(lián)系網(wǎng)絡(luò)治理人員、通知相關(guān)人員到崗,從網(wǎng)絡(luò)和系統(tǒng)兩個(gè)方面分析 查找效勞停頓原因.4接口無(wú)法正常調(diào)用：聯(lián)系相關(guān)接口效勞提供方,確認(rèn)效勞是否正常.注：對(duì)故障進(jìn)行快速處理及歸檔,爭(zhēng)取每次故障修復(fù)時(shí)間限制在兩小時(shí)以內(nèi).演練要求1 .對(duì)在線系統(tǒng)/、造成影響2 .在主要系統(tǒng)治理員人員變更和效勞器、操作系統(tǒng)、主頁(yè)發(fā)布軟件發(fā)生變更時(shí)要進(jìn)行 演練

3、.歡送共閱3 .演練前應(yīng)填寫工作單,并對(duì)系統(tǒng)做全備份.4 .演練結(jié)束形成演練總結(jié)報(bào)告.預(yù)案流程說(shuō)明一、事件報(bào)警與確認(rèn)：系統(tǒng)人員在對(duì)系統(tǒng)進(jìn)行調(diào)整的過(guò)程中發(fā)現(xiàn)公司系統(tǒng)運(yùn)行中的異常及其它故障.由運(yùn)維人員首先確認(rèn)系統(tǒng)是否發(fā)生重大故障,及時(shí)通知相應(yīng)管控經(jīng)理及信通公司相應(yīng)負(fù)責(zé)人,啟用預(yù)案.二、系統(tǒng)發(fā)生重大故障時(shí),保護(hù)故障現(xiàn)場(chǎng)：必須及時(shí)采取以下舉措,通知系統(tǒng)運(yùn)維人 員及時(shí)到場(chǎng)1 .保證效勞器不再有任何人進(jìn)行任何操作2 .通知所有使用系統(tǒng)的人員暫停對(duì)系統(tǒng)的登錄三、分析故障原因：1 .操作系統(tǒng)級(jí)應(yīng)急預(yù)案1)操作系統(tǒng)異常問(wèn)題原因：由于操作系統(tǒng)自身效勞崩潰或系統(tǒng)組件沖突,效勞器操作系統(tǒng)無(wú)法正常運(yùn)行,部署在此操作系統(tǒng)

4、上的應(yīng)用效勞器受此影響無(wú)法正常啟動(dòng)及運(yùn)行,效勞崩潰.應(yīng)急預(yù)案：聯(lián)系操作系統(tǒng)效勞商進(jìn)行系統(tǒng)恢復(fù),解決系統(tǒng)組件沖突.操作步驟：根據(jù)當(dāng)?shù)乜菩挪块T或系統(tǒng)運(yùn)維局部相關(guān)操作步驟進(jìn)行.2)磁盤空間缺乏,二二一問(wèn)題原因：由于SAPCE效勞器及對(duì)應(yīng)的Oracle效勞器自動(dòng)歸檔備份功能開啟,會(huì)造 成備份文件逐步增加,文件累計(jì)到達(dá)一定數(shù)據(jù)大小后,導(dǎo)致系統(tǒng)磁盤空間缺乏,引發(fā) 效勞器各項(xiàng)效勞組件無(wú)法正常運(yùn)行,效勞崩潰.應(yīng)急預(yù)案：(1)刪除SAPCE自動(dòng)備份文件.進(jìn)入SAPCE效勞器自動(dòng)備份文件保存目錄,保存最近的2個(gè)備份版本,刪除其余備份文件.(2)刪除Oracle歸檔日志.進(jìn)入Oracle歸檔日志目錄,保存最近1個(gè)月

5、的歸檔日志 備份,刪除其余備份.如通過(guò)以上方式3仍無(wú)法釋放磁盤空間資源,那么需要進(jìn)行效勞器存儲(chǔ)空間擴(kuò)容.具體方案依據(jù)當(dāng)?shù)匦谄饔布?jí)操作方案處理.操作步驟：(1)登錄效勞器,檢查各分區(qū)磁盤剩余量.假設(shè)剩余量低于10%,需要進(jìn)行備份及歸檔文件清理操作.(2)進(jìn)入SAPCE效勞器文件備份目錄,檢查備份文件狀態(tài),假設(shè)備份文件過(guò)多,可考慮刪除最近 2個(gè)備份版本之前的其余備份文件.(3)進(jìn)入Oracle歸檔日志存儲(chǔ)目錄,檢查歸檔日志狀態(tài),假設(shè)歸檔日志過(guò)多, 可考慮刪除1個(gè)月之前的歸檔日志文件.(4)假設(shè)效勞器中,SAPCE備份及Oracle歸檔日志文件數(shù)量均不大,但效勞 器存儲(chǔ)資源缺乏,可申請(qǐng)當(dāng)?shù)剡\(yùn)維

6、支持檢查效勞器上文件系統(tǒng), 刪除非系統(tǒng)必需文件.(5)以上操作仍無(wú)法解決磁盤空間缺乏問(wèn)題,那么根據(jù)當(dāng)?shù)匦谄饔布Y源升 級(jí)操作流程進(jìn)行處理.3)磁盤讀寫保護(hù)異常問(wèn)題原因：由于操作系統(tǒng)安裝了磁盤讀寫限制軟件,或是系統(tǒng)復(fù)原配置不正確,會(huì)導(dǎo) 致系統(tǒng)所在應(yīng)用效勞器無(wú)法實(shí)現(xiàn)對(duì)底層文件系統(tǒng)的讀寫訪問(wèn),造成依賴于文件讀寫服務(wù)的組件功能無(wú)法正常運(yùn)行,效勞崩潰.應(yīng)急預(yù)案：(1)修改磁盤讀寫限制軟件對(duì) SAPCE平臺(tái)效勞器的權(quán)限限制(2)調(diào)整系統(tǒng)復(fù)原配置參數(shù),將其置為正確的配置操作步驟：(1)申請(qǐng)當(dāng)?shù)剡\(yùn)維支持,檢查是否安裝了磁盤讀寫保護(hù)軟件或裝置,假設(shè)歡送共閱有,那么需解除其對(duì)SAPCE平臺(tái)相關(guān)效勞的讀寫限制(2

7、)申請(qǐng)當(dāng)?shù)剡\(yùn)維支持,檢查系統(tǒng)復(fù)原情況配置,保證其配置正確.4)網(wǎng)絡(luò)效勞異常問(wèn)題原因：效勞器未正確分配IP地址,或是防火墻限制效勞器的網(wǎng)絡(luò)訪問(wèn)以及物理 鏈路中斷等原因,會(huì)導(dǎo)致系統(tǒng)用戶無(wú)法正常登陸系統(tǒng),關(guān)聯(lián)業(yè)務(wù)系統(tǒng)與憑證系統(tǒng)集成 效勞異常.應(yīng)急預(yù)案：為效勞器分配正確的IP地址,并將此地址注冊(cè)到防火墻可信任地址列表 中.對(duì)于物理訪問(wèn)鏈路中斷問(wèn)題,檢查并重新配置網(wǎng)絡(luò)物理通信鏈路.此局部具體應(yīng) 急預(yù)案由當(dāng)?shù)乜菩挪炕蜻\(yùn)維局部統(tǒng)一處理.操作步驟：(1)檢查效勞器的IP地址是否分配正確,假設(shè)分配錯(cuò)誤或IP地址沖突,需 要申請(qǐng)當(dāng)?shù)剡\(yùn)維支持,為效勞器重新分配正確的IP地址,并進(jìn)行系統(tǒng)相關(guān)配置的調(diào)整.(2)檢查防火

8、墻對(duì)效勞器的網(wǎng)絡(luò)訪問(wèn)限制, 假設(shè)由于防火墻權(quán)限原因?qū)е滦?器無(wú)法正常進(jìn)行的網(wǎng)絡(luò)通信,那么應(yīng)申請(qǐng)當(dāng)?shù)剡\(yùn)維支持,解決防火墻網(wǎng)絡(luò)訪問(wèn)限制問(wèn)題.(3)假設(shè)由于物理網(wǎng)絡(luò)鏈路中斷等原因?qū)е聼o(wú)法進(jìn)行正常的網(wǎng)絡(luò)通信,那么需要 申請(qǐng)當(dāng)?shù)剡\(yùn)維進(jìn)行緊急搶修.2.SAPCE效勞器應(yīng)急預(yù)案1)功能組件效勞異常問(wèn)題原因：由于受到操作系統(tǒng)組件效勞、系統(tǒng)硬件資源等因素影響, SAPCE效勞器 局部功能組件效勞可能出現(xiàn)效勞異?；蚪M件效勞停止,依賴于這些效勞的系統(tǒng)局部功 能無(wú)法正常運(yùn)行.應(yīng)急預(yù)案：檢查異?；蛲Ｖ沟慕M件效勞,重啟相關(guān)效勞.如效勞重啟異常,檢查效勞 器日志,查找原因,排除原因后,重啟效勞解決問(wèn)題.操作步驟：(1)以

9、SAPCE超級(jí)治理員身份登錄平臺(tái),在右側(cè)搜索欄中輸入【start!(2)在搜索結(jié)果中選擇【Start&Stop應(yīng)用功能(3)選擇【J2EEApplicationService,在表格搜索欄中輸入需要重啟的效勞 名進(jìn)行搜索.(4)選中需要重啟的效勞,使用【Start功能重啟該效勞2)系統(tǒng)效勞異常問(wèn)題原因：由于受到所在操作系統(tǒng)組件效勞、網(wǎng)絡(luò)攻擊、系統(tǒng)硬件資源、系統(tǒng)內(nèi)部服 務(wù)異常等影響,SAPCE效勞器出現(xiàn)效勞崩潰或大規(guī)模內(nèi)部效勞組件沖突.具體表現(xiàn) 為：1、用戶登錄SAPCE效勞平臺(tái)提示【ERROR-503異常；2、翻開SAPCE限制 臺(tái),效勞器實(shí)例狀態(tài)為警告狀態(tài),顯示黃色.應(yīng)急預(yù)案：登錄S

10、APCE效勞器所在操作系統(tǒng),在SAPCE限制臺(tái)中重啟該效勞器實(shí)例. 操作步驟：(1)登錄協(xié)同效勞器所在操作系統(tǒng).(2)翻開協(xié)同效勞器限制臺(tái).(3)展開限制臺(tái)節(jié)點(diǎn),選擇當(dāng)前協(xié)同效勞器實(shí)例,右鍵當(dāng)前實(shí)例,選擇【停止】(4)在停止效勞信息界面,選擇【硬重啟】(5)輸入操作系統(tǒng)用戶名對(duì)應(yīng)的密碼,確認(rèn)重啟操作.(6)等待一定時(shí)間后,刷新實(shí)例效勞器狀態(tài),灰色表示停止成功.(7)翻開協(xié)同效勞器限制臺(tái),選擇協(xié)同 CE效勞器實(shí)例,右鍵效勞器實(shí)例,選擇【啟 動(dòng)】,進(jìn)行效勞器啟動(dòng)操作.(8)點(diǎn)擊確認(rèn),啟動(dòng)效勞器.歡送共閱(9)等待一段時(shí)間后,效勞器實(shí)例狀態(tài)為綠色,表示效勞器啟動(dòng)成功.3) Lincense到期問(wèn)題原

11、因：SAPCE應(yīng)用平臺(tái)授權(quán)許可到期或授權(quán)許可未正確注冊(cè),造成各效勞組件 均無(wú)法正常使用.應(yīng)急預(yù)案：(1)授權(quán)許可到期可參考?license申請(qǐng).doc?進(jìn)行處理(2)授權(quán)許可未正確注冊(cè)可參照?license申請(qǐng).do,中進(jìn)行Linsence注冊(cè)的 操作進(jìn)行.操作步驟：根據(jù)?license申請(qǐng).doc?中相關(guān)操作步驟進(jìn)行處理3. Oracle數(shù)據(jù)庫(kù)應(yīng)急預(yù)案1)數(shù)據(jù)庫(kù)效勞崩潰問(wèn)題原因：由于受到忽然斷電、撞擊、磁盤損壞、系統(tǒng)資源嚴(yán)重缺乏、數(shù)據(jù)庫(kù)相關(guān)組件異常等影響,會(huì)造成數(shù)據(jù)庫(kù)效勞崩潰,所有依賴于數(shù)據(jù)庫(kù)效勞的應(yīng)用功能均無(wú)法正常使用.應(yīng)急預(yù)案：(1)如由于硬件損壞導(dǎo)致數(shù)據(jù)庫(kù)效勞崩潰,屬于不可恢復(fù)的事故,

12、需要 重新申請(qǐng)硬件資源,重新進(jìn)行數(shù)據(jù)效勞器的部署.(2)由于數(shù)據(jù)庫(kù)組件運(yùn)行異常導(dǎo)致數(shù)據(jù)庫(kù)效勞崩潰,可嘗試重啟Oracle數(shù)據(jù)庫(kù)相關(guān)效勞.(3)如重啟數(shù)據(jù)庫(kù)組件及操作系統(tǒng)均無(wú)法恢復(fù)數(shù)據(jù)庫(kù),那么需要重新安裝協(xié)同數(shù)據(jù)服 務(wù)器,并進(jìn)行備份數(shù)據(jù)復(fù)原.操作步驟：操作步驟根據(jù)當(dāng)?shù)匦谄鞑渴饝?yīng)急預(yù)案進(jìn)行處理.2)用戶鎖定問(wèn)題原因：由于用戶對(duì)數(shù)據(jù)庫(kù)進(jìn)行不正確的讀寫或是其他操作,造成數(shù)據(jù)庫(kù)用戶鎖定, 所有依賴于此用戶的數(shù)據(jù)庫(kù)效勞均無(wú)法對(duì)外提供,造成系統(tǒng)效勞異常.應(yīng)急預(yù)案：以數(shù)據(jù)庫(kù)超級(jí)治理員身份登錄數(shù)據(jù)庫(kù),解鎖被鎖定的用戶并重置密碼.操作步驟：(1)以sys用戶在PLSql等操作工具中登錄數(shù)據(jù)庫(kù)(2)在【用戶】菜單

13、下找到需要進(jìn)行解鎖的用戶(3)選中該用戶,進(jìn)行編輯(4)解除該用戶的鎖定標(biāo)識(shí)3)用戶數(shù)據(jù)喪失問(wèn)題原因：用戶對(duì)數(shù)據(jù)進(jìn)行誤刪除操作,會(huì)導(dǎo)致該用戶數(shù)據(jù)喪失.由此引發(fā)系統(tǒng)功能 應(yīng)用數(shù)據(jù)喪失異常.應(yīng)急預(yù)案：復(fù)原用戶數(shù)據(jù)備份操作步驟：(1)保證數(shù)據(jù)恢復(fù)期間,系統(tǒng)暫停業(yè)務(wù)使用(2)假設(shè)用戶數(shù)據(jù)備份為DMP用戶對(duì)象備份,那么需要先刪除該用戶所有用戶對(duì)象,利用數(shù)據(jù)庫(kù)備份復(fù)原工具復(fù)原該用戶數(shù)據(jù)備份(3)假設(shè)該用戶備份數(shù)據(jù)僅為表數(shù)據(jù),那么只需要消除相關(guān)原表數(shù)據(jù),進(jìn)行數(shù)據(jù)備份復(fù)原 即可.4.系統(tǒng)應(yīng)急預(yù)案1)數(shù)據(jù)源效勞異常問(wèn)題原因：系統(tǒng)對(duì)數(shù)據(jù)庫(kù)的連接訪問(wèn)由統(tǒng)一的數(shù)據(jù)源進(jìn)行治理,重啟效勞器或者由于系統(tǒng)組件運(yùn)行沖突,會(huì)導(dǎo)致

14、系統(tǒng)數(shù)據(jù)源效勞異常.應(yīng)急預(yù)案：以SAPCE平臺(tái)超級(jí)治理員身份登錄平臺(tái),重啟數(shù)據(jù)源效勞即可.操作步驟：:50100/NWA).在右側(cè)搜索欄中輸入 “start進(jìn)行搜索,在結(jié)果中選擇【Start&Stop】歡送共閱功能.選擇【JavaEEApplication】頁(yè)簽,在【Name】中輸入?yún)f(xié)同數(shù)據(jù)源名稱,回車進(jìn)行在資源列表中選擇當(dāng)前協(xié)同數(shù)據(jù)源,選擇【Start1>QnAllInstance.,確認(rèn)操作.刷新當(dāng)前資源列表,即可發(fā)現(xiàn)協(xié)同數(shù)據(jù)源啟動(dòng)成功.2)用戶認(rèn)證失敗問(wèn)題原因：用戶來(lái)源于目錄系統(tǒng),由于用戶屢次登錄失敗會(huì)造成用戶鎖定等原因,造成系統(tǒng)用戶無(wú)法正常登錄系統(tǒng)登錄.應(yīng)急預(yù)案：以SAP

15、CE平臺(tái)超級(jí)治理員身份登錄平臺(tái),解鎖用戶或重置用戶密碼.操作步驟：(1)以協(xié)同效勞器超級(jí)治理員身份登錄IRJ模塊( :IRJ),選擇【用戶 治理】模塊,在搜索欄中查找到當(dāng)前需要解鎖的用戶.利用解鎖功能,解除該用戶鎖定標(biāo)識(shí).(3)點(diǎn)擊【編輯】按鈕,對(duì)該用戶密碼進(jìn)行重置.3)用戶角色異常問(wèn)題原因：用戶未正確分配角色,會(huì)導(dǎo)致用戶無(wú)權(quán)限進(jìn)行相關(guān)應(yīng)用操作.應(yīng)急預(yù)案：以SAPCE平臺(tái)超級(jí)治理員身份登錄平臺(tái),重置用戶相關(guān)角色.操作步驟：(1)以協(xié)同效勞器超級(jí)治理員身份登錄IRJ模塊( :IRJ),選擇【用戶管 理】模塊,在搜索欄中查找到當(dāng)前需要重置角色的用戶.(2)點(diǎn)擊【編輯】按鈕,對(duì)該用戶信息進(jìn)行編輯.(

16、3)切換至【已分配角色】頁(yè)簽,在左側(cè)角色資源搜索框中輸入需要進(jìn)行分配的角色.(4)點(diǎn)擊【添加】按鈕,將該角色分配給相應(yīng)用戶.(5)點(diǎn)擊【保存】按鈕,完成用戶角色分配.(6)以該用戶身份登錄,查看當(dāng)前角色是否已被分配.4)WebApplication 應(yīng)用異常問(wèn)題原因：由于公共應(yīng)用組件效勞沖突或運(yùn)行狀態(tài)異常,引起依賴于此公共組件的其 他應(yīng)用無(wú)法正常運(yùn)行.應(yīng)急預(yù)案：重啟流程公共應(yīng)用組件效勞,可解決此問(wèn)題.操作步驟：(1)以SAPCE超級(jí)治理員身份登錄平臺(tái),在右側(cè)搜索欄中輸入“ start(2)在搜索結(jié)果中選擇“ Start&Stop應(yīng)用功能(3)選擇“ J2EEApplicationSer

17、vice ,在表格搜索欄中輸入“ pubtool進(jìn)行搜(4)選中需要重啟的效勞,使用“ Start功能重啟該效勞5)流程應(yīng)用異常問(wèn)題原因：流程配置不正確、SAPBPM流程核心組件效勞異常均可導(dǎo)致流程應(yīng)用異常, 具體表現(xiàn)為流程無(wú)法正常發(fā)起或無(wú)法創(chuàng)立用戶待辦.應(yīng)急預(yù)案：(1)流程配置錯(cuò)誤引起的流程應(yīng)用異常,需要檢查流程配置并排除錯(cuò)誤后, 問(wèn)題可解決.(2)SAPBPM流程組件效勞異常引起的,可通過(guò)重新啟動(dòng)相關(guān)流程組件 效勞解決此問(wèn)題.操作步驟：(1)以SAPCE超級(jí)治理員身份登錄平臺(tái),在右側(cè)搜索欄中輸入“ start(2)在搜索結(jié)果中選擇“ Start&Stop應(yīng)用功能選擇" J

18、2EEApplicationService ,在表格搜索欄中輸入“ glx進(jìn)行搜索.(4)選中需要重啟的效勞,使用“ Start功能重啟該效勞歡送共閱6集成效勞異常問(wèn)題原因：關(guān)聯(lián)系統(tǒng)未正常提供正確的效勞、總部企業(yè)效勞總線對(duì)集成效勞注冊(cè)治理異常均可能引起集成效勞調(diào)用失敗,依賴于這些效勞的應(yīng)用功能無(wú)法正常運(yùn)行.應(yīng)急預(yù)案：協(xié)調(diào)協(xié)同關(guān)聯(lián)系統(tǒng)及企業(yè)效勞總線檢查各效勞狀態(tài),解決相關(guān)問(wèn)題.操作步驟：1假設(shè)關(guān)聯(lián)系統(tǒng)效勞提供異常,那么需要協(xié)調(diào)關(guān)聯(lián)系統(tǒng)工程組,啟動(dòng)相關(guān)的服 務(wù).2假設(shè)企業(yè)效勞總線對(duì)相關(guān)效勞注冊(cè)治理異常, 那么需要協(xié)調(diào)企業(yè)效勞總線工程組, 對(duì)服 務(wù)重新進(jìn)行注冊(cè)治理.四、正式系統(tǒng)的修復(fù)：根據(jù)造成系統(tǒng)故障的不同原因,采用相應(yīng)的修復(fù)策略：1