系統測試

系統測試的根本任務就是要證明被測系統的功能和結構的穩(wěn)定性；還要有一些非功能測試：性能測試、壓力測試、可靠性測試等等。

最終目的是為了確保軟件產品能夠被用戶或操作者接受。測試的主要目標不再是找出缺陷，而是證明其性能。系統測試屬于黑盒測試范疇，不再對軟件的源代碼進行分析和測試。一、什么是系統測試

系統測試就是將已經集成好的軟件系統，作為整個計算機系統的一個元素，與計算機硬件、外設、某些支持軟件、數據和人員等其它系統元素結合在一起，在實際運行（使用）環(huán)境下，對計算機系統進行一系列的組裝測試和確認測試。

系統測試的目的在于通過與系統的需求定義比較，檢查軟件是否存在與系統定義不符合或與之矛盾的地方，以驗證軟件系統的功能和性能等滿足其規(guī)約所指定的要求。二、系統測試的組織和分工

測試組組長：組織測試；測試分析員：負責設計和實現測試腳本和測試用例；測試者：負責執(zhí)行測試腳本中記錄的測試用例。

同時可以邀請客戶代表參與系統測試，可以與客戶建立一個良好的平臺，并且得到反饋信息。

過程：搭建好系統測試的軟、硬件平臺制定軟件測試計劃(與開發(fā)人員多多溝通)系統測試提交系統測試的大量輸出的拷貝文檔(包括測試結果記錄表格、系統測試日志和全面的系統測試總結報告)。三、如何進行系統測試

系統測試過程要經歷以下幾個階段：1、計劃階段：制定測試計劃2、設計階段：對系統進行詳細的測試分析，然后設計一些典型的，滿足測試需求的測試用例；同時給出系統測試的大致過程。3、實施階段：使用當前的軟件版本進行測試腳本的錄制工作，確定軟件的基線。4、執(zhí)行階段：根據系統測試計劃和事先設計好的系統測試用例，以及一定測試規(guī)程進行測試腳本的回放。5、評估階段：進行評估，以確定系統測試是否通過。四、系統測試類型、方法安全性測試容錯性測試配置測試兼容性測試可靠性測試功能測試用戶界面測試回歸測試性能測試負載測試針對功能測試的主要內容：

程序安裝、啟動正常，有相應的提示框、錯誤提示等每項功能符合實際要求系統的界面清晰、美觀菜單、按鈕操作正常、靈活，能處理一些異常操作能接受正確的數據輸入，對異常數據的輸入有提示、容錯處理等

數據的輸出結果準確，格式清晰，可以保存和讀取功能邏輯清楚，符合使用者習慣系統的各種狀態(tài)按照業(yè)務流程而變化，并保持穩(wěn)定支持各種應用的環(huán)境能配合多種硬件周邊設備軟件升級后，能繼續(xù)支持舊版本的數據與外部應用系統的接口有效

1、用戶界面測試優(yōu)秀UI應具備的7要素：（1）符合標準和規(guī)范（2）一致性（3）正確性（4）直觀性（5）靈活性（6）舒適性（7）寬容性（1）符合標準和規(guī)范

通常標準是已經確立的，多數用戶已經熟悉并接受了這些標準和規(guī)范、或已經認同了這些信息所代表的意義。

如果軟件在某一個平臺上運行，就需要把該平臺的標準和規(guī)范作為產品規(guī)格說明書的補充內容，在建立測試案例時和產品規(guī)格說明書一樣作為依據。（2）一致性與用戶的現實世界的一致性與用戶常用或習慣的軟件產品的一致性不同用戶界面之間的一致性

（3）直觀性

首先了解所需的功能或期待的響應應該明顯，并在預期的地方出現。其次要考慮用戶界面的組織和布局是否合理。（4）靈活性不同用戶所使用的功能和數據存在差異，這種差異應反映到界面，即要為不同用戶提供合適的個性化界面或選擇的靈活性。

（5）舒適性盡可能降低用戶操作的復雜性，盡量減少結構層次及用戶操作量用戶界面的外觀、風格與用戶的工作性質和環(huán)境協調錯誤處理

（6）正確性測試是否做了該做的事。（7）寬容性對用戶錯誤操作的寬容。

用戶界面測試標準（1）保證用戶界面運作的一致性（2）界面上的布局（3）顏色使用要恰當（4）字體使用要適當（英文NewTimesRoman，中文一般采用宋體）（5）適當的信息和標簽措詞Windows檢查單編號測試項1窗口的長度和寬度接近黃金比例2窗口上的按鈕布局與界面相協調，不要過于密集或空曠3界面上的字體一般為宋體，字號一般為8-12號4顏色搭配合理，不使用大紅大綠5菜單深度不超過3級，快捷鍵沒有重復6無錯別字，無中英文混合使用7字體樣式統一，無全角、半角混合使用8測試窗體在常用分辨率下的使用情況9狀態(tài)欄上要實時顯示操作后窗體發(fā)生的變化2、性能測試（1）性能測試通過測試，確認系統在預定的負載等級上的系統性能是否滿足性能需求或達到性能指標。（2）性能測試的類型驗證測試基準測試規(guī)劃測試2、性能測試

性能測試(Performancetest)通過測試以確定系統運行時的性能表現，如得到運行速度、響應時間、占有系統資源等方面的系統數據。2、性能測試（1）性能測試的目的和需求目的：

為了驗證系統是否達到用戶提出的性能指標，同時發(fā)現系統中存在的性能瓶頸，起到優(yōu)化系統的目的。性能測試需求：

用戶對各項指標提出的明確需求；如果用戶沒有提出性能指標則根據用戶需求、測試設計人員的經驗來設計各項測試指標。（需求+經驗）主要的性能指標：

服務器的各項指標（CPU、內存占用率等）、后臺數據庫的各項指標、網絡流量、響應時間2、性能測試（2）性能測試方法負載模擬：

并發(fā)用戶+思考時間+每次請求的數據量+負載模式。性能測試步驟：確定性能測試需求根據測試需求，選擇測試工具和開發(fā)相應的測試腳本建立性能測試負載模型，就是確定并發(fā)虛擬用戶的數量、每次請求的數據量、思考時間、加載方式和持續(xù)加載的時間等執(zhí)行性能測試結果分析，并提交性能測試報告2、性能測試（3）性能測試的要點測試環(huán)境應盡量與產品運行環(huán)境保持一致，應單獨運行盡量避免與其他軟件同時使用。性能測試一般使用測試工具和測試人員編制測試腳本來完成。性能測試的重點在于前期數據的設計與后期數據的分析。性能測試的用例主要涉及到整個系統架構的問題，所以測試用例一旦生成，改動一般不大，所以做性能測試的重復使用率一般比較高。2、性能測試（4）性能測試的方法和技巧

兩種負載類型“flat”測試ramp-up測試 對于企業(yè)級的系統，性能測試的方法主要有：基準測試性能規(guī)劃測試滲入測試峰谷測試2、性能測試

兩種負載類型

“Flat”測試:對于一次給定的測試，應該取響應時間和吞吐量的平均值。精確地獲得這些值的唯一方法是一次加載所有的用戶，然后在預定的時間段內持續(xù)運行。2、性能測試

兩種負載類型

Ramp-up測試:用戶是交錯上升的（每幾秒增加一些新用戶）。ramp-up測試不能產生精確和可重現的平均值，這是因為由于用戶的增加是每次一部分，系統的負載在不斷地變化。其優(yōu)點是，可以看出隨著系統負載的改變，測量值是如何改變的據此選擇要運行的flat測試的范圍。2、性能測試

基準測試(1)同時與服務器通信的連接（或虛擬用戶）的數目，每個虛擬用戶請求之間間隔時間的長短。隨著服務器上負載的增加，吞吐量會不斷攀升，直到到達一個點,并在這個點上穩(wěn)定下來基準測試的關鍵是要獲得一致的、可再現的結果。假定測試的兩個指標是服務器的響應時間和吞吐量，會受到負載的影響。而負載又受兩個因素影響：與服務器通信的用戶越多，負載就越大。同樣，請求之間間隔時間越短，負載也越大。這兩個因素的不同組合會產生不同的服務器負載等級.2、性能測試

基準測試(2)

在某一點上，執(zhí)行隊列開始增長，因為服務器上所有的線程都已投入使用，傳入的請求不再被立即處理，而是放入隊列中，當線程空閑時再處理。當系統達到飽和點，服務器吞吐量保持穩(wěn)定后，就達到了給定條件下的系統上限。但是，隨著服務器負載的繼續(xù)增長，響應時間也隨之延長，雖然吞吐量保持穩(wěn)定。隊列產生響應時間資源使用2、性能測試

基準測試(3)將系統置于相同的高負載下，將請求之間間隔時間設為零。這樣服務器會立即超載，并開始構建執(zhí)行隊列。如果請求（虛擬用戶）數保持一致，基準測試的結果會非常精確flat運行是獲得基準測試數據的理想模式兩個事務的響應時間曲線2、性能測試

性能規(guī)劃測試性能規(guī)劃測試的目標是找出在特定的環(huán)境下，給定應用程序的性能可以達到何種程度。例如，如果要以5秒或更少的響應時間支持8,000個當前用戶，需要多少個服務器？要確定系統的容量，需要考慮幾個因素:用戶中有多少是并發(fā)與服務器通信的。每個用戶的請求間時間間隔是多少。2、性能測試

性能規(guī)劃測試(2)如何加載用戶以模擬負載狀態(tài)？最好的方法是模擬高峰時間用戶與服務器通信的狀況。如果用戶負載狀態(tài)是在一段時間內逐步達到的,選擇ramp-up測試，每隔幾秒增加x個用戶;

如果所有用戶是在一個非常短的時間內同時與系統通信，就應該使用flat測試，將所有的用戶同時加載到服務器. 什么是確定容量的最好方法？結合兩種負載類型的優(yōu)點，并運行一系列的測試;如：首先使用ramp-up測試確定系統支持的用戶范圍該范圍內不同的并發(fā)用戶負載進行一系列的flat測試，更精確地確定系統的容量。2、性能測試

滲入測試滲入測試是一種比較簡單的性能測試。滲入測試所需時間較長，它使用固定數目的并發(fā)用戶測試系統的總體健壯性。這些測試將會通過內存泄漏、增加的垃圾收集(GC)或系統的其他問題，顯示因長時間運行而出現的任何性能降低。

建議運行兩次測試——一次使用較低的用戶負載（要在系統容量之下，以便不會出現執(zhí)行隊列），一次使用較高的負載（以便出現積極的執(zhí)行隊列）。2、性能測試

峰谷測試兼有容量規(guī)劃ramp-up測試和滲入測試的特征,目標是確定從高負載（例如系統高峰時間的負載）恢復、轉為幾乎空閑、然后再攀升到高負載、再降低的能力。3、負載測試（1）負載測試

也稱壓力測試、強度測試。負載測試通過模擬實際應用的軟硬件環(huán)境及用戶使用過程的系統負荷，逐漸加載或一次性加載，長時間或超大負荷地運行軟件，以測試系統的穩(wěn)定性，并試圖找出系統性能的瓶頸和異常的地方。（2）負載測試總是迫使系統在異常的資源配置下運行。

例如:①當中斷的正常頻率為每秒1~2次時，運行每秒產生10個中斷的測試用例；②定量地增長數據輸入量，檢查對數據處理的反應能力；③運行需要最大存儲空間（或其他資源）的測試用例；④運行可能導致虛擬機崩潰或對磁盤進行大數據量存取操作的測試用例。（3）負載測試中加壓的方法

1）增加并發(fā)用戶數2）增加每秒請求處理的事務數3）增加中斷次數4、安全測試 安全測試檢查系統對非法侵入的防范能力。安全測試期間，測試人員假扮非法入侵者，采用各種辦法試圖突破防線。任務

想方設法截取或破譯口令；

專門開發(fā)軟件來破壞系統的保護機制；

故意導致系統失敗，企圖趁恢復之機非法進入；

試圖通過瀏覽非保密數據，推導所需信息等等。5、恢復性測試目的：恢復測試主要檢查系統的容錯能力

恢復測試中需要檢查以下各項：（1）錯誤探測功能（2）能否切換或啟動備用的硬件；（3）在故障發(fā)生時能否保護正在運行的作業(yè)和系統狀態(tài)；（4）在系統恢復后能否從最后記錄下來的無錯誤狀態(tài)開始繼續(xù)執(zhí)行作業(yè)，等等。（5）掉電測試：6、配置測試目標：在不同的硬件配置下，檢查系統是否發(fā)生功能或者性能上的問題方法：一般需要建立測試實驗室7、兼容性測試目標：檢驗被測試應用對其他應用或者系統的兼容性。常見的兼容性問題：（1）軟件產品在不同的軟件環(huán)境下都能夠按要求正常運行嗎？（2）是否能夠成功地實現數據的交換和共享？

（3）一個軟件產品的新版本是否能夠識別和處理它的老版本產生的數據或文檔？（4）一個系統軟件的新版本出來后，老版本上的應用都能夠在新版本上正常運行嗎？

（5）一個軟件產品是否符合指定的標準和規(guī)范？例如：假設用戶使用不同的Windows版本，包括98/98SE/XP/2000/Me；并使用Office的不同版本，包括97/2000/2003/XP。經過分析用戶不在Windows98/98SE/Me上使用OfficeXP/2003,只在WindowsXP上使用OfficeXP。請構造測試矩陣。8、安裝/卸載測試應考慮在下列不同測試條件下執(zhí)行（1）軟件產品標明的最低配置（2）“干凈”的操作系統（3）“臟”的操作系統（4）在不同的操作系統（5）升級安裝（6）減少可用磁盤空間（7）中途取消（8）改變默認的安裝路徑9、可靠性測試通常使用以下幾個指標來度量系統的可靠性：平均失效等待時間（MTTF，MeanTimeToFailure）平均失效間隔時間（MTBF，MeanTimeBetweenFailure）因故障而停機的時間在一年中應不超過多少時間。軟件可靠性是產品在規(guī)定的條件下和規(guī)定的時間內完成規(guī)定功能的能力,它的概率度量稱為可靠度.軟件可靠性模型1、平均失效等待時間（MTTF）的估算假設（1）單位長度中的錯誤總數近似為常數；（2）錯誤檢出率正比于程序中殘留錯誤數，而MTTF與程序中殘留錯誤數成反比；（3）錯誤不可能完全檢出，但一經檢出立即得到改正。軟件可靠性模型1、平均失效等待時間（MTTF）的估算設t：程序的測試時間ET：測試前的錯誤總數Ec(t)：在時間(0,t)期間糾正的錯誤數Er(t)：在時間t時的遺留錯誤數IT：程序的長度或指令的總數則Er(t)=ET-Ec(t)用IT除以上述等式兩邊，得到錯誤的規(guī)格化值假設N=程序中原來殘留的錯誤數；S=新植入程序的錯誤數；n=測試中發(fā)現的原有錯誤數；s=測試中發(fā)現的植入錯誤數假設測試中對這兩類錯誤具有同樣的發(fā)現能力，則有2、錯誤植入模型——隨機地把程序中一部分原有的錯誤加上標記，然后根據測試過程中發(fā)現的有標記錯誤和無標記錯誤的比例，估算程序中錯誤的總數。3、Hyman分別測試法怎樣隨機地