1、1,軟 件 測 試 技 術(shù),2,第五章 測試技術(shù)與應(yīng)用,5.1 系統(tǒng)測試技術(shù) 5.2 測試技巧 5.3 Web系統(tǒng)測試要點(diǎn),3,5.1 系統(tǒng)測試技術(shù),系統(tǒng)測試是針對整個(gè)產(chǎn)品系統(tǒng)進(jìn)行的測試，目的是驗(yàn)證系統(tǒng)是否滿足了需求規(guī)格的定義，找出與需求規(guī)格不相符合或與之矛盾的地方。 系統(tǒng)測試的對象不僅僅包括需要測試的產(chǎn)品系統(tǒng)的軟件，還要包含軟件所依賴的硬件、外設(shè)等。 系統(tǒng)測試最重要的是功能測試和性能測試。 除了功能測試和性能測試，在系統(tǒng)測試過程中，還有可能進(jìn)行一些其它的測試工作，例如：兼容性測試、可用性測試、安全測試、安裝測試。,4,5.1.1 功能測試,功能測試的目的是保證軟件的功能符合軟件需求，是各種測

2、試的基礎(chǔ)和起點(diǎn)。 功能測試的依據(jù)是需求文檔。 功能測試的基本方法是構(gòu)造一些合理輸入，檢查輸出是否與期望的相同。 功能測試一般以黑盒測試的方式進(jìn)行，通常采用等價(jià)類劃分和邊界值分析方法。,5,在進(jìn)行功能測試時(shí)，需要把輸入分為典型值、邊界值和異常值來處理。 在進(jìn)行功能測試時(shí)，測試人員往往需要了解該軟件的行業(yè)背景。,6,5.1.2 錯(cuò)誤處理測試,健壯性是軟件質(zhì)量的一個(gè)重要因素。錯(cuò)誤處理測試是檢查軟件在面對錯(cuò)誤時(shí)，是否進(jìn)行了正確的處理。 錯(cuò)誤測試的目的是要發(fā)現(xiàn)軟件是否做了用戶不期望的事情、發(fā)現(xiàn)軟件在發(fā)生異常的時(shí)候是否有能力進(jìn)行處理。 測試人員需要以否定的態(tài)度來思考問題。 在錯(cuò)誤處理測試中發(fā)現(xiàn)的部分問題可

3、能不會(huì)被修復(fù)。,7,典型的異常情況： 用戶輸入非法數(shù)據(jù) 在系統(tǒng)不支持的平臺(tái)上運(yùn)行 網(wǎng)絡(luò)連接異常 數(shù)據(jù)文件（或者數(shù)據(jù)庫）被破壞，數(shù)據(jù)文件（數(shù)據(jù)庫）中有混亂的數(shù)據(jù) 計(jì)算機(jī)斷電后啟動(dòng) 在用戶界面上的違反操作步驟的操作,8,非法的數(shù)據(jù)主要包括： 不輸入數(shù)據(jù) 輸入無效數(shù)字?jǐn)?shù)據(jù)，如負(fù)數(shù)和字母數(shù)字串 輸入任何被認(rèn)為是非法的數(shù)據(jù)類型格式 嘗試不常用的數(shù)據(jù)組合 確保使用零值 輸入超過或者短于要求長度的數(shù)據(jù),9,破壞環(huán)境的測試包括： 異常中斷應(yīng)用程序 斷開電纜連接 軟件運(yùn)行過程中，關(guān)閉計(jì)算機(jī)電源,10,5.1.3 內(nèi)存泄露測試,內(nèi)存泄漏是一種典型的程序缺陷，導(dǎo)致應(yīng)用程序不斷消耗系統(tǒng)內(nèi)存（或虛擬存儲(chǔ)器），使程序運(yùn)行

4、出現(xiàn)響應(yīng)變慢、某些功能無法實(shí)現(xiàn)，甚至整個(gè)系統(tǒng)癱瘓等問題。 在某些語言（如C/C+語言）編寫的程序中，內(nèi)存泄露是一個(gè)極其普遍的問題。 內(nèi)存泄露測試可采用靜態(tài)測試和動(dòng)態(tài)測試技術(shù)。 Compuware公司的BoundChecker，Rational的Purify就是一種典型的內(nèi)存泄露檢查工具。,11,5.1.4 用戶界面測試,圖形用戶界面測試和評估的重點(diǎn)是正確性、易用性和視覺效果。 界面中的文字檢查和拼寫檢查也是用戶界面測試的重要環(huán)節(jié)。 用戶界面測試的過程中，有時(shí)要依賴于測試人員的主觀判斷。,12,用戶界面測試的基本原則： 易用性原則 規(guī)范性原則 合理性原則 美觀與協(xié)調(diào)性原則 菜單位置原則 獨(dú)特性原

5、則 快捷方式的組合原則 排錯(cuò)性考慮原則 多窗口的應(yīng)用與系統(tǒng)資源原則,13,用戶界面測試用例,14,15,16,5.1.5 性能測試,性能測試包含并發(fā)性能測試、強(qiáng)度測試、破壞性測試等。 并發(fā)性能測試是評估系統(tǒng)交易或業(yè)務(wù)在漸增式并發(fā)情況下處理瓶頸以及能夠接收業(yè)務(wù)的性能過程。 強(qiáng)度測試是在資源情況低的情況下，找出因資源不足或資源爭用而導(dǎo)致的錯(cuò)誤。 破壞性測試重點(diǎn)關(guān)注超出系統(tǒng)正常負(fù)荷若干倍的情況下，錯(cuò)誤出現(xiàn)狀態(tài)和出現(xiàn)比率以及錯(cuò)誤的恢復(fù)能力。,17,性能測試可以通過黑盒測試或者白盒測試方法來進(jìn)行。,何時(shí)需要性能測試？,18,軟件中某個(gè)模塊涉及到復(fù)雜的計(jì)算，特別是一些基于人工智能的分析 涉及到大量數(shù)據(jù)的讀

6、寫、通訊 涉及到數(shù)據(jù)檢索，而被檢索的數(shù)據(jù)，具有很大的數(shù)據(jù)量 具有多個(gè)并發(fā)用戶 軟件在運(yùn)行時(shí)，可用資源（特別是CPU和內(nèi)存）可能在某些情況下很緊張。例如一些嵌入式系統(tǒng)軟件,19,如何進(jìn)行性能測試？,20,性能測試步驟： 確定明確的測試目標(biāo) 測試需求分析：主要目的是挖掘出可能造成系統(tǒng)瓶頸的因素 測試用例設(shè)計(jì) 腳本開發(fā)數(shù)據(jù)的準(zhǔn)備以及測試執(zhí)行與監(jiān)控 測試分析,21,項(xiàng)目背景： 公司的客戶信息系統(tǒng)，主要完成錄入、 修改以及查詢?nèi)蚩蛻舻男畔?，并將客戶信息轉(zhuǎn)入到業(yè)務(wù)系統(tǒng)。,性能測試分析,22,性能測試分析,確定測試目標(biāo) 在相同系統(tǒng)環(huán)境配置下30個(gè)并發(fā)用戶在15秒鐘內(nèi)完成各類在線操作。 測試需求分析 應(yīng)用配

7、置需求: 例如應(yīng)用整體框架、涉及到哪些第三方的組件、應(yīng)用層與數(shù)據(jù)庫層的接口、使用了什么數(shù)據(jù)庫等。 系統(tǒng)配置需求: 例如用戶客戶端配置、客戶端與服務(wù)器端的網(wǎng)絡(luò)配置、應(yīng)用服務(wù)器或數(shù)據(jù)庫服務(wù)器操作系統(tǒng)等。 用戶使用情況需求: 例如用戶分布情況; 哪些模塊用戶使用比較頻繁; 在用戶操作的數(shù)據(jù)有哪些特點(diǎn)等。,23,測試需求如下： Web Server Iplanet6.5 第三方組件 ORM Tool :hiberate 數(shù)據(jù)庫 Sybase12.5 用戶分布 亞洲、歐洲、北美 模塊使用情況:錄入新客戶信息、修改客戶信息以及很多客戶查詢 數(shù)據(jù)量情況：70%的客戶資料比較少，有30%的客戶是1012點(diǎn)（都

8、按照北京時(shí)間計(jì)算），這些較復(fù)雜。 用戶操作情況：上午910點(diǎn)、下午45點(diǎn)以及晚上1012點(diǎn)（都按照北京時(shí)間計(jì)算）這些時(shí)刻比較頻繁 網(wǎng)絡(luò)配置 通過專網(wǎng)（帶寬在130M,24,3測試用例設(shè)計(jì)：主要是根據(jù)測試需求分析的結(jié)果制定出在測試執(zhí)行時(shí)系統(tǒng)的執(zhí)行方法。應(yīng)考慮以下問題： 虛擬用戶的操作步驟要盡量類似于真實(shí)用戶的操作。 操作的數(shù)據(jù)要類同于真實(shí)用戶實(shí)際使用數(shù)據(jù)，例如在用戶錄入客戶信息時(shí)，根據(jù)需求得到的結(jié)果，可以設(shè)計(jì)有34個(gè)虛擬用戶在錄入一些小客戶的信息，12個(gè)虛擬用戶在錄入大客戶的信息等。 在設(shè)計(jì)時(shí)要充分考慮到需求中用戶對模塊的使用頻率。使得在模擬時(shí)每個(gè)模塊使用情況盡量地類似于真實(shí)環(huán)境。,25,4腳本

9、開發(fā)數(shù)據(jù)的準(zhǔn)備以及測試執(zhí)行與監(jiān)控 數(shù)據(jù)準(zhǔn)備一定要關(guān)注數(shù)據(jù)的質(zhì)量和數(shù)量，不要出現(xiàn)一些不符合業(yè)務(wù)邏輯的廢數(shù)據(jù)，并且數(shù)據(jù)量要滿足測試運(yùn)行的需要。例如測試需要100組數(shù)據(jù)，但是實(shí)際只準(zhǔn)備了50組，從而導(dǎo)致測試執(zhí)行結(jié)果出現(xiàn)大的偏差。 在此過程中如果有測試工具能夠滿足測試要求，那么應(yīng)盡量使用測試工具,5測試分析 測試分析的主要目的是要根據(jù)測試執(zhí)行獲取到的數(shù)據(jù)去判斷造成系統(tǒng)出現(xiàn)瓶頸的位置，挖掘造成系統(tǒng)瓶頸的真正原因。 盡量使用一些比較成熟的工具協(xié)助分析工作，這樣將大大減輕工作負(fù)擔(dān)。 在確定出真正的性能瓶頸時(shí)，可以做一些小的測試模型去做驗(yàn)證，確定分析的正確性。,26,5.1.6 安全測試,系統(tǒng)環(huán)境安全包括了物

10、理設(shè)備安全和軟件安全。 安全測試的目的是為了發(fā)現(xiàn)軟件中存在的安全漏洞。 安全測試重點(diǎn)：分析系統(tǒng)的安全隱患，為非法入侵設(shè)立目標(biāo)，例如盜竊某個(gè)文件、修改用戶權(quán)限、更改數(shù)據(jù)庫記錄等。,27,安全需要測試人員有足夠的能力去分析系統(tǒng)的安全隱患,安全性測試用例的參考模板,28,5.1.7 壓力測試,壓力測試也叫負(fù)荷測試，即獲取系統(tǒng)能正常運(yùn)行的極限狀態(tài)。 壓力測試用于檢查軟件在面對大數(shù)據(jù)量時(shí)是否可以正常運(yùn)行。 大數(shù)據(jù)量，往往是發(fā)生概率比較小的情況。 壓力測試所涉及的方面主要包括：數(shù)據(jù)庫大小、磁盤空間、可用內(nèi)存空間、數(shù)據(jù)通信量。,29,壓力測試用例的參考模板,30,5.1.8 安裝與卸載測試,安裝測試應(yīng)該考慮

11、以下方面： 測試各種不同的安裝組合，并驗(yàn)證各種不同組合的正確性 安裝退出之后，確認(rèn)應(yīng)用程序可以正確啟動(dòng)、運(yùn)行。 在安裝之前備份注冊表，安裝之后，察看注冊表中是否有多余的垃圾信息。 至少要在一臺(tái)筆記本上進(jìn)行安裝測試 安裝完成之后，可以在簡單地使用之后再執(zhí)行卸載操作 對于客戶服務(wù)器模式的應(yīng)用系統(tǒng)，可以先安裝客戶端，然后安裝服務(wù)器端，測試是否會(huì)出現(xiàn)問題。 考察安裝該系統(tǒng)是否對其他的應(yīng)用程序造成影響,31,5.1.9 升級測試,升級測試包括兩個(gè)方面：軟件本身的升級；軟件運(yùn)行環(huán)境升級。 軟件的升級測試需要對軟件重新進(jìn)行功能、性能等方面的測試工作。,32,5.1.10 兼容性測試,兼容性測試是為了檢驗(yàn)程序

12、與很多可能的硬件和系統(tǒng)軟件配置之間的兼容情況。 在進(jìn)行兼容性測試時(shí)，需要得到一份軟件的兼容性列表，主要考慮：,操作系統(tǒng)兼容性 瀏覽器兼容性 其它的軟件兼容 硬件兼容 帶寬限制/網(wǎng)絡(luò)環(huán)境兼容性,33,5.1.11 冒煙測試,冒煙測試(Smoke Testing)的目的是檢查版本的基本功能。 冒煙測試所進(jìn)行的是一系列對于該軟件比較核心的測試，一般從測試用例中選擇一部分核心的作為冒煙測試時(shí)所使用的測試用例。,34,5.1.12 文檔測試,文檔測試主要對產(chǎn)品手冊、用戶手冊、幫助文件等技術(shù)文檔進(jìn)行測試。 文檔測試中常見錯(cuò)誤：,文字錯(cuò)誤、語法錯(cuò)誤、拼寫錯(cuò)誤 所描述的操作步驟有遺漏 所描述的功能或者操作步驟

13、錯(cuò)誤,35,5.2 測試技巧,植入缺陷，就是在測試前向程序中植入一些缺陷 植入缺陷的目的是為了估計(jì)軟件中還有多少剩余的缺陷。 假設(shè)植入缺陷的數(shù)目是Ns，通過測試，發(fā)現(xiàn)了n1個(gè)植入的缺陷，發(fā)現(xiàn)了n2個(gè)軟件固有的缺陷，那么，軟件中固有缺陷的估算值(N0)為： N0 = n2 * Ns / n1 軟件中殘余缺陷的估算值則為 ：N0 n2,5.2.1 植入缺陷,36,回歸測試是指對某些已經(jīng)被測試過的內(nèi)容進(jìn)行重新測試。,5.2.2 回歸測試,軟件增加后影響軟件的結(jié)構(gòu)。 軟件修改考慮不周，引入問題。,為何需要回歸測試？,37,每改動(dòng)一次都需要回歸測試？,測試人員可以按照實(shí)際情況選擇回歸策略： 每兩周需要進(jìn)

14、行一次完整的回歸測試 當(dāng)修復(fù)的缺陷數(shù)量累計(jì)到50個(gè)時(shí)，進(jìn)行一次完整的回歸測試 在產(chǎn)品遞交用戶前5個(gè)工作日，進(jìn)行完成的回歸測試,回歸測試通?？梢允褂米詣?dòng)化測試工具。,38,5.3 Web系統(tǒng)測試要點(diǎn),Web應(yīng)用系統(tǒng)的測試重點(diǎn)：性能、兼容性、安全性、正確性。 Web應(yīng)用系統(tǒng)可以分為服務(wù)器端測試和客戶端測試兩個(gè)部分。 服務(wù)端重點(diǎn)需要進(jìn)行的測試內(nèi)容：性能測試、負(fù)載測試和安全測試。 客戶端重點(diǎn)需要進(jìn)行的是兼容性測試。 Web應(yīng)用系統(tǒng)在進(jìn)行負(fù)載測試時(shí)，通常主要關(guān)注：并發(fā)用戶數(shù)量 、吞吐量,39,Web系統(tǒng)測試實(shí)例,項(xiàng)目背景：某官方網(wǎng)站進(jìn)行的系統(tǒng)級的測試。 項(xiàng)目需求： 主要功能包括相關(guān)信息的收集、發(fā)布以及與

15、廣大互聯(lián)網(wǎng)用戶之間的信息交互。系統(tǒng)共由內(nèi)容管理、WebGuard網(wǎng)頁防篡改、客戶關(guān)系、全文檢索、方案征集、嘉賓聊天、XX人才、通用留言板、索票、網(wǎng)上投票、文字直播、內(nèi)容過濾、咨詢等13個(gè)子系統(tǒng)組成。 其中內(nèi)容管理、WebGuard網(wǎng)頁防篡改、全文檢索、內(nèi)容過濾這四個(gè)子系統(tǒng)，面向后臺(tái)管理用戶，均采用C/S架構(gòu)。其余子系統(tǒng)采用B/S架構(gòu)。 各子系統(tǒng)分別部署在windows和Linux操作平臺(tái)上。,40,項(xiàng)目環(huán)境要求：(C/S),41,42,測試要點(diǎn)分析： 從功能測試的角度來說，不但需要檢查和驗(yàn)證系統(tǒng)是否按照設(shè)計(jì)的要求實(shí)現(xiàn)了各項(xiàng)功能，而且還要測試系統(tǒng)在不同類型的瀏覽器端的顯示是否合適。 Web系統(tǒng)對

16、于用戶界面（也就是頁面）的要求也遠(yuǎn)遠(yuǎn)超過了傳統(tǒng)的C/S架構(gòu)的軟件，更加關(guān)注頁面的視覺效果，因此，Web頁面設(shè)計(jì)是否合理，風(fēng)格是否統(tǒng)一，是否方便用戶瀏覽也是功能測試需要關(guān)注的一個(gè)方面。 從性能測試的角度來說， Web系統(tǒng)將所有的功能操作均盡可能的放在后臺(tái)的服務(wù)器端進(jìn)行處理，這使得服務(wù)器端的性能至關(guān)重要，這也是系統(tǒng)是否會(huì)產(chǎn)生性能瓶頸的一個(gè)關(guān)鍵所在。 Web系統(tǒng)受其自身事務(wù)處理模式所決定，瀏覽器端必須通過網(wǎng)絡(luò)，很多時(shí)候是通過公眾互聯(lián)網(wǎng)，與服務(wù)器端進(jìn)行數(shù)據(jù)的傳遞與交互。這就使得對數(shù)據(jù)進(jìn)行加密保護(hù)，防止信息在傳輸過程中泄露，成為了當(dāng)務(wù)之急；同時(shí)面向廣大外部用戶的Web系統(tǒng)，極易受到來自網(wǎng)絡(luò)上的攻擊，系統(tǒng)

17、一旦出現(xiàn)安全漏洞，就很有可能被外來者利用，因此， Web系統(tǒng)（尤其是電子商務(wù)系統(tǒng)）對安全的要求，遠(yuǎn)比一般系統(tǒng)要高。對Web系統(tǒng)的安全性測試，也將重點(diǎn)圍繞這兩點(diǎn)展開。,43,測試內(nèi)容 功能測試 性能測試 安全性測試 兼容性測試,44,功能測試 頁面鏈接測試 表單測試 Cookies測試 內(nèi)容測試 整體界面測試 功能驗(yàn)證測試,45,性能測試 并發(fā)性測試 服務(wù)器性能監(jiān)測,46,并發(fā)性測試 并發(fā)瀏覽測試 并發(fā)查詢測試 并發(fā)注冊測試 并發(fā)登錄測試 文字直播并發(fā)測試 通用留言板并發(fā)測試 咨詢系統(tǒng)并發(fā)測試 方案征集并發(fā)測試,47,運(yùn)行狀態(tài)監(jiān)測：監(jiān)測相關(guān)服務(wù)器的以下性能指標(biāo) cpu 內(nèi)存使用情況 磁盤讀寫 特定應(yīng)用系統(tǒng)的檢測（oracle）,網(wǎng)絡(luò)監(jiān)測：監(jiān)測相關(guān)服務(wù)器的以下性能指標(biāo) 最大利用率 平均幀速 幀的平均長度 幀總數(shù) 字節(jié)總數(shù) 沖突總數(shù),48,安全性測試 應(yīng)用層緩沖區(qū)溢出（壓力測試）； cookie安全使用狀況