軟件自動(dòng)化測(cè)試“高等職業(yè)院校技能應(yīng)用型教材·軟件技術(shù)系列軟件測(cè)試教程第五章01軟件自動(dòng)化測(cè)試的概念及特點(diǎn)自動(dòng)化測(cè)試概述01自動(dòng)化測(cè)試的概念軟件測(cè)試通常不是一次就能完成的。測(cè)試不僅要檢查已發(fā)現(xiàn)的缺陷是否得到修復(fù)，還要檢查修復(fù)過(guò)程中是否又引入了新的故障或缺陷，這說(shuō)明測(cè)試需要執(zhí)行多次。若一個(gè)項(xiàng)目有幾千甚至上萬(wàn)個(gè)測(cè)試用例需要執(zhí)行，其工作量將十分大，并會(huì)耗費(fèi)大量時(shí)間，此時(shí)，僅采用手工方式測(cè)試將難以實(shí)現(xiàn)。由此引發(fā)了用計(jì)算機(jī)來(lái)替代人工進(jìn)行自動(dòng)化測(cè)試的設(shè)想，特別是針對(duì)需要進(jìn)行反復(fù)測(cè)試的那些過(guò)程。這就是自動(dòng)化測(cè)試產(chǎn)生的原動(dòng)力。自動(dòng)化測(cè)試概述02自動(dòng)化測(cè)試的應(yīng)用自動(dòng)化測(cè)試是一個(gè)漸進(jìn)的過(guò)程，可能并不需要一開(kāi)始就對(duì)所有的測(cè)試采用自動(dòng)化的策略。如何確定在哪個(gè)階段、哪些測(cè)試需要實(shí)施自動(dòng)化策略，已成為自動(dòng)化測(cè)試首先需要解決的問(wèn)題。例如，有些測(cè)試活動(dòng)雖執(zhí)行時(shí)間不長(zhǎng)，但過(guò)程很煩瑣，需執(zhí)行的動(dòng)作非常多，測(cè)試10min，可能需要擊鍵150次，打開(kāi)8個(gè)窗口，不斷地進(jìn)行切換操作。若將此操作過(guò)程自動(dòng)化，則可大大提高測(cè)試的效率及測(cè)試的可靠性（確保操作的正確性），此時(shí)可考慮采用自動(dòng)化測(cè)試的策略，這很有價(jià)值。又如，對(duì)軟件系統(tǒng)的各項(xiàng)功能的測(cè)試，因?yàn)榭梢院苊鞔_地知道應(yīng)在什么情況下輸入什么數(shù)據(jù)，會(huì)有什么樣的輸出結(jié)果，所以易于實(shí)現(xiàn)自動(dòng)化，從自動(dòng)化測(cè)試中可獲得好的效果。例如，針對(duì)軟件系統(tǒng)的功能測(cè)試、性能測(cè)試、負(fù)載測(cè)試、壓力測(cè)試、安全性測(cè)試等，就非常適合運(yùn)用自動(dòng)化測(cè)試的策略。自動(dòng)化測(cè)試概述03實(shí)現(xiàn)自動(dòng)化測(cè)試的三個(gè)要素自動(dòng)化測(cè)試的實(shí)現(xiàn)，通常要具備三個(gè)要素。（1）測(cè)試的自動(dòng)執(zhí)行。能使用強(qiáng)功能的函數(shù)直接操作控件，測(cè)試過(guò)程可基本實(shí)現(xiàn)自動(dòng)化或較少人工干預(yù)的半自動(dòng)化。（2）對(duì)狀態(tài)的自動(dòng)識(shí)別。對(duì)狀態(tài)的自動(dòng)識(shí)別可通過(guò)直接識(shí)別、間接識(shí)別和不識(shí)別（默認(rèn)狀態(tài)）三種方式實(shí)現(xiàn)。例如，能對(duì)軟件使用的原始狀態(tài)通過(guò)模擬操作的方式進(jìn)行識(shí)別。（3）自動(dòng)的邏輯處理。在測(cè)試過(guò)程中，對(duì)簡(jiǎn)單的邏輯處理能通過(guò)測(cè)試系統(tǒng)自身來(lái)實(shí)現(xiàn)，而對(duì)復(fù)雜的邏輯處理則需通過(guò)引用外部的系統(tǒng)來(lái)實(shí)現(xiàn)。自動(dòng)化測(cè)試的實(shí)現(xiàn)，需要經(jīng)過(guò)分析、確認(rèn)、規(guī)劃、建立測(cè)試系統(tǒng)（包括自動(dòng)化測(cè)試工具的運(yùn)用）、執(zhí)行測(cè)試等過(guò)程。自動(dòng)化測(cè)試的特點(diǎn)01自動(dòng)化測(cè)試的優(yōu)勢(shì)可提高某些測(cè)試任務(wù)的執(zhí)行效率，如壓力測(cè)試。方便進(jìn)行回歸測(cè)試。特別是在程序修改頻繁時(shí)，自動(dòng)化測(cè)試的效果非常明顯。由于回歸測(cè)試的動(dòng)作和測(cè)試用例是設(shè)計(jì)好的，測(cè)試的結(jié)果完全可預(yù)料，因此，回歸測(cè)試的自動(dòng)化可極大提高測(cè)試效率。在較少時(shí)間內(nèi)運(yùn)行更多的測(cè)試，如對(duì)運(yùn)行煩瑣的測(cè)試、系統(tǒng)的每日構(gòu)建等?？蓤?zhí)行某些手工測(cè)試難以或不可能實(shí)現(xiàn)的測(cè)試，如對(duì)大量（如幾百或上千、上萬(wàn)個(gè)）用戶(hù)進(jìn)行并發(fā)測(cè)試。更好地利用人力資源。為煩瑣且重復(fù)的測(cè)試工作賦予自動(dòng)化的方式，可提高測(cè)試的準(zhǔn)確性和效率，將測(cè)試人員從繁重的工作中解脫出來(lái)，將更多的精力放在測(cè)試的分析、設(shè)計(jì)及規(guī)劃工作上。自動(dòng)化測(cè)試的特點(diǎn)01自動(dòng)化測(cè)試的優(yōu)勢(shì)測(cè)試具有一致性與可重復(fù)性。因?yàn)槊看螠y(cè)試的執(zhí)行內(nèi)容及過(guò)程的一致性得到了保障，故可達(dá)到測(cè)試可重復(fù)的效果。例如，回歸測(cè)試、重復(fù)單一數(shù)據(jù)錄入或擊鍵等操作測(cè)試；又如，測(cè)試用例具有極大相似性且測(cè)試步驟基本相同，只是輸入?yún)?shù)不同，如等價(jià)類(lèi)在很多情形下就是這樣。測(cè)試腳本具有復(fù)用性。自動(dòng)化測(cè)試通常采用腳本技術(shù)，以實(shí)現(xiàn)在不同測(cè)試過(guò)程中使用相同的測(cè)試用例。只需要對(duì)腳本做少量修改甚至不做修改，就可以實(shí)現(xiàn)測(cè)試的復(fù)用?？勺屲浖M早發(fā)布、投入市場(chǎng)。自動(dòng)化測(cè)試可縮短測(cè)試的時(shí)間，縮短產(chǎn)品開(kāi)發(fā)周期，令軟件產(chǎn)品盡早投入市場(chǎng)。增強(qiáng)軟件的可信度。由于測(cè)試是自動(dòng)執(zhí)行的，所以不存在手工執(zhí)行過(guò)程中由于疏忽而出現(xiàn)的錯(cuò)誤。通過(guò)自動(dòng)化測(cè)試，軟件產(chǎn)品的可信度（質(zhì)量）會(huì)增強(qiáng)。自動(dòng)化測(cè)試的特點(diǎn)01自動(dòng)化測(cè)試的優(yōu)勢(shì)適用于非常重要的測(cè)試和涉及范圍很廣的測(cè)試，如針對(duì)系統(tǒng)的GUI測(cè)試、功能與性能的測(cè)試等?？奢^快或?qū)崟r(shí)地獲得測(cè)試結(jié)果。如路徑測(cè)試、邏輯流程與控制流的覆蓋測(cè)試。測(cè)試執(zhí)行與控制可實(shí)現(xiàn)自動(dòng)化。例如，單機(jī)運(yùn)行或網(wǎng)絡(luò)分布式運(yùn)行的測(cè)試，在節(jié)假日或工作日夜間可運(yùn)行的測(cè)試。可自動(dòng)完成對(duì)測(cè)試用例的調(diào)用控制，如對(duì)測(cè)試對(duì)象、測(cè)試范圍、測(cè)試報(bào)告及文檔生成，以及對(duì)測(cè)試版本的管理控制的測(cè)試。對(duì)測(cè)試結(jié)果與標(biāo)準(zhǔn)輸出需進(jìn)行大量或精確的比對(duì)。例如，對(duì)不符合預(yù)期的測(cè)試結(jié)果的分析、記錄、分類(lèi)及報(bào)告，以及總體測(cè)試狀況的統(tǒng)計(jì)及報(bào)表的分析。若測(cè)試運(yùn)行時(shí)間只占總體測(cè)試時(shí)間的10%，而需花費(fèi)90%的總體測(cè)試時(shí)間進(jìn)行準(zhǔn)備，則可考慮實(shí)施自動(dòng)化測(cè)試。自動(dòng)化測(cè)試的特點(diǎn)02自動(dòng)化測(cè)試的局限性不現(xiàn)實(shí)的期望。自動(dòng)化測(cè)試工具不能解決面臨的所有問(wèn)題。事實(shí)上，當(dāng)期望不現(xiàn)實(shí)或過(guò)高時(shí)，自動(dòng)化測(cè)試將難以滿(mǎn)足這種期望。缺乏自動(dòng)化測(cè)試的經(jīng)驗(yàn)。例如，缺乏自動(dòng)化測(cè)試的實(shí)踐經(jīng)驗(yàn)，測(cè)試的組織協(xié)調(diào)較差，軟件開(kāi)發(fā)和測(cè)試的相關(guān)文檔較少或兩者不一致時(shí)，自動(dòng)化測(cè)試發(fā)現(xiàn)缺陷或錯(cuò)誤的能力將大大降低。此時(shí)，首先要考慮和改進(jìn)測(cè)試的有效性，而非測(cè)試的效率。期望自動(dòng)化測(cè)試能夠發(fā)現(xiàn)大量新的缺陷。自動(dòng)化測(cè)試在首次運(yùn)行時(shí)最有可能發(fā)現(xiàn)缺陷，若測(cè)試已運(yùn)行過(guò)，再次運(yùn)行相同的測(cè)試，發(fā)現(xiàn)新缺陷的概率很小。例如回歸測(cè)試，再次運(yùn)行相同測(cè)試，并不能發(fā)現(xiàn)新問(wèn)題。自動(dòng)化測(cè)試的特點(diǎn)02自動(dòng)化測(cè)試的局限性錯(cuò)誤地認(rèn)為自動(dòng)化測(cè)試的可靠性一定高。例如，在自動(dòng)化測(cè)試過(guò)程中沒(méi)有發(fā)現(xiàn)任何軟件缺陷，并不能說(shuō)明軟件缺陷或錯(cuò)誤不存在，此時(shí)不應(yīng)產(chǎn)生軟件的可靠性就一定高的錯(cuò)覺(jué)。錯(cuò)誤地認(rèn)為自動(dòng)化測(cè)試無(wú)須維護(hù)。實(shí)際上，在軟件被修改后，通常對(duì)測(cè)試也需做相應(yīng)的調(diào)整、修正工作，即自動(dòng)化測(cè)試通常是需要不斷維護(hù)的，因此，這可能會(huì)帶來(lái)自動(dòng)化測(cè)試維護(hù)的高成本。技術(shù)問(wèn)題的影響因素。商業(yè)測(cè)試工具屬于軟件產(chǎn)品，有其適用范圍，并不能包羅所有測(cè)試。實(shí)際上，測(cè)試工具本身就可能存在不足或問(wèn)題。雖然測(cè)試工具能處理某些測(cè)試中的異常事件，但對(duì)實(shí)時(shí)突發(fā)事件的處理可能無(wú)能為力。因此，從技術(shù)層面將無(wú)法做到完美無(wú)缺和無(wú)所不能，完全替代所有手工測(cè)試。另外，在自動(dòng)化測(cè)試工具充分地利用發(fā)揮其作用方面，使用者的專(zhuān)業(yè)能力和技術(shù)水平的影響也十分顯著。02軟件自動(dòng)化測(cè)試生命周期方法學(xué)及其應(yīng)用自動(dòng)化測(cè)試的決策確認(rèn)采用自動(dòng)化測(cè)試是自動(dòng)化測(cè)試生命周期的第一個(gè)階段。測(cè)試需求分析為首要問(wèn)題，需要明確測(cè)試目標(biāo)、測(cè)試解決什么問(wèn)題、是否采用測(cè)試工具、選用哪種測(cè)試工具等。該階段主要是分析、總結(jié)自動(dòng)化測(cè)試對(duì)軟件開(kāi)發(fā)的潛在優(yōu)勢(shì)及可能存在的問(wèn)題，做出測(cè)試過(guò)程中哪些環(huán)節(jié)采用自動(dòng)化測(cè)試策略的決定。應(yīng)用自動(dòng)化測(cè)試的策略與技術(shù)，構(gòu)建自動(dòng)化測(cè)試系統(tǒng)可解決許多測(cè)試問(wèn)題，如對(duì)基于互聯(lián)網(wǎng)的Web應(yīng)用系統(tǒng)的測(cè)試都會(huì)不同程度地采用自動(dòng)化測(cè)試的策略與技術(shù)。通用的自動(dòng)化測(cè)試系統(tǒng)模型如圖5-2所示。自動(dòng)化測(cè)試的決策圖5-2通用的自動(dòng)化測(cè)試系統(tǒng)模型測(cè)試工具的獲取自動(dòng)化測(cè)試工具的獲取是自動(dòng)化測(cè)試生命周期的第二個(gè)階段。該階段選擇和確定可用于支持測(cè)試生命周期中的不同測(cè)試類(lèi)型的測(cè)試工具，并需要確定如何獲取測(cè)試工具（自行開(kāi)發(fā)、購(gòu)置或采用混合方案）。自動(dòng)化測(cè)試工具的選擇應(yīng)考慮以下幾個(gè)因素：測(cè)試需求、效果預(yù)測(cè)、實(shí)現(xiàn)條件和成本控制。根據(jù)適用的測(cè)試階段和目的的不同，測(cè)試工具可分為功能測(cè)試工具、非功能測(cè)試工具、組件（單元）測(cè)試工具、測(cè)試管理工具，以及測(cè)試用例設(shè)計(jì)、開(kāi)發(fā)工具等。若按測(cè)試技術(shù)方法的分類(lèi)指導(dǎo)原則劃分，可分為黑盒測(cè)試工具、白盒測(cè)試工具和測(cè)試管理工具三大類(lèi)。通常，黑盒測(cè)試工具是運(yùn)用黑盒技術(shù)，具備功能性、優(yōu)良的性能、安全性的測(cè)試工具，主要用于系統(tǒng)性測(cè)試和驗(yàn)收測(cè)試。白盒測(cè)試工具指測(cè)試、分析軟件代碼結(jié)構(gòu)的工具，可實(shí)現(xiàn)代碼的靜態(tài)分析、動(dòng)態(tài)測(cè)試和軟件度量等功能。測(cè)試管理工具是指管理測(cè)試流程的工具，主要用于實(shí)現(xiàn)測(cè)試計(jì)劃管理、測(cè)試需求管理、缺陷管理、測(cè)試用例管理、測(cè)試過(guò)程管理，以及測(cè)試報(bào)告文檔的管理等。測(cè)試工具的獲取測(cè)試平臺(tái)是用于支持不同測(cè)試環(huán)境的測(cè)試床（平臺(tái)）和模擬器；是進(jìn)行軟件修改前后功能的分析和軟件風(fēng)險(xiǎn)及復(fù)雜度評(píng)價(jià)的靜態(tài)分析器和比較器；用于測(cè)試執(zhí)行和回歸測(cè)試驅(qū)動(dòng)；度量和報(bào)告測(cè)試結(jié)果及進(jìn)行覆蓋率動(dòng)態(tài)分析等。事實(shí)上，許多自動(dòng)化測(cè)試工具同時(shí)具有多種功能與特性，使用時(shí)應(yīng)明確其適用范圍及領(lǐng)域，正確掌握其應(yīng)用方法（或需二次開(kāi)發(fā)），以有效地發(fā)揮其作用。能否正確、合理地選用測(cè)試工具關(guān)系到測(cè)試效率、成本，甚至關(guān)系到測(cè)試的成敗。例如，單一測(cè)試工具不能滿(mǎn)足大多數(shù)測(cè)試的需要；兼容性測(cè)試工具對(duì)一些控件特性的識(shí)別難度較大；對(duì)某些物理設(shè)備的功能結(jié)果判定，測(cè)試工具無(wú)能為力，如對(duì)打印結(jié)果的檢查等。自動(dòng)化測(cè)試的引入這是自動(dòng)化測(cè)試生命周期的第三個(gè)階段，包括對(duì)測(cè)試過(guò)程的分析和對(duì)測(cè)試工具的評(píng)估。對(duì)測(cè)試過(guò)程的分析：定義測(cè)試目標(biāo)和策略。對(duì)測(cè)試工具的評(píng)估：所選測(cè)試工具是否滿(mǎn)足測(cè)試需求、測(cè)試環(huán)境、用戶(hù)環(huán)境、運(yùn)行平臺(tái)及被測(cè)試對(duì)象等。自動(dòng)化測(cè)試引入后的系統(tǒng)功能組成如圖5-3所示。圖5-3自動(dòng)化測(cè)試引入后的系統(tǒng)功能組成確定測(cè)試計(jì)劃、進(jìn)行測(cè)試設(shè)計(jì)01確定測(cè)試計(jì)劃確定測(cè)試計(jì)劃包括確定測(cè)試流程生成標(biāo)準(zhǔn)與準(zhǔn)則；支撐測(cè)試環(huán)境所需配置的硬件、軟件和網(wǎng)絡(luò)系統(tǒng)；確定測(cè)試數(shù)據(jù)的需求，初步安排測(cè)試進(jìn)度，控制測(cè)試配置和建立測(cè)試環(huán)境；確定測(cè)試工具。另外，測(cè)試計(jì)劃還包括對(duì)測(cè)試方法及測(cè)試結(jié)果的描述。02進(jìn)行測(cè)試設(shè)計(jì)確定測(cè)試計(jì)劃包括確定測(cè)試流程生成標(biāo)準(zhǔn)與準(zhǔn)則；支撐測(cè)試環(huán)境所需配置的硬件、軟件和網(wǎng)絡(luò)系統(tǒng)；確定測(cè)試數(shù)據(jù)的需求，初步安排測(cè)試進(jìn)度，控制測(cè)試配置和建立測(cè)試環(huán)境；確定測(cè)試工具。另外，測(cè)試計(jì)劃還包括對(duì)測(cè)試方法及測(cè)試結(jié)果的描述。測(cè)試執(zhí)行與管理01自動(dòng)化測(cè)試流程自動(dòng)化測(cè)試可提供完整的測(cè)試流程框架，可以它為基礎(chǔ)，根據(jù)業(yè)務(wù)實(shí)際要求，來(lái)定制具體的測(cè)試流程。一般工具還提供對(duì)內(nèi)嵌軟件測(cè)試流程的測(cè)試管理工具的支持，包括完整的測(cè)試評(píng)估方法。自動(dòng)化測(cè)試標(biāo)準(zhǔn)流程如圖5-5所示。圖5-5自動(dòng)化測(cè)試標(biāo)準(zhǔn)流程測(cè)試執(zhí)行與管理01自動(dòng)化測(cè)試流程自動(dòng)化測(cè)試流程是測(cè)試的工作過(guò)程，通?？山柚鷾y(cè)試工具完成，測(cè)試工具可以進(jìn)行部分測(cè)試設(shè)計(jì)、執(zhí)行和比較工作。自動(dòng)化測(cè)試流程每個(gè)階段的具體內(nèi)容如圖5-6所示。圖5-6自動(dòng)化測(cè)試流程每個(gè)階段的具體內(nèi)容測(cè)試執(zhí)行與管理02測(cè)試執(zhí)行、管理(1)開(kāi)發(fā)或自動(dòng)生成腳本源代碼、測(cè)試過(guò)程使用的配置文件、數(shù)據(jù)庫(kù)等測(cè)試數(shù)據(jù)，測(cè)試報(bào)告、運(yùn)行日志等都是配置管理對(duì)象，保存這些信息以待自動(dòng)化測(cè)試評(píng)估。對(duì)于系統(tǒng)測(cè)試或回歸測(cè)試這類(lèi)涉及大量測(cè)試個(gè)案運(yùn)行的情況，節(jié)約測(cè)試時(shí)間的策略除利用自動(dòng)化工具外，還可充分利用硬件資源，把大量測(cè)試個(gè)案分配到各機(jī)器上并行運(yùn)行，或?qū)⒋罅肯到y(tǒng)的測(cè)試安排在夜間和假日進(jìn)行，以增加有限時(shí)間內(nèi)可執(zhí)行的測(cè)試項(xiàng)目。(2)正確使用自動(dòng)化測(cè)試程序，控制好測(cè)試環(huán)境、程序初始狀態(tài)和程序運(yùn)行參數(shù)等；隨時(shí)更新測(cè)試程序，以適應(yīng)被測(cè)程序的不斷變化；量化并收集數(shù)據(jù)，作為后期改進(jìn)的重要輸入?yún)?shù)。測(cè)試執(zhí)行與管理02測(cè)試執(zhí)行、管理(3)測(cè)試結(jié)果與標(biāo)準(zhǔn)輸出的比對(duì)。首先，在設(shè)計(jì)測(cè)試用例時(shí)，必須考慮如何易于對(duì)測(cè)試結(jié)果實(shí)現(xiàn)標(biāo)準(zhǔn)的輸出。輸出的數(shù)據(jù)量及數(shù)據(jù)格式對(duì)比較的速度有直接影響。其次，考慮輸出數(shù)據(jù)與測(cè)試用例的目標(biāo)邏輯對(duì)應(yīng)性及易讀性。通常，需要執(zhí)行一些特殊程序來(lái)進(jìn)行測(cè)試結(jié)果與標(biāo)準(zhǔn)輸出的比對(duì)工作，因?yàn)橛械妮敵鰞?nèi)容是不能直接比對(duì)的。例如，對(duì)運(yùn)行的日期時(shí)間的記錄、對(duì)運(yùn)行的路徑的記錄，以及測(cè)試數(shù)據(jù)的版本等。(4)對(duì)不吻合測(cè)試結(jié)果的分析處理。用于對(duì)測(cè)試結(jié)果與標(biāo)準(zhǔn)輸出進(jìn)行比對(duì)的工具，往往也能對(duì)不吻合的測(cè)試結(jié)果進(jìn)行分析、分類(lèi)、記錄和報(bào)告。這里，分析是指找出不吻合的地方并指出錯(cuò)誤的可能原因；分類(lèi)是指各種統(tǒng)計(jì)上的分項(xiàng)，如對(duì)應(yīng)的源程序位置、錯(cuò)誤的嚴(yán)重級(jí)別（提示、警告、非實(shí)效性錯(cuò)誤、實(shí)效性錯(cuò)誤或其他分類(lèi)）；記錄是指分類(lèi)的存檔；報(bào)告是指主動(dòng)對(duì)測(cè)試的運(yùn)行者及測(cè)試用例責(zé)任人通報(bào)出錯(cuò)的信息。測(cè)試執(zhí)行與管理02測(cè)試執(zhí)行、管理(5)測(cè)試狀態(tài)的統(tǒng)計(jì)和報(bào)表的產(chǎn)生。自動(dòng)化測(cè)試工具可自動(dòng)統(tǒng)計(jì)測(cè)試狀態(tài)和生成報(bào)表，從而提高測(cè)試過(guò)程管理質(zhì)量，同時(shí)節(jié)約用于產(chǎn)生統(tǒng)計(jì)數(shù)據(jù)的時(shí)間。(6)自動(dòng)化測(cè)試與開(kāi)發(fā)中的產(chǎn)品每日構(gòu)建的配合。自動(dòng)化測(cè)試要依靠配置管理來(lái)提供良好的運(yùn)行環(huán)境，同時(shí)與開(kāi)發(fā)中的軟件每日構(gòu)建緊密配合。通常，軟件開(kāi)發(fā)到一定階段時(shí)，要進(jìn)行每日測(cè)試及每日構(gòu)建，使軟件開(kāi)發(fā)狀態(tài)得到更新，及早發(fā)現(xiàn)設(shè)計(jì)和集成中的故障與缺陷。(7)實(shí)現(xiàn)自動(dòng)化比對(duì)技術(shù)。測(cè)試軟件是否產(chǎn)生正確的輸出，可通過(guò)測(cè)試實(shí)際輸出與預(yù)期輸出之間的一次或多次比對(duì)來(lái)判斷。自動(dòng)化比對(duì)為必需環(huán)節(jié)。有計(jì)劃地進(jìn)行比對(duì)比隨意地進(jìn)行比對(duì)具有更高的效率。比對(duì)可檢測(cè)兩組數(shù)據(jù)是否相同或標(biāo)識(shí)有差異的內(nèi)容，但比對(duì)并不能告之測(cè)試通過(guò)或失敗，需要測(cè)試者判斷。測(cè)試評(píng)審與評(píng)估自動(dòng)化測(cè)試的評(píng)估系統(tǒng)框架如圖5-7所示。03自動(dòng)化測(cè)試用例與腳本自動(dòng)化測(cè)試用例的生成要求自動(dòng)化測(cè)試用例可選取自有系統(tǒng)的預(yù)測(cè)試用例或確認(rèn)的測(cè)試用例。通過(guò)執(zhí)行這些用例可獲得出口準(zhǔn)則（指自動(dòng)化測(cè)試活動(dòng)的通過(guò)標(biāo)準(zhǔn)）。自動(dòng)化測(cè)試腳本01自動(dòng)化測(cè)試腳本的概念自動(dòng)化測(cè)試腳本是指自動(dòng)化測(cè)試中執(zhí)行的程序和過(guò)程，自動(dòng)化測(cè)試用例是指自動(dòng)化測(cè)試執(zhí)行中引用的具體測(cè)試用例。對(duì)于功能測(cè)試或性能測(cè)試，自動(dòng)化測(cè)試設(shè)計(jì)幾乎都采用“錄制-回放”技術(shù)。所謂“錄制-回放”技術(shù)，就是先由手動(dòng)執(zhí)行一遍測(cè)試的動(dòng)作和流程，并由計(jì)算機(jī)錄制在此流程中客戶(hù)端和服務(wù)器端之間的通信信息，這些信息通常為一些通信協(xié)議和數(shù)據(jù)，形成特定的腳本程序。然后，在測(cè)試工具統(tǒng)一管理下運(yùn)行錄制的腳本，并進(jìn)行測(cè)試后的分析及提供報(bào)告。自動(dòng)化測(cè)試腳本01自動(dòng)化測(cè)試腳本的概念自動(dòng)化測(cè)試腳本除具備一般意義上的程序特征外，還具有自身的一些特點(diǎn)。腳本與測(cè)試一樣，隨測(cè)試模式和測(cè)試方法不同，測(cè)試腳本以多種形式出現(xiàn)。例如，功能測(cè)試所應(yīng)用的腳本與性能測(cè)試所應(yīng)用的腳本完全不一樣，即使是性能測(cè)試所錄制的腳本，由于軟件架構(gòu)和應(yīng)用模式的不同，其錄制的腳本也不同，因此，測(cè)試腳本可能會(huì)變化。在自動(dòng)化測(cè)試過(guò)程中，測(cè)試的主要依據(jù)是測(cè)試腳本。測(cè)試腳本在脫離了所依附的系統(tǒng)時(shí)，一般是不能獨(dú)立運(yùn)行的，必須依附于某個(gè)系統(tǒng)。測(cè)試腳本可自動(dòng)生成。已有一些專(zhuān)門(mén)生成腳本的工具，如AutoIt，可幫助開(kāi)發(fā)者或測(cè)試者編制各種測(cè)試腳本。自動(dòng)化測(cè)試腳本02自動(dòng)化測(cè)試腳本的種類(lèi)(1)(2)(3)(4)(5)(6)結(jié)構(gòu)化腳本類(lèi)似于結(jié)構(gòu)化程序，含有控制腳本執(zhí)行的指令。結(jié)構(gòu)化腳本關(guān)鍵字驅(qū)動(dòng)技術(shù)實(shí)際上是比較復(fù)雜的數(shù)據(jù)驅(qū)動(dòng)技術(shù)的邏輯擴(kuò)展。關(guān)鍵字驅(qū)動(dòng)腳本共享腳本是指腳本可以被多個(gè)測(cè)試用例使用，一個(gè)腳本可以被其他腳本調(diào)用。共享腳本線(xiàn)性腳本是錄制手工執(zhí)行的測(cè)試用例得到的腳本。線(xiàn)性腳本數(shù)據(jù)驅(qū)動(dòng)腳本技術(shù)將測(cè)試數(shù)據(jù)存儲(chǔ)在獨(dú)立的數(shù)據(jù)文件中，而不是綁定在腳本中。數(shù)據(jù)驅(qū)動(dòng)腳本預(yù)處理具有一種或多種預(yù)編譯的功能，包括靜態(tài)分析和一般替換。腳本的預(yù)處理04自動(dòng)化測(cè)試工具自動(dòng)化測(cè)試的專(zhuān)項(xiàng)工具01白盒測(cè)試工具（1）靜態(tài)測(cè)試工具的功能（1）（2）（3）（4）代碼審查工具分析代碼的相關(guān)性、跟蹤程序邏輯、瀏覽程序的圖示表達(dá)，尋找和確認(rèn)“死”代碼，檢查源程序是否遵循了約定的程序設(shè)計(jì)規(guī)則等。代碼審查工具通常也稱(chēng)為代碼審查器。代碼審查錯(cuò)誤檢查用以確定結(jié)果差異和分析錯(cuò)誤的嚴(yán)重性及原因。錯(cuò)誤檢查接口分析檢查程序單元之間接口的一致性、接口是否遵循了預(yù)先確定的規(guī)則或原則，并分析傳送給子程序的參數(shù)，以及檢查模塊的完整性等。接口分析一致性檢查主要檢查程序的各個(gè)單元是否使用了統(tǒng)一的記法或術(shù)語(yǔ)，以及設(shè)計(jì)是否遵循了約定的規(guī)格說(shuō)明。一致性檢查自動(dòng)化測(cè)試的專(zhuān)項(xiàng)工具01白盒測(cè)試工具（1）靜態(tài)測(cè)試工具的功能（5）（6）（7）（8）此項(xiàng)分析的目標(biāo)是通過(guò)分析輸入/輸出規(guī)格說(shuō)明生成測(cè)試輸入數(shù)據(jù)。輸入/輸出規(guī)格說(shuō)明分析類(lèi)型分析主要檢測(cè)命名的數(shù)據(jù)項(xiàng)和操作是否得到正確的使用。通常，類(lèi)型分析檢測(cè)某一實(shí)體的值域（或函數(shù)）是否按照正確、一致的形式構(gòu)成。類(lèi)型分析復(fù)雜度分析幫助測(cè)試人員精確規(guī)劃測(cè)試與設(shè)計(jì)測(cè)試用例。復(fù)雜度分析。數(shù)據(jù)流分析檢測(cè)數(shù)據(jù)的賦值與引用之間是否出現(xiàn)了不合理的現(xiàn)象，如引用未賦值的變量，或?qū)ξ丛玫淖兞吭俅钨x值等。數(shù)據(jù)流分析自動(dòng)化測(cè)試的專(zhuān)項(xiàng)工具01白盒測(cè)試工具（1）靜態(tài)測(cè)試工具的功能白盒動(dòng)態(tài)測(cè)試工具有ParasoftC/C++、IBMRationalPurifyPlus、VectorCAST等。這些工具一般具有以下功能。（1）確認(rèn)功能及對(duì)接口進(jìn)行測(cè)試。測(cè)試內(nèi)容包括各模塊功能、模塊間的接口、局部數(shù)據(jù)結(jié)構(gòu)、主要執(zhí)行路徑、錯(cuò)誤處理等。（2）性能測(cè)試。主要查找影響軟件性能的瓶頸所在，性能測(cè)試工具能進(jìn)行改善性能問(wèn)題的關(guān)鍵數(shù)據(jù)分析，給出被測(cè)試系統(tǒng)的性能分析結(jié)果及報(bào)告。（3）內(nèi)存分析。內(nèi)存分析是指檢測(cè)在軟件運(yùn)行中、在結(jié)束程序（模塊、類(lèi)、函數(shù)、例程等）時(shí)，內(nèi)存是否泄漏（程序占用內(nèi)存而在退出時(shí)并不釋放，意味著內(nèi)存空間的減少）了。內(nèi)存分析工具分析內(nèi)存使用狀況，了解程序的內(nèi)存分配情況，以發(fā)現(xiàn)內(nèi)存非正常使用的情況。例如，Memtest86+是一款免費(fèi)開(kāi)源的內(nèi)存測(cè)試工具，其測(cè)試準(zhǔn)確度較高，能檢查出內(nèi)存隱性問(wèn)題，它是基于Linux核心的測(cè)試程序。自動(dòng)化測(cè)試的專(zhuān)項(xiàng)工具01白盒測(cè)試工具（2）白盒測(cè)試工具簡(jiǎn)介IBMRationalPurifyPlus（運(yùn)行實(shí)時(shí)分析）是一個(gè)完整的自動(dòng)化運(yùn)行實(shí)時(shí)分析工具，用于提高應(yīng)用程序的性能和質(zhì)量。該工具是為需要?jiǎng)?chuàng)建和配置可靠應(yīng)用程序的開(kāi)發(fā)者而設(shè)計(jì)的，它支持UNIX平臺(tái)的C/C++和Java，Windows平臺(tái)的VC/C++、C#、VB.NET等。PurifyPlusforWindows為Java服務(wù)器端和客戶(hù)端提供一樣的支持。安裝Web服務(wù)器后，可針對(duì)服務(wù)器，如WebSphere、WebLogic和ApacheJakartaTomcat上的JavaServerPages（JSPs）和JavaServlets，使用PurifyPlus。PurifyPlus可幫助用戶(hù)可視化地執(zhí)行代碼，提供便于理解的信息，可結(jié)合或獨(dú)立于源代碼（包括第三方組件）。PurifyPlus由Purify、Quantify和PureCoverage三個(gè)部分組成。其中，Purify定位內(nèi)存泄漏和運(yùn)行時(shí)的錯(cuò)誤，Quantify尋找性能瓶頸，PureCoverage表示了未測(cè)試代碼和提供代碼覆蓋分析。自動(dòng)化測(cè)試的專(zhuān)項(xiàng)工具02黑盒測(cè)試工具黑盒測(cè)試是指在明確軟件產(chǎn)品應(yīng)具有的功能條件下，完全不考慮被測(cè)程序的內(nèi)部結(jié)構(gòu)和內(nèi)部特性，通過(guò)測(cè)試來(lái)檢驗(yàn)軟件產(chǎn)品能否按照軟件需求規(guī)格說(shuō)明正常運(yùn)行。這類(lèi)測(cè)試工具主要為動(dòng)態(tài)測(cè)試工具，可完成軟件功能、性能、安全性等方面的各項(xiàng)測(cè)試。黑盒測(cè)試工具主要分為功能測(cè)試工具與非功能測(cè)試工具。前者主要用于檢測(cè)程序能否達(dá)到預(yù)期的功能要求，關(guān)注應(yīng)用業(yè)務(wù)邏輯、用戶(hù)界面和功能檢測(cè)方面；后者是主要以性能測(cè)試、安全性測(cè)試、質(zhì)量度量為測(cè)試內(nèi)容的工具。性能測(cè)試工具用于確定軟件系統(tǒng)的性能，如用于C/S系統(tǒng)加載能力和性能測(cè)量，用于分析C/S系統(tǒng)的性能等。測(cè)試主要在服務(wù)器端進(jìn)行，關(guān)注服務(wù)器的性能，衡量系統(tǒng)的響應(yīng)時(shí)間、事務(wù)處理速度和其他對(duì)時(shí)間敏感的軟件性能等。業(yè)界目前常用的工具有IBMRationalFunctionalTesting（用于功能測(cè)試）、RationalPerformanceTesting（用于性能測(cè)試）、APPScan（用于安全測(cè)試）、HPLoadRunner、QuickTestProfessional、CompuwareQARun（用于功能測(cè)試）和QALoad（用于性能測(cè)試）等。自動(dòng)化測(cè)試的專(zhuān)項(xiàng)工具03測(cè)試管理工具測(cè)試管理工具用于對(duì)測(cè)試進(jìn)行管理，幫助測(cè)試人員完成測(cè)試計(jì)劃，跟蹤測(cè)試事件及運(yùn)行結(jié)果，管理測(cè)試過(guò)程等。事實(shí)上，運(yùn)用測(cè)試管理工具也屬于自動(dòng)化測(cè)試范疇。IBMRationalTestManager（用于測(cè)試管理）、RationalClearQuest（用于缺陷管理）、QACenter（用于測(cè)試管理）、TrackRecord（用于缺陷管理）、HPTestDirector都是常用的測(cè)試管理工具。（1）可制訂測(cè)試計(jì)劃、執(zhí)行測(cè)試和收集結(jié)果數(shù)據(jù)。（2）具有獨(dú)立性和集成特性的測(cè)試管理功能。（3）讓整個(gè)項(xiàng)目團(tuán)隊(duì)實(shí)現(xiàn)信息共享的訪(fǎng)問(wèn)。（4）所包含的API可讓測(cè)試者為不同輸入類(lèi)型制作接口程序配件。功能自動(dòng)化測(cè)試的專(zhuān)項(xiàng)工具04測(cè)試管理工具TD簡(jiǎn)介T(mén)estDirector（TD）是HPMercuryInteractive公司的商品化測(cè)試管理軟件產(chǎn)品，是主流的測(cè)試管理工具之一。TD能指導(dǎo)測(cè)試需求管理、測(cè)試計(jì)劃管理、測(cè)試用例管理和缺陷管理，實(shí)現(xiàn)對(duì)測(cè)試執(zhí)行和缺陷的跟蹤，用于整個(gè)測(cè)試過(guò)程的各階段。它基于Web的測(cè)試管理系統(tǒng)，可在企業(yè)內(nèi)部或外部進(jìn)行全球范圍的測(cè)試管理。TD基于B/S結(jié)構(gòu)，以Web形式提供訪(fǎng)問(wèn)和服務(wù)，以消除機(jī)構(gòu)間、地域間障礙，使測(cè)試、開(kāi)發(fā)人員或其他IT人員通過(guò)一個(gè)中央數(shù)據(jù)倉(cāng)庫(kù)交互測(cè)試信息。TD將測(cè)試過(guò)程流水化，從測(cè)試需求管理、測(cè)試計(jì)劃制訂、測(cè)試日程安排、測(cè)試執(zhí)行到出錯(cuò)后的錯(cuò)誤跟蹤，僅在瀏覽器應(yīng)用中就可完成，具有強(qiáng)大的圖表統(tǒng)計(jì)功能和自動(dòng)生成機(jī)制，不需要在客戶(hù)端安裝專(zhuān)門(mén)程序。自動(dòng)化測(cè)試的專(zhuān)項(xiàng)工具（1）腳本工具05測(cè)試設(shè)計(jì)與開(kāi)發(fā)工具常用的腳本工具有AutoIt、AutoHistory等