測試結(jié)果與標準輸出的對比

　　在設(shè)計測試用例的時候，必須考慮到怎樣才能夠易于對此測試結(jié)果和標準輸出。輸出數(shù)據(jù)量的多少及數(shù)據(jù)格式對比較的速度有直接影響。而另一方面，也必須考慮到輸出數(shù)據(jù)與測試用例的測試目標的邏輯對應性及易讀性，這將會大大有利于分析測試所發(fā)現(xiàn)的不吻合，也有利于測試用例的維護。

　　許多時候，要寫一些特殊的軟件來執(zhí)行測試結(jié)果與標準輸出的對比工作，因為可能有部分的輸出內(nèi)容是不能直接對比的(比如，對運行的日期時間的記錄，對運行的路徑的記錄，以及測試對象的版本數(shù)據(jù)等)，就要用程序進行處理。

　　不吻合的測試結(jié)果的分析、分類、記錄和通報

　　上一點所談到的，用于對測試結(jié)果與標準輸出進行對比的特殊軟件，往往也同時擔任對不吻合的測試結(jié)果進行分析、分類、記錄和通報的任務。

　　“分析”是找出不吻合的地方并指出錯誤的可能起因�！胺诸悺卑�括各種統(tǒng)計上的分項，例如，對應的源程序的位置，錯誤的嚴重級別(提示、警告、非失效性錯誤、失效性錯誤;或別的分類方法)，新發(fā)現(xiàn)的還是已有記錄的錯誤，等等�！坝涗洝�，是按分類存檔�！巴▓蟆�，是主動地對測試的運行者及測試用例的“負責人”通報出錯的信息。

　　這里提到測試用例的“負責人”的概念。是用以指定一個測試用例運行時發(fā)現(xiàn)的缺陷，由哪一個開發(fā)人員負責分析(有時是另外的開發(fā)人員引進的缺陷而導致的錯誤)及修復。在設(shè)立測試用例庫時，各用例均應有指定的負責人。

　　最直接的通報方法是由自動測試軟件發(fā)出電子郵件給測試運行者及測試用例負責人。郵件內(nèi)容的詳細程度可根據(jù)需要靈活決定。

　　總測試狀況的統(tǒng)計，報表的產(chǎn)生

　　這些都是自動測試工具所應有的功能。目的是提高過程管理的質(zhì)量，同時節(jié)省用于產(chǎn)生統(tǒng)計數(shù)據(jù)的時間。

　　產(chǎn)生出來的統(tǒng)計報表，最好是存放到一個約定的路徑位置，以便任何有關(guān)人員都知道怎樣查閱。同時，可按需要用電子郵件向適當?shù)膶ο?如項目經(jīng)理，測試經(jīng)理和質(zhì)量保證經(jīng)理)寄出統(tǒng)計報表。

　　自動測試與開發(fā)中產(chǎn)品每日構(gòu)建(build )的配合

　　自動測試應該是整個開發(fā)過程中的一個有機部分。自動測試要依靠配置管理來提供良好的運行的環(huán)境，同時它必須要與開發(fā)中的軟件的構(gòu)建緊密配合。

　　在開發(fā)中的產(chǎn)品達到一定程度的時候，就應該開始進行每日構(gòu)建和測試。這種做法能使軟件的開發(fā)狀態(tài)得到頻繁的更新，以及及早發(fā)現(xiàn)設(shè)計和集成的缺陷。

　　為了充分利用時間與設(shè)備資源，下班之后進行自動的軟件構(gòu)建，緊接著進行自動測試(這里多數(shù)指的是系統(tǒng)測試或回歸測試)，是一個非常行之有效的方法。如果安排得好，到第二天上班時，測試結(jié)果就已經(jīng)在各人的電子郵箱里面面了，等待著新的一天的開發(fā)工作。