測試過程的度量
1)測試度量的作用
A：為制定測試計(jì)劃時(shí)提供依據(jù)
需要多長時(shí)間?需要什么物質(zhì)條件?需要多少人，什么素質(zhì)的人?在規(guī)定的時(shí)間內(nèi)能完成到什么程度?
哪些模塊及功能需要重點(diǎn)關(guān)注?測試工作量占整個(gè)項(xiàng)目的比例?測試結(jié)束后我們能達(dá)到什么樣的目標(biāo)?等等
(這些數(shù)據(jù)是我們在項(xiàng)目啟動(dòng)過程中，制定測試計(jì)劃，尤其在規(guī)劃資源的過程中，一些必要的參考值。不同項(xiàng)目可能會(huì)有其特殊性，但從總體上看，他們還是有一些規(guī)律可尋的，過去的經(jīng)驗(yàn)數(shù)據(jù)可以作為一個(gè)大概估算，如果項(xiàng)目經(jīng)驗(yàn)豐富，那么可以從歷史數(shù)據(jù)中找出和新項(xiàng)目 類似的情況，以能更為準(zhǔn)確的完成計(jì)劃。)
B：提高測試流程可控性
提高測試效率和質(zhì)量
提高測試人員的成就感
2)在測試哪個(gè)過程做度量
(產(chǎn)品早期的市場評估、測試策略分析、可測試性需求分析、測試工具分析、用例設(shè)計(jì)階段、執(zhí)行階段和 FOA 階段)
我們需要在測試的幾個(gè)關(guān)鍵階段做度量，它們分別是：用例設(shè)計(jì)階段、執(zhí)行階段和 FOA 階段。測試用例設(shè)計(jì)階段包括測試方案的最終確定、測試工具的設(shè)計(jì)、測試用例編寫等，測試執(zhí)行階段很明顯，即我們測試的各個(gè)過程，如集成測試、系統(tǒng)測試、性能測試、回歸測試等，也包括開發(fā)人員完成的單元測試的度量工作。 FOA 階段是檢驗(yàn)測試質(zhì)量的第一步，通過 FOA 我們可以獲得很多為產(chǎn)品質(zhì)量做貢獻(xiàn)的度量，這也是體現(xiàn)測試價(jià)值的度量?？雌饋韼缀醢藴y試過程的全部。其實(shí)這里包括的只是測試的具體工作階段。
3)測試度量的內(nèi)容
兩種度量類型：
A：項(xiàng)目度量：規(guī)模、測試工作量、測試進(jìn)度、測試生產(chǎn)率
B：質(zhì)量度量：缺陷率(階段)、缺陷排除率、可靠性等
四個(gè)基本度量項(xiàng)：規(guī)模、工作量、進(jìn)度、缺陷
4) 測試用例設(shè)計(jì)階段的度量
A：規(guī)模：測試方案數(shù)量、測試用例數(shù)量、測試工具設(shè)計(jì)數(shù)量、測試用例/人月
B：工作量：文檔的草稿編寫工作量、評審前閱讀工作量、評審工作量 、修改工作量
C：進(jìn)度：每件具體工作的計(jì)劃開始結(jié)束時(shí)間、實(shí)際開始結(jié)束時(shí)間、計(jì)劃工時(shí)數(shù)、實(shí)際工時(shí)數(shù)、計(jì)劃完成率
D：缺陷：評審過程中出現(xiàn)的錯(cuò)誤數(shù)量、缺陷數(shù)量，級別
5)測試執(zhí)行階段的度量：
測試用例執(zhí)行率 測試用例
測試用例問題發(fā)現(xiàn)率 BUG數(shù)量
BUG級別統(tǒng)計(jì) BUG分布統(tǒng)計(jì)(模塊)
BUG分布統(tǒng)計(jì)(階段) BUG密度
BUG關(guān)閉率 人均BUG發(fā)現(xiàn)效率
測試用例執(zhí)行工作量項(xiàng)目 回歸測試執(zhí)行工作量
發(fā)布文檔數(shù)量 發(fā)布文檔缺陷數(shù)量、級別
現(xiàn)場發(fā)現(xiàn)的BUG數(shù)量 回歸測試現(xiàn)場BUG的工作量
版本發(fā)布過程中的驗(yàn)證周期 版本發(fā)布過程中的驗(yàn)證工作量
測試用例覆蓋率 功能的用戶關(guān)注度
需求變化程度
6)測試的度量為項(xiàng)目實(shí)施做的貢獻(xiàn)
| 度量項(xiàng) | 含義 | 目的與意義 |
測試生產(chǎn)率 | 單位時(shí)間所測試的代碼量、或者單位時(shí)間執(zhí)行測試用例的數(shù)量 | 一個(gè)團(tuán)隊(duì)的測試能力 |
工作量變化率 | 實(shí)際花費(fèi)工作量相對于估計(jì)工作量的偏差百分比 | 提高估計(jì)技能、避免過載分配任務(wù) |
測試進(jìn)度變化率 | 項(xiàng)目實(shí)際測試進(jìn)度相對于計(jì)劃進(jìn)度的偏差百分比 | 監(jiān)控項(xiàng)目以便適時(shí)采取糾正措施 |
工作量 | 測試所做的工作小時(shí)數(shù) | 測試為整個(gè)項(xiàng)目貢獻(xiàn)的工作量 |
缺陷密度 | 千行代碼發(fā)現(xiàn)的缺陷數(shù)，千個(gè)功能發(fā)現(xiàn)的缺陷數(shù) | 用于度量被測試系統(tǒng)的可靠性 |
測試問題的嚴(yán)重性 | 測試發(fā)現(xiàn)問題的嚴(yán)重性分布 | 用于確定目前被測試系統(tǒng)的可靠性 |
測試用例的問題發(fā)現(xiàn)效率 | 單個(gè)測試用例發(fā)現(xiàn)問題的數(shù)量 | 用于度量測試用例的有效性 |
測試用例覆蓋率 | 需求覆蓋率、功能點(diǎn)覆蓋率、代碼覆蓋率等 | 度量測試的充分性 |
問題遺漏率 | 發(fā)布后市場反饋問題數(shù)/產(chǎn)品問題總數(shù)目 | 衡量內(nèi)部測試質(zhì)量 |
COQ |
| 為提升測試質(zhì)量所付出的工作量 |
COPQ |
| 為不好的質(zhì)量付出的代價(jià) |
7)由誰來做度量
8)怎樣做度量?
PDCA方法：
第一步：Plan (計(jì)劃、設(shè)置標(biāo)竿)(計(jì)劃--制定我們想要達(dá)到的目標(biāo))
第二步：do (執(zhí)行)(日報(bào)--記錄數(shù)據(jù))(周報(bào)--匯總數(shù)據(jù)，給出度量結(jié)果)
第三步：check (檢查和標(biāo)竿有什么差距)(周例會(huì)--針對度量結(jié)果，作出下一步工作建議)
第四步：action (改進(jìn)過程)(階段總結(jié)--子系統(tǒng)、集成、系統(tǒng)測試等各測試階段結(jié)束后做度量評估，為后續(xù)工作做出指導(dǎo))
第五步：return to plan