長(zhǎng)期以來(lái),如何考核測(cè)試人員的工作是富有爭(zhēng)論的話(huà)題, 一個(gè)理想化的方法是收集測(cè)試階段之后項(xiàng)目階段的缺陷來(lái)確定系統(tǒng)測(cè)試的質(zhì)量。但是,這種方法的不可操作性在于:一是維護(hù)和實(shí)施階段的缺陷難于收集;二是缺陷貫穿產(chǎn)品的整個(gè)使用周期,無(wú)法窮盡,難于將時(shí)間段分割開(kāi)來(lái)比較;三是成本過(guò)于龐大,時(shí)間跨度過(guò)長(zhǎng),起不到有效激勵(lì)的作用。能不能就在項(xiàng)目過(guò)程中尋找可以評(píng)價(jià)測(cè)試人員工作的方法呢?就這這個(gè)思路,本人摸索出一套有效的辦法。
首先聲明的是,第一,這套考核方發(fā)在一個(gè)功能點(diǎn)估算超過(guò) 10000 個(gè)的項(xiàng)目中經(jīng)過(guò)實(shí)踐,但是對(duì)于小項(xiàng)目而言,可能缺少足夠的數(shù)據(jù)和必要性;第二,項(xiàng)目組內(nèi)考核的成功不能意味著在測(cè)試部門(mén)內(nèi)可以采用類(lèi)似的考核方法,僅提供一種參考方法,部門(mén)考核可能更多考慮投入工程的工作量大小和任務(wù)分配重要性;第三,除了量化指標(biāo)外,測(cè)試人員工作態(tài)度、工作能動(dòng)性和技術(shù)學(xué)習(xí)意愿要通過(guò)定性分析來(lái)得到。
項(xiàng)目組測(cè)試人員考核主要包括工作效率和工作質(zhì)量?jī)纱髩K,工作效率用于考察活動(dòng),而工作質(zhì)量用于考察產(chǎn)出物質(zhì)量。由于考核基于測(cè)試過(guò)程進(jìn)行,因此必須在過(guò)程結(jié)束之后才能進(jìn)行。當(dāng)然,由于工程是分布提交測(cè)試的,每月可以根據(jù)實(shí)際情況進(jìn)行月考核,工程結(jié)束后或任務(wù)結(jié)束后在統(tǒng)一考核。按照傳統(tǒng)測(cè)試周期,測(cè)試過(guò)程分為:測(cè)試計(jì)劃、測(cè)試設(shè)計(jì)和測(cè)試執(zhí)行三個(gè)方面進(jìn)行。測(cè)試計(jì)劃屬于測(cè)試經(jīng)理的范疇,在最后討論。測(cè)試人員主要是測(cè)試設(shè)計(jì)和測(cè)試執(zhí)行,測(cè)試經(jīng)理的考核可包含在測(cè)試人員的考核內(nèi),當(dāng)然,這部分考核也可以納入項(xiàng)目組中進(jìn)行??己酥笜?biāo)如下:一 測(cè)試設(shè)計(jì)工作效率相關(guān)指標(biāo)文檔產(chǎn)出率 這項(xiàng)指標(biāo)值主要為測(cè)試用例文檔頁(yè)數(shù)除于編寫(xiě)文檔的有效時(shí)間獲得。用于考察測(cè)試人員測(cè)試用例文檔的生產(chǎn)率大小。
公式:∑測(cè)試用例文檔頁(yè)數(shù)(頁(yè)) / ∑編寫(xiě)測(cè)試用例文檔有效時(shí)間(小時(shí))
參考指標(biāo):根據(jù)項(xiàng)目匯總得出平均在 1.14 頁(yè) / 小時(shí)左右,高于此值為優(yōu),低于此值為差。
用例產(chǎn)出率 這項(xiàng)指標(biāo)值主要為上述指標(biāo)值的補(bǔ)充,用于考察測(cè)試人員測(cè)試用例產(chǎn)出率大小。測(cè)試文檔頁(yè)數(shù)可能包含的冗余信息較多,因此要查看文檔中測(cè)試用例的多少。方法是測(cè)試用例文檔中測(cè)試用例編號(hào)總和數(shù)除于編寫(xiě)文檔的有效時(shí)間。
公式:∑測(cè)試用例數(shù)(個(gè)) / ∑編寫(xiě)測(cè)試用例文檔有效時(shí)間(小時(shí))
參考指標(biāo):平均 4.21 個(gè)用例 / 小時(shí)工作質(zhì)量相關(guān)指標(biāo)需求覆蓋率 計(jì)算測(cè)試用例總數(shù)之和除于與之一一對(duì)應(yīng)的功能點(diǎn)數(shù)之和,主要查看是否有功能點(diǎn)遺漏測(cè)試的情況。
公式:∑測(cè)試用例數(shù)(個(gè)) / ∑功能點(diǎn)(個(gè))
參考指標(biāo): 100 %。如果連功能指標(biāo)都不能滿(mǎn)足 100 %覆蓋,起碼說(shuō)明測(cè)試不充分。這個(gè)指標(biāo)收集起來(lái)相當(dāng)困難,如果存在需求跟蹤矩陣或者測(cè)試管理工具能把用例與需求一一對(duì)應(yīng)就容易得多。
注意:有的功能是難于測(cè)試的,那么未能覆蓋到的需求要綜合分析,明確是測(cè)試人員遺漏?還是無(wú)法測(cè)試?這需要放入問(wèn)題跟蹤表中進(jìn)行后續(xù)跟蹤;另外,有的功能點(diǎn)包含的信息較多或者有的用例包含幾個(gè)功能點(diǎn),這時(shí)只能把重復(fù)的功能點(diǎn)或重復(fù)用例按一個(gè)計(jì),難于區(qū)分的要做說(shuō)明。
文檔質(zhì)量 測(cè)試用例進(jìn)行評(píng)審和同行評(píng)審發(fā)現(xiàn)的缺陷數(shù),或者將此缺陷數(shù)除于文檔頁(yè)數(shù)算出比率。此指標(biāo)考察測(cè)試人員文檔編寫(xiě)的質(zhì)量如何。
公式:∑缺陷數(shù)(評(píng)審和同行評(píng)審)(個(gè))
∑缺陷數(shù)(評(píng)審和同行評(píng)審)(個(gè)) / ∑測(cè)試用例文檔頁(yè)數(shù)(頁(yè))
參考指標(biāo):由于評(píng)審是發(fā)現(xiàn)的缺陷數(shù)是不固定的,因此,這個(gè)指標(biāo)沒(méi)有可供參考的數(shù)值。如果缺陷數(shù)大小不能直接用于比較就使用缺陷 / 頁(yè)方式進(jìn)行橫向?qū)Ρ取?BR> 文檔有效率 使用測(cè)試用例文檔進(jìn)行測(cè)試時(shí)發(fā)現(xiàn)的系統(tǒng)測(cè)試缺陷數(shù)除于此文檔頁(yè)數(shù)。用于考察文檔是由有效的指導(dǎo)了測(cè)試工作。
公式:∑缺陷數(shù)(系統(tǒng)測(cè)試)(個(gè)) / ∑測(cè)試用例文檔頁(yè)數(shù)(頁(yè))
參考指標(biāo):平均 2.18 個(gè)缺陷 / 頁(yè)注意:如果存在測(cè)試人員在測(cè)試時(shí)創(chuàng)建新文檔用于輔助測(cè)試時(shí)應(yīng)包含這一部分。
用例有效率 使用測(cè)試用例發(fā)現(xiàn)的全部缺陷除于測(cè)試用例數(shù)總和。這一指標(biāo)是上一指標(biāo)的補(bǔ)充指標(biāo),用于考察用例質(zhì)量是否較高公式:∑缺陷數(shù)(系統(tǒng)測(cè)試)(個(gè)) / ∑測(cè)試用例數(shù)(個(gè))
參考指標(biāo):平均 0.59 個(gè)缺陷 / 用例,也就是說(shuō),每執(zhí)行兩個(gè)用例才得到 1 個(gè)缺陷,各工程有所不同,可以自己實(shí)踐一下二 測(cè)試執(zhí)行工作效率相關(guān)指標(biāo)執(zhí)行效率 利用測(cè)試用例文檔頁(yè)數(shù)除于此次系統(tǒng)測(cè)試執(zhí)行的時(shí)間總和(不包含用例文檔編寫(xiě)時(shí)間)。補(bǔ)充指標(biāo)方法是用例的個(gè)數(shù)除于此次系統(tǒng)測(cè)試的時(shí)間總和。用于獲得工作中測(cè)試人員每小時(shí)執(zhí)行測(cè)試的速度。
公式:∑測(cè)試用例文檔頁(yè)數(shù)(頁(yè)) / ∑執(zhí)行系統(tǒng)測(cè)試的有效時(shí)間(小時(shí))
∑測(cè)試用例數(shù)(個(gè)) / ∑執(zhí)行系統(tǒng)測(cè)試的有效時(shí)間(小時(shí))
參考指標(biāo):平均 0.53 頁(yè) / 小時(shí), 1.95 個(gè)用例 / 小時(shí)。即測(cè)試人員每小時(shí)執(zhí)行半頁(yè)測(cè)試用例或者每小時(shí)執(zhí)行 2 個(gè)測(cè)試用例。通過(guò)橫向比較,容易知道那位成員的執(zhí)行效率較高。注意:執(zhí)行效率高的不代表測(cè)試質(zhì)量也高,甚至執(zhí)行效率和測(cè)試質(zhì)量成反比,所以后面工作質(zhì)量的指標(biāo)會(huì)補(bǔ)充這一部分的偏離。實(shí)際結(jié)果表明,用例執(zhí)行效率高的成員,其缺陷發(fā)現(xiàn)率往往偏低,考核如果不將此納入進(jìn)來(lái)也可以將其作為測(cè)試改進(jìn)的一項(xiàng)重要數(shù)據(jù)進(jìn)行收集。
進(jìn)度偏離度 檢查計(jì)劃時(shí)間和實(shí)際時(shí)間的進(jìn)度,方法是計(jì)劃時(shí)間差額減去實(shí)際時(shí)間差額除于實(shí)際工時(shí)總和,用于考察測(cè)試人員進(jìn)度情況,監(jiān)控測(cè)試是否按照日程進(jìn)行,是否滿(mǎn)足了工程的進(jìn)度要求。
公式:∑(計(jì)劃開(kāi)始時(shí)間 - 實(shí)際開(kāi)始時(shí)間)+∑(計(jì)劃結(jié)束時(shí)間 - 實(shí)際結(jié)束時(shí)間) / 總工時(shí)參考指標(biāo): 15 % 進(jìn)度偏離是個(gè)相對(duì)的指標(biāo),可能偏離了 20 個(gè)工作日,但是對(duì)于一個(gè)長(zhǎng)達(dá)半年時(shí)間的測(cè)試而言偏離天數(shù)比上整體測(cè)試所需天數(shù)不足 15 %,可能偏離了 3 個(gè)工作日,但是對(duì)于一個(gè)只有 1 星期時(shí)間的測(cè)試已經(jīng)超過(guò)了整個(gè)測(cè)試階段所需天數(shù)的 60 %。
注意:計(jì)算時(shí)分子分母要保持一致,即開(kāi)始或結(jié)束時(shí)間已經(jīng)去除了非工作日時(shí)間,則總工時(shí)也要去除非工作日時(shí)間。因?yàn)橹贫ㄓ?jì)劃時(shí)是根據(jù)每個(gè)公司的工作日來(lái)制定的,也就是說(shuō),考慮了非正常工作日的日程。
測(cè)試進(jìn)度也是考核很重要的一步,如果沒(méi)有進(jìn)度保證,所有的測(cè)試都存在風(fēng)險(xiǎn),第一種方法是測(cè)試人員可以采用自下而上的方式向測(cè)試經(jīng)理報(bào)告計(jì)劃用時(shí),這種方式風(fēng)險(xiǎn)比較少,個(gè)人根據(jù)自己能力大小確定,但是缺點(diǎn)是存在測(cè)試人員虛報(bào)可能性。另一種方法是測(cè)試經(jīng)理進(jìn)行估算后分配工作日程,這時(shí)估算是很重要的前提,除了依賴(lài)于測(cè)試經(jīng)理的經(jīng)驗(yàn)外,對(duì)評(píng)估結(jié)果進(jìn)行同行評(píng)審是很客觀(guān)可取的方法。
缺陷發(fā)現(xiàn)率 測(cè)試人員各自發(fā)現(xiàn)的缺陷數(shù)總和除于各自所花費(fèi)的測(cè)試時(shí)間總和。由于執(zhí)行效率不能足夠代表測(cè)試人員是否認(rèn)真工作,那么,每小時(shí)發(fā)現(xiàn)的缺陷數(shù)就是重要的考核指標(biāo),你的工作可以通過(guò)這項(xiàng)指標(biāo)得到反饋。
首先聲明的是,第一,這套考核方發(fā)在一個(gè)功能點(diǎn)估算超過(guò) 10000 個(gè)的項(xiàng)目中經(jīng)過(guò)實(shí)踐,但是對(duì)于小項(xiàng)目而言,可能缺少足夠的數(shù)據(jù)和必要性;第二,項(xiàng)目組內(nèi)考核的成功不能意味著在測(cè)試部門(mén)內(nèi)可以采用類(lèi)似的考核方法,僅提供一種參考方法,部門(mén)考核可能更多考慮投入工程的工作量大小和任務(wù)分配重要性;第三,除了量化指標(biāo)外,測(cè)試人員工作態(tài)度、工作能動(dòng)性和技術(shù)學(xué)習(xí)意愿要通過(guò)定性分析來(lái)得到。
項(xiàng)目組測(cè)試人員考核主要包括工作效率和工作質(zhì)量?jī)纱髩K,工作效率用于考察活動(dòng),而工作質(zhì)量用于考察產(chǎn)出物質(zhì)量。由于考核基于測(cè)試過(guò)程進(jìn)行,因此必須在過(guò)程結(jié)束之后才能進(jìn)行。當(dāng)然,由于工程是分布提交測(cè)試的,每月可以根據(jù)實(shí)際情況進(jìn)行月考核,工程結(jié)束后或任務(wù)結(jié)束后在統(tǒng)一考核。按照傳統(tǒng)測(cè)試周期,測(cè)試過(guò)程分為:測(cè)試計(jì)劃、測(cè)試設(shè)計(jì)和測(cè)試執(zhí)行三個(gè)方面進(jìn)行。測(cè)試計(jì)劃屬于測(cè)試經(jīng)理的范疇,在最后討論。測(cè)試人員主要是測(cè)試設(shè)計(jì)和測(cè)試執(zhí)行,測(cè)試經(jīng)理的考核可包含在測(cè)試人員的考核內(nèi),當(dāng)然,這部分考核也可以納入項(xiàng)目組中進(jìn)行??己酥笜?biāo)如下:一 測(cè)試設(shè)計(jì)工作效率相關(guān)指標(biāo)文檔產(chǎn)出率 這項(xiàng)指標(biāo)值主要為測(cè)試用例文檔頁(yè)數(shù)除于編寫(xiě)文檔的有效時(shí)間獲得。用于考察測(cè)試人員測(cè)試用例文檔的生產(chǎn)率大小。
公式:∑測(cè)試用例文檔頁(yè)數(shù)(頁(yè)) / ∑編寫(xiě)測(cè)試用例文檔有效時(shí)間(小時(shí))
參考指標(biāo):根據(jù)項(xiàng)目匯總得出平均在 1.14 頁(yè) / 小時(shí)左右,高于此值為優(yōu),低于此值為差。
用例產(chǎn)出率 這項(xiàng)指標(biāo)值主要為上述指標(biāo)值的補(bǔ)充,用于考察測(cè)試人員測(cè)試用例產(chǎn)出率大小。測(cè)試文檔頁(yè)數(shù)可能包含的冗余信息較多,因此要查看文檔中測(cè)試用例的多少。方法是測(cè)試用例文檔中測(cè)試用例編號(hào)總和數(shù)除于編寫(xiě)文檔的有效時(shí)間。
公式:∑測(cè)試用例數(shù)(個(gè)) / ∑編寫(xiě)測(cè)試用例文檔有效時(shí)間(小時(shí))
參考指標(biāo):平均 4.21 個(gè)用例 / 小時(shí)工作質(zhì)量相關(guān)指標(biāo)需求覆蓋率 計(jì)算測(cè)試用例總數(shù)之和除于與之一一對(duì)應(yīng)的功能點(diǎn)數(shù)之和,主要查看是否有功能點(diǎn)遺漏測(cè)試的情況。
公式:∑測(cè)試用例數(shù)(個(gè)) / ∑功能點(diǎn)(個(gè))
參考指標(biāo): 100 %。如果連功能指標(biāo)都不能滿(mǎn)足 100 %覆蓋,起碼說(shuō)明測(cè)試不充分。這個(gè)指標(biāo)收集起來(lái)相當(dāng)困難,如果存在需求跟蹤矩陣或者測(cè)試管理工具能把用例與需求一一對(duì)應(yīng)就容易得多。
注意:有的功能是難于測(cè)試的,那么未能覆蓋到的需求要綜合分析,明確是測(cè)試人員遺漏?還是無(wú)法測(cè)試?這需要放入問(wèn)題跟蹤表中進(jìn)行后續(xù)跟蹤;另外,有的功能點(diǎn)包含的信息較多或者有的用例包含幾個(gè)功能點(diǎn),這時(shí)只能把重復(fù)的功能點(diǎn)或重復(fù)用例按一個(gè)計(jì),難于區(qū)分的要做說(shuō)明。
文檔質(zhì)量 測(cè)試用例進(jìn)行評(píng)審和同行評(píng)審發(fā)現(xiàn)的缺陷數(shù),或者將此缺陷數(shù)除于文檔頁(yè)數(shù)算出比率。此指標(biāo)考察測(cè)試人員文檔編寫(xiě)的質(zhì)量如何。
公式:∑缺陷數(shù)(評(píng)審和同行評(píng)審)(個(gè))
∑缺陷數(shù)(評(píng)審和同行評(píng)審)(個(gè)) / ∑測(cè)試用例文檔頁(yè)數(shù)(頁(yè))
參考指標(biāo):由于評(píng)審是發(fā)現(xiàn)的缺陷數(shù)是不固定的,因此,這個(gè)指標(biāo)沒(méi)有可供參考的數(shù)值。如果缺陷數(shù)大小不能直接用于比較就使用缺陷 / 頁(yè)方式進(jìn)行橫向?qū)Ρ取?BR> 文檔有效率 使用測(cè)試用例文檔進(jìn)行測(cè)試時(shí)發(fā)現(xiàn)的系統(tǒng)測(cè)試缺陷數(shù)除于此文檔頁(yè)數(shù)。用于考察文檔是由有效的指導(dǎo)了測(cè)試工作。
公式:∑缺陷數(shù)(系統(tǒng)測(cè)試)(個(gè)) / ∑測(cè)試用例文檔頁(yè)數(shù)(頁(yè))
參考指標(biāo):平均 2.18 個(gè)缺陷 / 頁(yè)注意:如果存在測(cè)試人員在測(cè)試時(shí)創(chuàng)建新文檔用于輔助測(cè)試時(shí)應(yīng)包含這一部分。
用例有效率 使用測(cè)試用例發(fā)現(xiàn)的全部缺陷除于測(cè)試用例數(shù)總和。這一指標(biāo)是上一指標(biāo)的補(bǔ)充指標(biāo),用于考察用例質(zhì)量是否較高公式:∑缺陷數(shù)(系統(tǒng)測(cè)試)(個(gè)) / ∑測(cè)試用例數(shù)(個(gè))
參考指標(biāo):平均 0.59 個(gè)缺陷 / 用例,也就是說(shuō),每執(zhí)行兩個(gè)用例才得到 1 個(gè)缺陷,各工程有所不同,可以自己實(shí)踐一下二 測(cè)試執(zhí)行工作效率相關(guān)指標(biāo)執(zhí)行效率 利用測(cè)試用例文檔頁(yè)數(shù)除于此次系統(tǒng)測(cè)試執(zhí)行的時(shí)間總和(不包含用例文檔編寫(xiě)時(shí)間)。補(bǔ)充指標(biāo)方法是用例的個(gè)數(shù)除于此次系統(tǒng)測(cè)試的時(shí)間總和。用于獲得工作中測(cè)試人員每小時(shí)執(zhí)行測(cè)試的速度。
公式:∑測(cè)試用例文檔頁(yè)數(shù)(頁(yè)) / ∑執(zhí)行系統(tǒng)測(cè)試的有效時(shí)間(小時(shí))
∑測(cè)試用例數(shù)(個(gè)) / ∑執(zhí)行系統(tǒng)測(cè)試的有效時(shí)間(小時(shí))
參考指標(biāo):平均 0.53 頁(yè) / 小時(shí), 1.95 個(gè)用例 / 小時(shí)。即測(cè)試人員每小時(shí)執(zhí)行半頁(yè)測(cè)試用例或者每小時(shí)執(zhí)行 2 個(gè)測(cè)試用例。通過(guò)橫向比較,容易知道那位成員的執(zhí)行效率較高。注意:執(zhí)行效率高的不代表測(cè)試質(zhì)量也高,甚至執(zhí)行效率和測(cè)試質(zhì)量成反比,所以后面工作質(zhì)量的指標(biāo)會(huì)補(bǔ)充這一部分的偏離。實(shí)際結(jié)果表明,用例執(zhí)行效率高的成員,其缺陷發(fā)現(xiàn)率往往偏低,考核如果不將此納入進(jìn)來(lái)也可以將其作為測(cè)試改進(jìn)的一項(xiàng)重要數(shù)據(jù)進(jìn)行收集。
進(jìn)度偏離度 檢查計(jì)劃時(shí)間和實(shí)際時(shí)間的進(jìn)度,方法是計(jì)劃時(shí)間差額減去實(shí)際時(shí)間差額除于實(shí)際工時(shí)總和,用于考察測(cè)試人員進(jìn)度情況,監(jiān)控測(cè)試是否按照日程進(jìn)行,是否滿(mǎn)足了工程的進(jìn)度要求。
公式:∑(計(jì)劃開(kāi)始時(shí)間 - 實(shí)際開(kāi)始時(shí)間)+∑(計(jì)劃結(jié)束時(shí)間 - 實(shí)際結(jié)束時(shí)間) / 總工時(shí)參考指標(biāo): 15 % 進(jìn)度偏離是個(gè)相對(duì)的指標(biāo),可能偏離了 20 個(gè)工作日,但是對(duì)于一個(gè)長(zhǎng)達(dá)半年時(shí)間的測(cè)試而言偏離天數(shù)比上整體測(cè)試所需天數(shù)不足 15 %,可能偏離了 3 個(gè)工作日,但是對(duì)于一個(gè)只有 1 星期時(shí)間的測(cè)試已經(jīng)超過(guò)了整個(gè)測(cè)試階段所需天數(shù)的 60 %。
注意:計(jì)算時(shí)分子分母要保持一致,即開(kāi)始或結(jié)束時(shí)間已經(jīng)去除了非工作日時(shí)間,則總工時(shí)也要去除非工作日時(shí)間。因?yàn)橹贫ㄓ?jì)劃時(shí)是根據(jù)每個(gè)公司的工作日來(lái)制定的,也就是說(shuō),考慮了非正常工作日的日程。
測(cè)試進(jìn)度也是考核很重要的一步,如果沒(méi)有進(jìn)度保證,所有的測(cè)試都存在風(fēng)險(xiǎn),第一種方法是測(cè)試人員可以采用自下而上的方式向測(cè)試經(jīng)理報(bào)告計(jì)劃用時(shí),這種方式風(fēng)險(xiǎn)比較少,個(gè)人根據(jù)自己能力大小確定,但是缺點(diǎn)是存在測(cè)試人員虛報(bào)可能性。另一種方法是測(cè)試經(jīng)理進(jìn)行估算后分配工作日程,這時(shí)估算是很重要的前提,除了依賴(lài)于測(cè)試經(jīng)理的經(jīng)驗(yàn)外,對(duì)評(píng)估結(jié)果進(jìn)行同行評(píng)審是很客觀(guān)可取的方法。
缺陷發(fā)現(xiàn)率 測(cè)試人員各自發(fā)現(xiàn)的缺陷數(shù)總和除于各自所花費(fèi)的測(cè)試時(shí)間總和。由于執(zhí)行效率不能足夠代表測(cè)試人員是否認(rèn)真工作,那么,每小時(shí)發(fā)現(xiàn)的缺陷數(shù)就是重要的考核指標(biāo),你的工作可以通過(guò)這項(xiàng)指標(biāo)得到反饋。

