長期以來,如何考核測試人員的工作是富有爭論的話題, 一個理想化的方法是收集測試階段之后項目階段的缺陷來確定系統(tǒng)測試的質(zhì)量。但是,這種方法的不可操作性在于:一是維護和實施階段的缺陷難于收集;二是缺陷貫穿產(chǎn)品的整個使用周期,無法窮盡,難于將時間段分割開來比較;三是成本過于龐大,時間跨度過長,起不到有效激勵的作用。能不能就在項目過程中尋找可以評價測試人員工作的方法呢?就這這個思路,本人摸索出一套有效的辦法。
首先聲明的是,第一,這套考核方發(fā)在一個功能點估算超過 10000 個的項目中經(jīng)過實踐,但是對于小項目而言,可能缺少足夠的數(shù)據(jù)和必要性;第二,項目組內(nèi)考核的成功不能意味著在測試部門內(nèi)可以采用類似的考核方法,僅提供一種參考方法,部門考核可能更多考慮投入工程的工作量大小和任務分配重要性;第三,除了量化指標外,測試人員工作態(tài)度、工作能動性和技術(shù)學習意愿要通過定性分析來得到。
項目組測試人員考核主要包括工作效率和工作質(zhì)量兩大塊,工作效率用于考察活動,而工作質(zhì)量用于考察產(chǎn)出物質(zhì)量。由于考核基于測試過程進行,因此必須在過程結(jié)束之后才能進行。當然,由于工程是分布提交測試的,每月可以根據(jù)實際情況進行月考核,工程結(jié)束后或任務結(jié)束后在統(tǒng)一考核。按照傳統(tǒng)測試周期,測試過程分為:測試計劃、測試設(shè)計和測試執(zhí)行三個方面進行。測試計劃屬于測試經(jīng)理的范疇,在最后討論。測試人員主要是測試設(shè)計和測試執(zhí)行,測試經(jīng)理的考核可包含在測試人員的考核內(nèi),當然,這部分考核也可以納入項目組中進行??己酥笜巳缦拢阂?測試設(shè)計工作效率相關(guān)指標文檔產(chǎn)出率 這項指標值主要為測試用例文檔頁數(shù)除于編寫文檔的有效時間獲得。用于考察測試人員測試用例文檔的生產(chǎn)率大小。
公式:∑測試用例文檔頁數(shù)(頁) / ∑編寫測試用例文檔有效時間(小時)
參考指標:根據(jù)項目匯總得出平均在 1.14 頁 / 小時左右,高于此值為優(yōu),低于此值為差。
用例產(chǎn)出率 這項指標值主要為上述指標值的補充,用于考察測試人員測試用例產(chǎn)出率大小。測試文檔頁數(shù)可能包含的冗余信息較多,因此要查看文檔中測試用例的多少。方法是測試用例文檔中測試用例編號總和數(shù)除于編寫文檔的有效時間。
公式:∑測試用例數(shù)(個) / ∑編寫測試用例文檔有效時間(小時)
參考指標:平均 4.21 個用例 / 小時工作質(zhì)量相關(guān)指標需求覆蓋率 計算測試用例總數(shù)之和除于與之一一對應的功能點數(shù)之和,主要查看是否有功能點遺漏測試的情況。
公式:∑測試用例數(shù)(個) / ∑功能點(個)
參考指標: 100 %。如果連功能指標都不能滿足 100 %覆蓋,起碼說明測試不充分。這個指標收集起來相當困難,如果存在需求跟蹤矩陣或者測試管理工具能把用例與需求一一對應就容易得多。
注意:有的功能是難于測試的,那么未能覆蓋到的需求要綜合分析,明確是測試人員遺漏?還是無法測試?這需要放入問題跟蹤表中進行后續(xù)跟蹤;另外,有的功能點包含的信息較多或者有的用例包含幾個功能點,這時只能把重復的功能點或重復用例按一個計,難于區(qū)分的要做說明。
文檔質(zhì)量 測試用例進行評審和同行評審發(fā)現(xiàn)的缺陷數(shù),或者將此缺陷數(shù)除于文檔頁數(shù)算出比率。此指標考察測試人員文檔編寫的質(zhì)量如何。
公式:∑缺陷數(shù)(評審和同行評審)(個)
∑缺陷數(shù)(評審和同行評審)(個) / ∑測試用例文檔頁數(shù)(頁)
參考指標:由于評審是發(fā)現(xiàn)的缺陷數(shù)是不固定的,因此,這個指標沒有可供參考的數(shù)值。如果缺陷數(shù)大小不能直接用于比較就使用缺陷 / 頁方式進行橫向?qū)Ρ取?BR> 文檔有效率 使用測試用例文檔進行測試時發(fā)現(xiàn)的系統(tǒng)測試缺陷數(shù)除于此文檔頁數(shù)。用于考察文檔是由有效的指導了測試工作。
公式:∑缺陷數(shù)(系統(tǒng)測試)(個) / ∑測試用例文檔頁數(shù)(頁)
參考指標:平均 2.18 個缺陷 / 頁注意:如果存在測試人員在測試時創(chuàng)建新文檔用于輔助測試時應包含這一部分。
用例有效率 使用測試用例發(fā)現(xiàn)的全部缺陷除于測試用例數(shù)總和。這一指標是上一指標的補充指標,用于考察用例質(zhì)量是否較高公式:∑缺陷數(shù)(系統(tǒng)測試)(個) / ∑測試用例數(shù)(個)
參考指標:平均 0.59 個缺陷 / 用例,也就是說,每執(zhí)行兩個用例才得到 1 個缺陷,各工程有所不同,可以自己實踐一下二 測試執(zhí)行工作效率相關(guān)指標執(zhí)行效率 利用測試用例文檔頁數(shù)除于此次系統(tǒng)測試執(zhí)行的時間總和(不包含用例文檔編寫時間)。補充指標方法是用例的個數(shù)除于此次系統(tǒng)測試的時間總和。用于獲得工作中測試人員每小時執(zhí)行測試的速度。
公式:∑測試用例文檔頁數(shù)(頁) / ∑執(zhí)行系統(tǒng)測試的有效時間(小時)
∑測試用例數(shù)(個) / ∑執(zhí)行系統(tǒng)測試的有效時間(小時)
參考指標:平均 0.53 頁 / 小時, 1.95 個用例 / 小時。即測試人員每小時執(zhí)行半頁測試用例或者每小時執(zhí)行 2 個測試用例。通過橫向比較,容易知道那位成員的執(zhí)行效率較高。注意:執(zhí)行效率高的不代表測試質(zhì)量也高,甚至執(zhí)行效率和測試質(zhì)量成反比,所以后面工作質(zhì)量的指標會補充這一部分的偏離。實際結(jié)果表明,用例執(zhí)行效率高的成員,其缺陷發(fā)現(xiàn)率往往偏低,考核如果不將此納入進來也可以將其作為測試改進的一項重要數(shù)據(jù)進行收集。
進度偏離度 檢查計劃時間和實際時間的進度,方法是計劃時間差額減去實際時間差額除于實際工時總和,用于考察測試人員進度情況,監(jiān)控測試是否按照日程進行,是否滿足了工程的進度要求。
公式:∑(計劃開始時間 - 實際開始時間)+∑(計劃結(jié)束時間 - 實際結(jié)束時間) / 總工時參考指標: 15 % 進度偏離是個相對的指標,可能偏離了 20 個工作日,但是對于一個長達半年時間的測試而言偏離天數(shù)比上整體測試所需天數(shù)不足 15 %,可能偏離了 3 個工作日,但是對于一個只有 1 星期時間的測試已經(jīng)超過了整個測試階段所需天數(shù)的 60 %。
注意:計算時分子分母要保持一致,即開始或結(jié)束時間已經(jīng)去除了非工作日時間,則總工時也要去除非工作日時間。因為制定計劃時是根據(jù)每個公司的工作日來制定的,也就是說,考慮了非正常工作日的日程。
測試進度也是考核很重要的一步,如果沒有進度保證,所有的測試都存在風險,第一種方法是測試人員可以采用自下而上的方式向測試經(jīng)理報告計劃用時,這種方式風險比較少,個人根據(jù)自己能力大小確定,但是缺點是存在測試人員虛報可能性。另一種方法是測試經(jīng)理進行估算后分配工作日程,這時估算是很重要的前提,除了依賴于測試經(jīng)理的經(jīng)驗外,對評估結(jié)果進行同行評審是很客觀可取的方法。
缺陷發(fā)現(xiàn)率 測試人員各自發(fā)現(xiàn)的缺陷數(shù)總和除于各自所花費的測試時間總和。由于執(zhí)行效率不能足夠代表測試人員是否認真工作,那么,每小時發(fā)現(xiàn)的缺陷數(shù)就是重要的考核指標,你的工作可以通過這項指標得到反饋。
首先聲明的是,第一,這套考核方發(fā)在一個功能點估算超過 10000 個的項目中經(jīng)過實踐,但是對于小項目而言,可能缺少足夠的數(shù)據(jù)和必要性;第二,項目組內(nèi)考核的成功不能意味著在測試部門內(nèi)可以采用類似的考核方法,僅提供一種參考方法,部門考核可能更多考慮投入工程的工作量大小和任務分配重要性;第三,除了量化指標外,測試人員工作態(tài)度、工作能動性和技術(shù)學習意愿要通過定性分析來得到。
項目組測試人員考核主要包括工作效率和工作質(zhì)量兩大塊,工作效率用于考察活動,而工作質(zhì)量用于考察產(chǎn)出物質(zhì)量。由于考核基于測試過程進行,因此必須在過程結(jié)束之后才能進行。當然,由于工程是分布提交測試的,每月可以根據(jù)實際情況進行月考核,工程結(jié)束后或任務結(jié)束后在統(tǒng)一考核。按照傳統(tǒng)測試周期,測試過程分為:測試計劃、測試設(shè)計和測試執(zhí)行三個方面進行。測試計劃屬于測試經(jīng)理的范疇,在最后討論。測試人員主要是測試設(shè)計和測試執(zhí)行,測試經(jīng)理的考核可包含在測試人員的考核內(nèi),當然,這部分考核也可以納入項目組中進行??己酥笜巳缦拢阂?測試設(shè)計工作效率相關(guān)指標文檔產(chǎn)出率 這項指標值主要為測試用例文檔頁數(shù)除于編寫文檔的有效時間獲得。用于考察測試人員測試用例文檔的生產(chǎn)率大小。
公式:∑測試用例文檔頁數(shù)(頁) / ∑編寫測試用例文檔有效時間(小時)
參考指標:根據(jù)項目匯總得出平均在 1.14 頁 / 小時左右,高于此值為優(yōu),低于此值為差。
用例產(chǎn)出率 這項指標值主要為上述指標值的補充,用于考察測試人員測試用例產(chǎn)出率大小。測試文檔頁數(shù)可能包含的冗余信息較多,因此要查看文檔中測試用例的多少。方法是測試用例文檔中測試用例編號總和數(shù)除于編寫文檔的有效時間。
公式:∑測試用例數(shù)(個) / ∑編寫測試用例文檔有效時間(小時)
參考指標:平均 4.21 個用例 / 小時工作質(zhì)量相關(guān)指標需求覆蓋率 計算測試用例總數(shù)之和除于與之一一對應的功能點數(shù)之和,主要查看是否有功能點遺漏測試的情況。
公式:∑測試用例數(shù)(個) / ∑功能點(個)
參考指標: 100 %。如果連功能指標都不能滿足 100 %覆蓋,起碼說明測試不充分。這個指標收集起來相當困難,如果存在需求跟蹤矩陣或者測試管理工具能把用例與需求一一對應就容易得多。
注意:有的功能是難于測試的,那么未能覆蓋到的需求要綜合分析,明確是測試人員遺漏?還是無法測試?這需要放入問題跟蹤表中進行后續(xù)跟蹤;另外,有的功能點包含的信息較多或者有的用例包含幾個功能點,這時只能把重復的功能點或重復用例按一個計,難于區(qū)分的要做說明。
文檔質(zhì)量 測試用例進行評審和同行評審發(fā)現(xiàn)的缺陷數(shù),或者將此缺陷數(shù)除于文檔頁數(shù)算出比率。此指標考察測試人員文檔編寫的質(zhì)量如何。
公式:∑缺陷數(shù)(評審和同行評審)(個)
∑缺陷數(shù)(評審和同行評審)(個) / ∑測試用例文檔頁數(shù)(頁)
參考指標:由于評審是發(fā)現(xiàn)的缺陷數(shù)是不固定的,因此,這個指標沒有可供參考的數(shù)值。如果缺陷數(shù)大小不能直接用于比較就使用缺陷 / 頁方式進行橫向?qū)Ρ取?BR> 文檔有效率 使用測試用例文檔進行測試時發(fā)現(xiàn)的系統(tǒng)測試缺陷數(shù)除于此文檔頁數(shù)。用于考察文檔是由有效的指導了測試工作。
公式:∑缺陷數(shù)(系統(tǒng)測試)(個) / ∑測試用例文檔頁數(shù)(頁)
參考指標:平均 2.18 個缺陷 / 頁注意:如果存在測試人員在測試時創(chuàng)建新文檔用于輔助測試時應包含這一部分。
用例有效率 使用測試用例發(fā)現(xiàn)的全部缺陷除于測試用例數(shù)總和。這一指標是上一指標的補充指標,用于考察用例質(zhì)量是否較高公式:∑缺陷數(shù)(系統(tǒng)測試)(個) / ∑測試用例數(shù)(個)
參考指標:平均 0.59 個缺陷 / 用例,也就是說,每執(zhí)行兩個用例才得到 1 個缺陷,各工程有所不同,可以自己實踐一下二 測試執(zhí)行工作效率相關(guān)指標執(zhí)行效率 利用測試用例文檔頁數(shù)除于此次系統(tǒng)測試執(zhí)行的時間總和(不包含用例文檔編寫時間)。補充指標方法是用例的個數(shù)除于此次系統(tǒng)測試的時間總和。用于獲得工作中測試人員每小時執(zhí)行測試的速度。
公式:∑測試用例文檔頁數(shù)(頁) / ∑執(zhí)行系統(tǒng)測試的有效時間(小時)
∑測試用例數(shù)(個) / ∑執(zhí)行系統(tǒng)測試的有效時間(小時)
參考指標:平均 0.53 頁 / 小時, 1.95 個用例 / 小時。即測試人員每小時執(zhí)行半頁測試用例或者每小時執(zhí)行 2 個測試用例。通過橫向比較,容易知道那位成員的執(zhí)行效率較高。注意:執(zhí)行效率高的不代表測試質(zhì)量也高,甚至執(zhí)行效率和測試質(zhì)量成反比,所以后面工作質(zhì)量的指標會補充這一部分的偏離。實際結(jié)果表明,用例執(zhí)行效率高的成員,其缺陷發(fā)現(xiàn)率往往偏低,考核如果不將此納入進來也可以將其作為測試改進的一項重要數(shù)據(jù)進行收集。
進度偏離度 檢查計劃時間和實際時間的進度,方法是計劃時間差額減去實際時間差額除于實際工時總和,用于考察測試人員進度情況,監(jiān)控測試是否按照日程進行,是否滿足了工程的進度要求。
公式:∑(計劃開始時間 - 實際開始時間)+∑(計劃結(jié)束時間 - 實際結(jié)束時間) / 總工時參考指標: 15 % 進度偏離是個相對的指標,可能偏離了 20 個工作日,但是對于一個長達半年時間的測試而言偏離天數(shù)比上整體測試所需天數(shù)不足 15 %,可能偏離了 3 個工作日,但是對于一個只有 1 星期時間的測試已經(jīng)超過了整個測試階段所需天數(shù)的 60 %。
注意:計算時分子分母要保持一致,即開始或結(jié)束時間已經(jīng)去除了非工作日時間,則總工時也要去除非工作日時間。因為制定計劃時是根據(jù)每個公司的工作日來制定的,也就是說,考慮了非正常工作日的日程。
測試進度也是考核很重要的一步,如果沒有進度保證,所有的測試都存在風險,第一種方法是測試人員可以采用自下而上的方式向測試經(jīng)理報告計劃用時,這種方式風險比較少,個人根據(jù)自己能力大小確定,但是缺點是存在測試人員虛報可能性。另一種方法是測試經(jīng)理進行估算后分配工作日程,這時估算是很重要的前提,除了依賴于測試經(jīng)理的經(jīng)驗外,對評估結(jié)果進行同行評審是很客觀可取的方法。
缺陷發(fā)現(xiàn)率 測試人員各自發(fā)現(xiàn)的缺陷數(shù)總和除于各自所花費的測試時間總和。由于執(zhí)行效率不能足夠代表測試人員是否認真工作,那么,每小時發(fā)現(xiàn)的缺陷數(shù)就是重要的考核指標,你的工作可以通過這項指標得到反饋。