軟件項(xiàng)目中測試人員的考核
摘要 在項(xiàng)目中，測試人員考核往往成為項(xiàng)目經(jīng)理和測試經(jīng)理的一個難題，怎樣評估測試人員的工作?怎樣定義測試質(zhì)量的差別?本文通過從事測試工作多年中對不同項(xiàng)目的數(shù)據(jù)收集和網(wǎng)上有限資料的參考分析，思考總結(jié)出一套可行的方法，在此提供給大家。
關(guān)鍵字 測試人員考核工作效率指標(biāo)工作質(zhì)量指標(biāo)
長期以來，如何考核測試人員的工作是富有爭論的話題，一個理想化的方法是收集測試階段之后項(xiàng)目階段的缺陷來確定系統(tǒng)測試的質(zhì)量。但是，這種方法的不可操作性在于：一是維護(hù)和實(shí)施階段的缺陷難于收集;二是缺陷貫穿產(chǎn)品的整個使用周期，無法窮盡，難于將時間段分割開來比較;三是成本過于龐大，時間跨度過長，起不到有效激勵的作用。能不能就在項(xiàng)目過程中尋找可以評價測試人員工作的方法呢?就這這個思路，本人摸索出一套有效的辦法。
首先聲明的是，第一，這套考核方發(fā)在一個功能點(diǎn)估算超過10000個的項(xiàng)目中經(jīng)過實(shí)踐，但是對于小項(xiàng)目而言，可能缺少足夠的數(shù)據(jù)和必要性;第二，項(xiàng)目組內(nèi)考核的成功不能意味著在測試部門內(nèi)可以采用類似的考核方法，僅提供一種參考方法，部門考核可能更多考慮投入工程的工作量大小和任務(wù)分配重要性;第三，除了量化指標(biāo)外，測試人員工作態(tài)度、工作能動性和技術(shù)學(xué)習(xí)意愿要通過定性分析來得到。
項(xiàng)目組測試人員考核主要包括工作效率和工作質(zhì)量兩大塊，工作效率用于考察活動，而工作質(zhì)量用于考察產(chǎn)出物質(zhì)量。由于考核基于測試過程進(jìn)行，因此必須在過程結(jié)束之后才能進(jìn)行。當(dāng)然，由于工程是分布提交測試的，每月可以根據(jù)實(shí)際情況進(jìn)行月考核，工程結(jié)束后或任務(wù)結(jié)束后在統(tǒng)一考核。按照傳統(tǒng)測試周期，測試過程分為：測試計(jì)劃、測試設(shè)計(jì)和測試執(zhí)行三個方面進(jìn)行。測試計(jì)劃屬于測試經(jīng)理的范疇，在最后討論。測試人員主要是測試設(shè)計(jì)和測試執(zhí)行，測試經(jīng)理的考核可包含在測試人員的考核內(nèi)，當(dāng)然，這部分考核也可以納入項(xiàng)目組中進(jìn)行?？己酥笜?biāo)如下：
一、測試設(shè)計(jì)
工作效率相關(guān)指標(biāo)
文檔產(chǎn)出率這項(xiàng)指標(biāo)值主要為測試用例文檔頁數(shù)除于編寫文檔的有效時間獲得。用于考察測試人員測試用例文檔的生產(chǎn)率大小。
公式：∑測試用例文檔頁數(shù)(頁)/∑編寫測試用例文檔有效時間(小時)
參考指標(biāo)：根據(jù)項(xiàng)目匯總得出平均在1.14頁/小時左右，高于此值為優(yōu)，低于此值為差。
用例產(chǎn)出率這項(xiàng)指標(biāo)值主要為上述指標(biāo)值的補(bǔ)充，用于考察測試人員測試用例產(chǎn)出率大小。測試文檔頁數(shù)可能包含的冗余信息較多，因此要查看文檔中測試用例的多少。方法是測試用例文檔中測試用例編號總和數(shù)除于編寫文檔的有效時間。
公式：∑測試用例數(shù)(個)/∑編寫測試用例文檔有效時間(小時)
參考指標(biāo)：平均4.21個用例/小時
工作質(zhì)量相關(guān)指標(biāo)
需求覆蓋率計(jì)算測試用例總數(shù)之和除于與之一一對應(yīng)的功能點(diǎn)數(shù)之和，主要查看是否有功能點(diǎn)遺漏測試的情況。
公式：∑測試用例數(shù)(個)/∑功能點(diǎn)(個)
參考指標(biāo)：100%。如果連功能指標(biāo)都不能滿足100%覆蓋，起碼說明測試不充分。這個指標(biāo)收集起來相當(dāng)困難，如果存在需求跟蹤矩陣或者測試管理工具能把用例與需求一一對應(yīng)就容易得多。
注意：有的功能是難于測試的，那么未能覆蓋到的需求要綜合分析，明確是測試人員遺漏?還是無法測試?這需要放入問題跟蹤表中進(jìn)行后續(xù)跟蹤;另外，有的功能點(diǎn)包含的信息較多或者有的用例包含幾個功能點(diǎn)，這時只能把重復(fù)的功能點(diǎn)或重復(fù)用例按一個計(jì)，難于區(qū)分的要做說明。
文檔質(zhì)量測試用例進(jìn)行評審和同行評審發(fā)現(xiàn)的缺陷數(shù)，或者將此缺陷數(shù)除于文檔頁數(shù)算出比率。此指標(biāo)考察測試人員文檔編寫的質(zhì)量如何。
公式：∑缺陷數(shù)(評審和同行評審)(個)
∑缺陷數(shù)(評審和同行評審)(個)/∑測試用例文檔頁數(shù)(頁)
參考指標(biāo)：由于評審是發(fā)現(xiàn)的缺陷數(shù)是不固定的，因此，這個指標(biāo)沒有可供參考的數(shù)值。如果缺陷數(shù)大小不能直接用于比較就使用缺陷/頁方式進(jìn)行橫向?qū)Ρ取?BR> 文檔有效率使用測試用例文檔進(jìn)行測試時發(fā)現(xiàn)的系統(tǒng)測試缺陷數(shù)除于此文檔頁數(shù)。用于考察文檔是由有效的指導(dǎo)了測試工作。
公式：∑缺陷數(shù)(系統(tǒng)測試)(個)/∑測試用例文檔頁數(shù)(頁)
參考指標(biāo)：平均2.18個缺陷/頁
注意：如果存在測試人員在測試時創(chuàng)建新文檔用于輔助測試時應(yīng)包含這一部分。
用例有效率使用測試用例發(fā)現(xiàn)的全部缺陷除于測試用例數(shù)總和。這一指標(biāo)是上一指標(biāo)的補(bǔ)充指標(biāo)，用于考察用例質(zhì)量是否較高。
公式：∑缺陷數(shù)(系統(tǒng)測試)(個)/∑測試用例數(shù)(個)
參考指標(biāo)：平均0.59個缺陷/用例，也就是說，每執(zhí)行兩個用例才得到1個缺陷，各工程有所不同，可以自己實(shí)踐一下。
二、測試執(zhí)行
工作效率相關(guān)指標(biāo)
執(zhí)行效率利用測試用例文檔頁數(shù)除于此次系統(tǒng)測試執(zhí)行的時間總和(不包含用例文檔編寫時間)。補(bǔ)充指標(biāo)方法是用例的個數(shù)除于此次系統(tǒng)測試的時間總和。用于獲得工作中測試人員每小時執(zhí)行測試的速度。
公式：∑測試用例文檔頁數(shù)(頁)/∑執(zhí)行系統(tǒng)測試的有效時間(小時)
∑測試用例數(shù)(個)/∑執(zhí)行系統(tǒng)測試的有效時間(小時)
參考指標(biāo)：平均0.53頁/小時，1.95個用例/小時。即測試人員每小時執(zhí)行半頁測試用例或者每小時執(zhí)行2個測試用例。通過橫向比較，容易知道那位成員的執(zhí)行效率較高。注意：執(zhí)行效率高的不代表測試質(zhì)量也高，甚至執(zhí)行效率和測試質(zhì)量成反比，所以后面工作質(zhì)量的指標(biāo)會補(bǔ)充這一部分的偏離。實(shí)際結(jié)果表明，用例執(zhí)行效率高的成員，其缺陷發(fā)現(xiàn)率往往偏低，考核如果不將此納入進(jìn)來也可以將其作為測試改進(jìn)的一項(xiàng)重要數(shù)據(jù)進(jìn)行收集。
進(jìn)度偏離度檢查計(jì)劃時間和實(shí)際時間的進(jìn)度，方法是計(jì)劃時間差額減去實(shí)際時間差額除于實(shí)際工時總和，用于考察測試人員進(jìn)度情況，監(jiān)控測試是否按照日程進(jìn)行，是否滿足了工程的進(jìn)度要求。
公式：∑(計(jì)劃開始時間-實(shí)際開始時間)+∑(計(jì)劃結(jié)束時間-實(shí)際結(jié)束時間)/總工時
參考指標(biāo)：15%進(jìn)度偏離是個相對的指標(biāo)，可能偏離了20個工作日，但是對于一個長達(dá)半年時間的測試而言偏離天數(shù)比上整體測試所需天數(shù)不足15%，可能偏離了3個工作日，但是對于一個只有1星期時間的測試已經(jīng)超過了整個測試階段所需天數(shù)的60%。
注意：計(jì)算時分子分母要保持一致，即開始或結(jié)束時間已經(jīng)去除了非工作日時間，則總工時也要去除非工作日時間。因?yàn)橹贫ㄓ?jì)劃時是根據(jù)每個公司的工作日來制定的，也就是說，考慮了非正常工作日的日程。
測試進(jìn)度也是考核很重要的一步，如果沒有進(jìn)度保證，所有的測試都存在風(fēng)險，第一種方法是測試人員可以采用自下而上的方式向測試經(jīng)理報告計(jì)劃用時，這種方式風(fēng)險比較少，個人根據(jù)自己能力大小確定，但是缺點(diǎn)是存在測試人員虛報可能性。另一種方法是測試經(jīng)理進(jìn)行估算后分配工作日程，這時估算是很重要的前提，除了依賴于測試經(jīng)理的經(jīng)驗(yàn)外，對評估結(jié)果進(jìn)行同行評審是很客觀可取的方法。
缺陷發(fā)現(xiàn)率測試人員各自發(fā)現(xiàn)的缺陷數(shù)總和除于各自所花費(fèi)的測試時間總和。由于執(zhí)行效率不能足夠代表測試人員是否認(rèn)真工作，那么，每小時發(fā)現(xiàn)的缺陷數(shù)就是重要的考核指標(biāo)，你的工作可以通過這項(xiàng)指標(biāo)得到反饋。
公式：∑缺陷數(shù)(系統(tǒng)測試)(個)/∑執(zhí)行系統(tǒng)測試的有效時間(小時)
參考指標(biāo)：平均1.1個缺陷/小時假使有位測試人員沒有達(dá)到1小時發(fā)現(xiàn)1個缺陷，那么，除非產(chǎn)品質(zhì)量高、模塊較小，否則，就是他的缺陷發(fā)現(xiàn)能力不如其他測試人員。當(dāng)然，詳細(xì)分類中可以根據(jù)發(fā)現(xiàn)重要缺陷的多少來定義缺陷發(fā)現(xiàn)能力。
工作質(zhì)量相關(guān)指標(biāo)
有效缺陷數(shù)/率被拒絕和刪除的缺陷數(shù)總和，或者被拒絕和刪除的缺陷數(shù)總和除于缺陷總數(shù)。這項(xiàng)指標(biāo)用于考察測試人員發(fā)現(xiàn)的、被確認(rèn)為缺陷的缺陷數(shù)高低或者百分比，數(shù)和比率越低測試質(zhì)量越高。
公式：∑缺陷數(shù)(系統(tǒng)測試中被拒絕和刪除的)(個)
∑缺陷數(shù)(系統(tǒng)測試中被拒絕和刪除的)(個)/∑缺陷數(shù)(系統(tǒng)測試)(個)
參考指標(biāo)：平均21.9%(測試人員發(fā)現(xiàn)的每100個缺陷中平均有22個缺陷不被開發(fā)組確認(rèn)、認(rèn)為不是“缺陷”或者錯誤錄入缺陷)。有效缺陷比率容易給出，但是有效缺陷數(shù)具體數(shù)據(jù)要根據(jù)項(xiàng)目情況，無法給出可參考的數(shù)值。
注意：這項(xiàng)指標(biāo)可能有不正確的情況，假使缺陷被拒絕和被刪除的原因不是因?yàn)闇y試人員誤操作和需求理解等自身錯誤引起，而是系統(tǒng)本身不能實(shí)現(xiàn)或者數(shù)據(jù)錯誤引起的，那么就要考慮剔除這部分。對于測試人員發(fā)現(xiàn)系統(tǒng)框架根本性的、初始化參數(shù)設(shè)置錯誤引發(fā)的、錯誤數(shù)據(jù)、錯誤環(huán)境等而開發(fā)人員因無法修正、可以通過改變環(huán)境而無需修改程序、重新導(dǎo)入數(shù)據(jù)、再次發(fā)布從而拒絕或刪除的缺陷，應(yīng)給予此測試人員獎勵。
嚴(yán)重缺陷率這個比例用于彌補(bǔ)缺陷發(fā)現(xiàn)率的不足。主要是根據(jù)嚴(yán)重程度分類的缺陷數(shù)比全部缺陷或者有效缺陷數(shù)。一般而言，每個公司基本把缺陷嚴(yán)重程度分為嚴(yán)重、一般和微小，或者更細(xì)(通常等級數(shù)為奇數(shù))。另外，可以對缺陷嚴(yán)重程度進(jìn)行折算(嚴(yán)重：一般：微小=1：3：5)通過折算可以得出權(quán)重，然后在計(jì)算測試人員分值，在此不冗述
公式：∑嚴(yán)重/一般/微小/∑缺陷數(shù)
∑嚴(yán)重/一般/微小/∑有效缺陷數(shù)
參考指標(biāo)：嚴(yán)重~10%一般~70%微小~20%。當(dāng)測試人員發(fā)現(xiàn)的缺陷中嚴(yán)重錯誤比率越高，說明測試質(zhì)量相對就好，通常嚴(yán)重程度缺陷數(shù)的分布呈正態(tài)分布。
模塊缺陷率這個指標(biāo)主要是根據(jù)一個單獨(dú)測試模塊的缺陷數(shù)除于模塊本身功能點(diǎn)數(shù)得出來的。假使一個模塊是單獨(dú)測試的話，很容易可以和其他模塊進(jìn)行指標(biāo)橫向?qū)Ρ?，參照對?yīng)的測試人員，得出所測試模塊的缺陷數(shù)，可以考察測試人員測試水平，也為開發(fā)考核提供數(shù)據(jù)。
公式：∑缺陷數(shù)(系統(tǒng)測試(個)/功能點(diǎn)(個)
∑缺陷數(shù)(系統(tǒng)測試(個)/子功能點(diǎn)(個)
參考指標(biāo)平均3.74個缺陷/功能點(diǎn)1個缺陷/子功能點(diǎn)
注意：有些功能點(diǎn)沒有子功能點(diǎn)，計(jì)算子功能點(diǎn)時要進(jìn)行說明。
三、測試管理
開頭提到對測試經(jīng)理的考核就復(fù)雜一些，除了測試經(jīng)理參與測試設(shè)計(jì)和執(zhí)行外，還要考察他的測試管理能力，即測試計(jì)劃階段工作，其中計(jì)劃質(zhì)量測試計(jì)劃的評審缺陷數(shù)或比率，可以與其他同類型項(xiàng)目或數(shù)據(jù)庫平均指標(biāo)進(jìn)行對比。
公式：∑缺陷數(shù)(評審和同行評審)(個)
∑缺陷數(shù)(評審和同行評審)(個)/∑測試計(jì)劃文檔頁數(shù)(頁)
參考指標(biāo)：無
成本質(zhì)量成本度量主要放在工作量這塊。因?yàn)闊o論涉及工資還是獎金，都要和工作量掛上關(guān)系。成本質(zhì)量主要是對測試活動的計(jì)劃工作量總和比上實(shí)際的工作量數(shù)值總和。對測試人員考核的進(jìn)度偏離已經(jīng)考慮了進(jìn)度因素，而工作量涉及的是成本因素。
公式：∑測試活動計(jì)劃工作量(估算人日)/∑測試活動的實(shí)際工作量(人日)
參考指標(biāo)：原則上不能偏離計(jì)劃的±15%～±20%。實(shí)際上，這個指標(biāo)是對成本的一種度量。對于一個大的項(xiàng)目來說，估算值往往差距非常大，階段統(tǒng)計(jì)時可能有±500%!!這時調(diào)整計(jì)劃是很必要的，在最終階段取考慮計(jì)算平均估算值。一個測試經(jīng)理必須對完成任務(wù)的成本進(jìn)行有效控制。
這兩項(xiàng)指標(biāo)是相對容易量化的部分，而需要添加其他量化指標(biāo)需要綜合考慮由項(xiàng)目經(jīng)理和測試部部門經(jīng)理給出標(biāo)準(zhǔn)，例如管理用時比率(整個項(xiàng)目測試期間管理時間占整個項(xiàng)目測試總時間)、系統(tǒng)整體缺陷數(shù)與其他同類型項(xiàng)目或數(shù)據(jù)庫平均指標(biāo)進(jìn)行對比等等。
考核具體方法：
1.將各項(xiàng)指標(biāo)進(jìn)行匯總分析，得出總和表格，根據(jù)測試人員各項(xiàng)指標(biāo)大小進(jìn)行排行榜制作，如列出1、2、3、4名。
2.確定階段涉及的權(quán)重。例如將測試設(shè)計(jì)和測試執(zhí)行權(quán)重各為50%。其中，工作效率占40%(即占所在階段20%)，工作質(zhì)量占60%(即占所在階段30%)。
3.確定每類指標(biāo)的分值，然后每類指標(biāo)達(dá)到平均標(biāo)準(zhǔn)給100%，達(dá)不到或者超過根據(jù)80%~120%比率給分
3.將比分統(tǒng)計(jì)出來后進(jìn)行綜合評定，必要的話增加一些調(diào)整系數(shù)。
4.將定性分析納入進(jìn)來，采用問卷調(diào)查和項(xiàng)目經(jīng)理評分制度給出定性指標(biāo)分?jǐn)?shù)，建議這部分權(quán)重不要超過10%～15%以保證測試考核的可度量性。
當(dāng)所有考核分?jǐn)?shù)給出之后，提醒一點(diǎn)的是，既然做了考核，就必須公開這些結(jié)果，而且考核具有導(dǎo)向型，不要讓考核誤導(dǎo)了對質(zhì)量工作的追求才是最重要的。
考核注意事項(xiàng)：
1.項(xiàng)目并不是一個月就能完成的，如每月進(jìn)行，要考慮“可考核部分”為那些，挑選那些指標(biāo)能夠橫向?qū)Ρ?，然后分階段、分任務(wù)評定。
2.參與測試的時間長短也要給予重視，除了上述量化指標(biāo)外，測試人員整體投入時間長短也是很重要的，加班也要作為特殊考慮因素，也許某個測試人員只參加了測試執(zhí)行3小時，各項(xiàng)指標(biāo)都是良好的，但是不可能給他比其他參與時間更長的人員更多的分?jǐn)?shù)。這部分就是增加調(diào)整系數(shù)的原因。
3.測試經(jīng)理的測試設(shè)計(jì)和執(zhí)行部分和項(xiàng)目測試人員一起考核，但是測試管理工作要單獨(dú)考核，作為另外的加分，或者如文章前面所述納入項(xiàng)目組給予考核。因?yàn)闇y試經(jīng)理在項(xiàng)目測試中起著管理者和質(zhì)量保證負(fù)責(zé)人的角色，不要把他和其他測試工程師平等對待。
4.考核前要考慮項(xiàng)目的實(shí)際情況，不要盲目的輕易承諾測試組人員考核會和薪金或者淘汰機(jī)制掛鉤，否則考核會起到反效果。
項(xiàng)目組測試人員考核的主要目的是在于激勵測試組測試人員工作，鼓勵能者，鞭策落后;另外，還可以起到發(fā)現(xiàn)人才和查找不足的作用。考核中即要體現(xiàn)多勞多得的原則，也要體現(xiàn)公正性和合理性原則，獎罰分明才能有效促使質(zhì)量管理工作的進(jìn)步。要想考核得到滿意的效果，上述方法的重要的前提條件是：必須要在項(xiàng)目中充分收集相關(guān)的數(shù)據(jù)，包括采集缺陷數(shù)，記錄工時、提交詳細(xì)工作日志和進(jìn)行文檔配置管理，沒有這些數(shù)據(jù)，定量分析就無從談起，測試人員考核也無從談起。
考核的主要目的是：規(guī)范測試流程及具體操作，提高產(chǎn)品質(zhì)量。