微軟認證:考題的形成

字號:

由于安裝、維護和支持計算機系統(tǒng)逐漸變得越來越復(fù)雜,IT工程師和他們的雇主們迫切需要建立一個檢測系統(tǒng),準(zhǔn)確地測試出個人獨立完成工作任務(wù)的能力,也就是說,需要一個檢測評定技術(shù)水平的認證系統(tǒng)。  
    微軟公司在1992年4月推出的微軟認證專家體系MCP正是順應(yīng)了這一需求。直至今日,為了跟上新技術(shù)的發(fā)展和不斷變化的技能要求,微軟公司仍面臨著持續(xù)的挑戰(zhàn)。要迎接這個挑戰(zhàn),微軟公司只能不斷擴大和更新MCP認證系統(tǒng)和考試。使其成為更有效的評估工具。  
    微軟認證專家MCP系統(tǒng)目前包括幾十種語言的近40門考試。為了滿足社會對認證的強烈需求,微軟公司打算在近年內(nèi)推出更多的考試。為了方便應(yīng)考者,微軟認證考試由美國思而文公司(Sylvan)和虛擬大學(xué)企業(yè)集團負責(zé)實施。
    一、技能第一  
    如何創(chuàng)建和確定微軟認證考試的內(nèi)容,這不是一個簡單的過程,數(shù)以百計的專家們參與了每一門考試的開發(fā)。
    在某一項軟件產(chǎn)品和技術(shù)開發(fā)的早期,開發(fā)相應(yīng)考試的過程就開始了。負責(zé)認證試題開發(fā)的小組向公司內(nèi)外的IT專家們廣泛地分發(fā)工作任務(wù)分析調(diào)查表(JTA,a job task analysis survey),這些專家們在使用特定的技術(shù)方面有豐富的經(jīng)驗,并且能夠確定有效掌握此項技術(shù)所要求的技能。調(diào)查的結(jié)果記述和確認了個體需要完成的特定任務(wù),相關(guān)任務(wù)的名單就成為與某項特別認證途徑相聯(lián)系的考試的基礎(chǔ)。   
    在軟件產(chǎn)品開始為進入市場而進行Beta測試的同時,認證試題開發(fā)負責(zé)經(jīng)理也要不斷征詢產(chǎn)品生產(chǎn)組、使用說明設(shè)計人員以及制定微軟正式課程(MOC,Microsoft official Curriculum)的培訓(xùn)部門的專家們的建議。這些人共同工作的結(jié)果是制定出特定的“目標(biāo)域”這是一份特定的認證考試將要涵蓋的50-150種技能的目錄。   
    正式的考試和課程目標(biāo)也許并不完全一致,這一點無關(guān)緊要。考試所測試的是完成一項特別工作所必須的相關(guān)技能。盡管課程培訓(xùn)能夠有助于應(yīng)考者更快地掌握這些技能,微軟公司仍然不希望應(yīng)考者通過培訓(xùn)學(xué)到的只是通過考試的有效經(jīng)驗。認證開發(fā)組極力建議應(yīng)考者必須通過使用產(chǎn)品,獲得從事特定工作所需要的技能。   
    通過技術(shù)檢查和編輯復(fù)審之后,考試目標(biāo)作為認證規(guī)劃調(diào)查的一部分再次廣泛地分發(fā)給相關(guān)的IT專家們,這些專家所從事的工作與特定考試所測試的目標(biāo)是一致的。這項規(guī)劃調(diào)查的結(jié)果,決定了每一個考試目標(biāo)的相對重要性,并且保證更為重要的考試目標(biāo)一定包括在正式考試之內(nèi)。  
    二、編寫考題      在上述步驟進行當(dāng)中,認證試題開發(fā)負責(zé)經(jīng)理組織了一個3-5人的試題寫作組。這些人是公司外請的合同雇員。他們在本專業(yè)領(lǐng)域都具有很高的技術(shù)水平,從事諸如咨詢專家、教育家等特殊工作,還有一些是對開發(fā)認證考試表現(xiàn)出濃厚興趣的其他領(lǐng)域的IT專家。   
    認證試題開發(fā)小組一開始要確認,這些試題寫作者是否熟悉心理測試的過程和考試的要求及步驟。然后準(zhǔn)備著手進行組成某一門考試的上百條考題的寫作。微軟試題的寫作以 Bloom 分類學(xué)為指導(dǎo),這是一項產(chǎn)業(yè)界普遍接受的研究成果。它能為從事某項工作定位出相應(yīng)的知識水平,實際上包括六種不斷增長的復(fù)雜的知識能力,粗略概括如下: #知識表達能力:識別,定義,定位,回憶,陳述; #理解能力:轉(zhuǎn)述,辨別區(qū)分,舉例; #應(yīng)用能力:運用,計算,解決問題,規(guī)劃; #分析能力:分析,陳述結(jié)論,檢查邏輯錯誤,比較和對照; #綜合能力:建立表格和示意圖解,設(shè)計,建立公式,集合,歸納,預(yù)測; #評估能力:鑒定,評估,應(yīng)用標(biāo)準(zhǔn),決策,指出謬誤。   
    考題寫作者要避免使用單一的知識水準(zhǔn)條目,努力設(shè)置新的條目,以測試應(yīng)考者是否具有更高的知識理解能力。完成試題的第一稿大約需要6個星期。為了保證這些題目表達準(zhǔn)確清晰并符合考試目標(biāo)的要求,項目經(jīng)理和編輯組要從頭至尾將這些題目檢查一遍。這個環(huán)節(jié)凝聚了全體編輯人員的合作。經(jīng)過這個環(huán)節(jié),題目得到了提煉,更加符合微軟的認證標(biāo)準(zhǔn)。   
    當(dāng)所有的題目都經(jīng)過了進一步提煉之后,它們再被送到另外一些人手中進行技術(shù)審查。這些人在技術(shù)水準(zhǔn)和工作能力上都是專家。項目經(jīng)理邀請他們與考試開發(fā)小組一起,面對面地舉行一個初步技術(shù)審查的會議。在這個可能持續(xù)一周的會議上,與會者們剖析每一道試題,檢查他們的技術(shù)準(zhǔn)確性、相關(guān)性和簡潔性。他們還要確保那些不正確的選項看似合理但毫無疑問是錯誤的。經(jīng)過初步技術(shù)審查,試題得到了進一步提煉,在清晰度、心理測試有效性、適應(yīng)地區(qū)化需要以及其他關(guān)鍵方面都更凝練,保證了微軟公司考試的可靠性、可信度和高質(zhì)量。
    三、檢測試題   
    經(jīng)過上述過程確定下來的試題匯編成了Beta考試,在各考點進行測試,周期大約為一星期。參加Beta考試的應(yīng)考者不會馬上得到考試分數(shù)。通過Beta考試收集的數(shù)據(jù),認證試題開發(fā)小組可以對試題完成程度做出評估。考試的目的,甚至可以說是每一個考題的目的,就是要把那些在相關(guān)工作任務(wù)中具有勝任能力的人與沒有能力的人區(qū)別開來。據(jù)此,認證試題開發(fā)小組依據(jù)考題的難易程度來確定該題是否應(yīng)該保留在正式考試中。那些大多數(shù)人(35%以上)都會做錯的難題,或是大多數(shù)人(85%以上)都做對的簡單題通常會被淘汰。   
    此外,認證試題開發(fā)小組還要對每一項試題進行分析,確定它在多大程度上預(yù)示應(yīng)考者在整個考試中的能力表現(xiàn),比如,分析結(jié)果應(yīng)該表明有這樣一些試題具有正向意義,回答正確的人在整個考試中都表現(xiàn)不錯,而回答錯的人則在整個考試中都表現(xiàn)不佳。有時候一道試題看上去不錯,既不太難也不太容易,但卻有負向意義,一般對此類題回答正確的人在整個考試中的能力表現(xiàn)不好。這種試題也會被淘汰。   
    試題篩選完成后,認證試題開發(fā)小組還要利用Beta考試得來的數(shù)據(jù)確定考試的通過分數(shù)線。由于每項技術(shù)需要的技能不同,每一門考試的通過分數(shù)線也不相同,但是平均通過分數(shù)線為700分(滿分為1000分)。分數(shù)線確定后,小組會根據(jù)與正式考試一樣的標(biāo)準(zhǔn),開始給Beta考試應(yīng)考者打分。   
    到此為止,考試創(chuàng)建完成。可以準(zhǔn)備正式椎出。在思而文公司和虛擬大學(xué)企業(yè)集團出版英語試題的同時,針對不同地區(qū)使用其他語言的試題版本也在加緊制作。一般來說,地方化版本比英語版本要晚推出兩三個月。  
    四、創(chuàng)新考試技術(shù)   
    為了更好地評價考生的相關(guān)技能,有效防止試題盜版,微軟公司的專家認證考試引入了一些創(chuàng)新測評技術(shù)。這些技術(shù)包括使用軟件模擬系統(tǒng),推廣自適應(yīng)性考試,以及在現(xiàn)行考試中增加新試題。
    #軟件模擬系統(tǒng)   
    在傳統(tǒng)考試中,考題包括說明,提問和反映應(yīng)考者解決問題方法的選擇答案。這類試題比較容易制定,能有效可靠地測出應(yīng)考者的能力。為了提高試題的有效性,認證試題開發(fā)小組近在一些考試中,引入了一種軟件模擬系統(tǒng)。這種模擬系統(tǒng)實際上是相關(guān)產(chǎn)品的全真版本,它用來檢測應(yīng)考者是否能夠?qū)嶋H完成所要求的任務(wù),而不僅僅是描述完成任務(wù)的過程。模擬系統(tǒng)可以和傳統(tǒng)考試混合使用,應(yīng)考者既要完成一項任務(wù),又要回答與該任務(wù)結(jié)果相關(guān)的特殊問題。   
    與傳統(tǒng)試題相比,軟件模擬系統(tǒng)能提供更友好的界面,更容易被理解和回答,也更不容易被盜版(當(dāng)然,只有心理測試和統(tǒng)計數(shù)據(jù)才能說明一道題的真實有效性,友好的界面只是有助于應(yīng)考者理解考試的規(guī)則)。這些優(yōu)越性在一定程度上彌補了開發(fā)這一系統(tǒng)的高成本,也使整個MCP認證系統(tǒng)更加完善。
    #自適應(yīng)性考試   
    在傳統(tǒng)的考試中,題庫中的各組試題以不同的方式固定地排列在一起,每一組中都有不同難度的試題。認證試題開發(fā)小組平衡各組試題,使它們具有相同的難度。那些第考試沒有通過的應(yīng)考者,再次考試得到的是一組不同的試題。這種考試的優(yōu)點是容易設(shè)計,但是也有兩個重要的不足之處: 1 、應(yīng)考者不管實際能力如何,都必須做大量考題,考試需要較多的時間。 2、一些開發(fā)代價較高的、難度較大的試題,經(jīng)常一覽無余地展示給許多人,增加了試題外泄的可能性和盜版的危險。   
    為了克服這兩個不足,微軟公司正在推行自適應(yīng)性考試技術(shù),即通過與應(yīng)考者實際水平相適應(yīng)的考題難度,測試出應(yīng)考者的能力。這樣做的基本假設(shè)是,能正確回答較難試題的應(yīng)考者也能正確回答出容易的試題(統(tǒng)計數(shù)據(jù)支持這一假設(shè))。   
    在自適應(yīng)性考試中,開始給出一道中等難度試題。如果應(yīng)考者回答正確,下一道題就更難;如果應(yīng)考者回答錯誤,下一道題就比較容易。要通過這種考試,應(yīng)考者必須在規(guī)定的時間內(nèi)正確回答一定數(shù)量的難題。在考試過程中只有當(dāng)應(yīng)考者做得非常好的時候,考題才會越出越難。做得不好的應(yīng)考者在規(guī)定的時間內(nèi)根本碰不到耶些難題。   
    固定形式的考試不管應(yīng)考者能力如何,都會將所有的試題排列出來,總共約50-60道題。相比之下,自適應(yīng)性考試只需通過15-25道題,就能確定應(yīng)考者的技術(shù)水平。這樣極大地減少了考試時間,以及考題外泄和盜版的危險。  
    在固定形式考試中出現(xiàn)的考題同樣會在自適應(yīng)性考試中出現(xiàn),因此應(yīng)考者不必學(xué)習(xí)不同的東西。對于應(yīng)考者來說,只有兩點值得注意: 1、自適應(yīng)性考試時間較短,因為考題較少。 2、考生不能跳過一道題不做,或者做完后面的考題再返回前一道考題,因為自適應(yīng)性考試的格式?jīng)Q定了要作的考題是以應(yīng)考者對前一道題的回答為基礎(chǔ)的。  
    #增加新試題   
    為了使考試跟上產(chǎn)品技術(shù)的發(fā)展和產(chǎn)品用途的變化,微軟公司不斷地為現(xiàn)行考試補充新的試題。新試題也要經(jīng)歷與初試題一樣的發(fā)展過程。但是新試題沒有Beta測試階段,相反,它們只是現(xiàn)行考試的不記分的補充,認證試題開發(fā)小組會搜集新試題的相關(guān)統(tǒng)計數(shù)據(jù)。在沒有足夠的數(shù)據(jù)確認新試題的有效性和可靠性之前,不論應(yīng)考者的答案對錯與否,都不會影響他的后得分。   
    一旦數(shù)據(jù)搜集充分,過時的試題就會被淘汰,新試題將取而代之。  
    五、后的檢測   
    設(shè)計一套有效的可靠的方法測試你使用微軟技術(shù)的能力,對認證試題開發(fā)小組來說也是一個考驗。認證試題開發(fā)小組做這件事需要你的幫助和你的反饋信息。如果你是希望撰寫或?qū)彶樾略囶}的技術(shù)奉獻者,請訪問認證網(wǎng)站