二、構(gòu)想效度
1、構(gòu)想效度:1954年提出,有人翻譯為構(gòu)思效度,也有叫結(jié)構(gòu)效度。它是指測驗(yàn)?zāi)軌驕y量到理論上的構(gòu)想和特質(zhì)的程度,即測驗(yàn)的結(jié)果是否能證實(shí)或解釋某一理論的假設(shè)、術(shù)語或構(gòu)想,解釋的程度如何。
2、構(gòu)想效度的估計(jì)方法:(1)對測驗(yàn)本身的分析:對測驗(yàn)本身的分析:測驗(yàn)的內(nèi)容效度可以作為構(gòu)思效度的證據(jù);測驗(yàn)的同質(zhì)性指標(biāo)可以推斷測驗(yàn)是測量單一特質(zhì)還是測量多種特質(zhì),從而為評估測驗(yàn)構(gòu)思效度提供證據(jù);分析被試對題目的反應(yīng)特點(diǎn)也可以作為構(gòu)思效度的證據(jù)。(2)測驗(yàn)間的相互比較:相容效度是構(gòu)思效度的一個(gè)證據(jù)。區(qū)分效度是構(gòu)思效度的又一個(gè)證據(jù),一個(gè)有效的測驗(yàn)不僅應(yīng)與其他測量同一構(gòu)思的測驗(yàn)有關(guān),而且還必須與測量不同構(gòu)思的測驗(yàn)無相關(guān);因素分析法也是建立構(gòu)思效度的常用方法,通過對一組測驗(yàn)進(jìn)行因素分析,可以找到影響測驗(yàn)分?jǐn)?shù)的共同因素,這種因素可能就是我們要測量的心理特質(zhì)(構(gòu)思)。(3)效標(biāo)效度的研究證明:一個(gè)測驗(yàn)若效標(biāo)度理想,那么該測驗(yàn)所預(yù)測的效標(biāo)的性質(zhì)和種類就可以作為分析測驗(yàn)構(gòu)思效度的指標(biāo),另一種證實(shí)構(gòu)思效度的方法是心理特質(zhì)的發(fā)展變化。實(shí)驗(yàn)法和觀察法證實(shí):觀察實(shí)驗(yàn)前和實(shí)驗(yàn)后分?jǐn)?shù)的差異是驗(yàn)證構(gòu)思效度的方法。
三、效標(biāo)效度
1、效標(biāo)效度:又稱實(shí)證效度,反映的是測驗(yàn)預(yù)測個(gè)體在某種情境下行為表現(xiàn)的有效性程度。被預(yù)測的行為是檢驗(yàn)效度的標(biāo)準(zhǔn),簡稱效標(biāo)。由于這種效度是看測驗(yàn)對效標(biāo)預(yù)測如何,所以叫效標(biāo)效度。這種效度需在實(shí)踐中檢驗(yàn),所以又稱為實(shí)證效標(biāo)。
分類:根據(jù)效標(biāo)資料是否與測驗(yàn)分?jǐn)?shù)同時(shí)獲得,又可分為同時(shí)效度和預(yù)測效度兩類。同時(shí)效度即測驗(yàn)所得分?jǐn)?shù)可與效標(biāo)同時(shí)驗(yàn)證,通常與心理特征的評估及診斷有關(guān)。預(yù)測效度的效標(biāo)資料需要一段時(shí)間才可搜集到,通常用于選拔、分組。因?yàn)樾?biāo)資料在考試以后相隔一段時(shí)間才能獲得,所以高考的效標(biāo)是一種預(yù)測效標(biāo)。同時(shí)效標(biāo)和預(yù)測效標(biāo)意義上的差異,不是來源于時(shí)間,而是來自測驗(yàn)的目的。前者與用來診斷現(xiàn)狀的測驗(yàn)有關(guān),后者與預(yù)測將來結(jié)果的測驗(yàn)有關(guān)。
一個(gè)好的效標(biāo)必須具備以下條件:
1必須能地反映測驗(yàn)的目標(biāo),即效標(biāo)測量本身必須有效;
2效標(biāo)必須具有較高的信度,穩(wěn)定可靠,不隨時(shí)間等因素變化;
3效標(biāo)可以客觀地加以測量,可用數(shù)據(jù)或等級來表示;
4效標(biāo)的測量的方法很簡單,省時(shí)省力,經(jīng)濟(jì)實(shí)用。
2、效標(biāo)和效標(biāo)測量:效標(biāo),即衡量測驗(yàn)有效性的參照標(biāo)準(zhǔn),指的是可以直接而且獨(dú)立測量的我們感興趣的行為。我們感興趣的行為,就是要預(yù)測的行為,這是一個(gè)總的觀念,故必須以可操作的測量來確定才有實(shí)際意義。因此有必要把效標(biāo)細(xì)分為兩個(gè)層次,其一是理論水平的“觀念效標(biāo)”, 其二是操作定義水平的“效標(biāo)測量”。
3、常用的效標(biāo)包括:
1學(xué)業(yè)成就:如在校成績、學(xué)歷、有關(guān)的獎勵和榮譽(yù)、教師對學(xué)生智力的評定等,常作為智力測驗(yàn)的效標(biāo),也可作為某些多重能力傾向測驗(yàn)和人格測驗(yàn)的效標(biāo)。
2實(shí)際工作表現(xiàn):是最滿意的效標(biāo)測量,為一般智力測驗(yàn)、人格測驗(yàn)和一些能力傾向測驗(yàn)的效標(biāo);
3特殊訓(xùn)練成績
4精神病診斷;
5等級評定:是觀察者根據(jù)測驗(yàn)欲測量的心理特質(zhì)在被試身上的表現(xiàn)而作出的一種個(gè)人判斷;
6效標(biāo)團(tuán)體的比較:即找出兩個(gè)在效標(biāo)表現(xiàn)上有差別的團(tuán)體,比較他們在測驗(yàn)分?jǐn)?shù)上的差別;
7先前有效的測驗(yàn):一個(gè)新測驗(yàn)與先前有效的測驗(yàn)的相關(guān)也經(jīng)常作為效度檢驗(yàn)的證據(jù)。(簡答)
第三節(jié) 效度的表示方法及應(yīng)用
一、 效度的表示方法
1、 相關(guān)法:效度系數(shù)是最常用的效度指標(biāo),尤其是效標(biāo)效度。它是以皮爾遜積差相關(guān)系數(shù)來表示的,主要反映測驗(yàn)分?jǐn)?shù)與效標(biāo)測量的相關(guān)。當(dāng)測驗(yàn)成績是連續(xù)變量,而效標(biāo)資料是二分變量時(shí),計(jì)算效度系數(shù)可用點(diǎn)二列相關(guān)公式或二列相關(guān)公式;當(dāng)測驗(yàn)分?jǐn)?shù)為連續(xù)變量,效標(biāo)資料為等級評定時(shí),可用賈斯朋多系列相關(guān)公式計(jì)算。
2、 區(qū)分法:是檢驗(yàn)測驗(yàn)分?jǐn)?shù)能否有效地區(qū)分由效標(biāo)所定義的團(tuán)體的一種方法。算出t值后,便可知道分?jǐn)?shù)的差異是否顯著。若差異顯著,說明該測驗(yàn)?zāi)軌蛴行У貐^(qū)分由效標(biāo)定義的團(tuán)體,否則,測驗(yàn)是無效的。重疊百分比可以通過計(jì)算每一組內(nèi)得分超過(或低于)另一組平均數(shù)的人數(shù)百分比得出;另外,還可以計(jì)算兩組分布的共同區(qū)的百分比。重疊量越大,說明兩組分?jǐn)?shù)差異越小,即測驗(yàn)的效度越差。
3、 命中率法:是當(dāng)測驗(yàn)用來做取舍的依據(jù)時(shí),用其正確決定的比例作為效度指標(biāo)的一種方法。命中率的計(jì)算有兩種方法,一是計(jì)算總命中率,另一種是計(jì)算正命中率。
4、 預(yù)期表法:是一種雙向表格,預(yù)測分?jǐn)?shù)排在表的左邊,效標(biāo)排在表的頂端。從左下至右上對角線上各百分?jǐn)?shù)字越大,而其它的百分?jǐn)?shù)字越小,表示測驗(yàn)的效標(biāo)效度越高 ;反之,數(shù)字越分散,則效度越低。
二、 效度的應(yīng)用
1、 預(yù)測誤差:效度系數(shù)的平方,統(tǒng)計(jì)學(xué)上稱這種指標(biāo)為決定系數(shù),表示測驗(yàn)正確預(yù)測或解釋的效標(biāo)的方差占總方差的比例。另一種表達(dá)方式是估計(jì)的標(biāo)準(zhǔn)誤,簡寫為Sest,它是指所有具有某一測驗(yàn)分?jǐn)?shù)的被試其效標(biāo)分?jǐn)?shù)(Y)分布的標(biāo)準(zhǔn)差,也即預(yù)測誤差大小的估計(jì)值, (公式4-9)估計(jì)的標(biāo)注誤可如同其他標(biāo)準(zhǔn)誤一樣解釋。真正效標(biāo)分?jǐn)?shù)落在預(yù)測效標(biāo)分?jǐn)?shù)±1Sest的范圍內(nèi),有68%的可能性;落在預(yù)測效標(biāo)分?jǐn)?shù)±1.96Sest的范圍內(nèi),有95%的可能性;落在預(yù)測效標(biāo)分?jǐn)?shù)±2.58Sest的范圍內(nèi),有99%的可能性。
2、 預(yù)測效標(biāo)分?jǐn)?shù):如果X與Y兩變量呈直線相關(guān),只要確定出二者間的回歸方程,就可以從一個(gè)變量推估出來另一個(gè)變量。在測驗(yàn)工作中,人們感興趣的是從測驗(yàn)分?jǐn)?shù)預(yù)測效標(biāo)成績。
3、 預(yù)測效標(biāo)指數(shù):公式4-9中的 又稱作無關(guān)系數(shù),以K表示之,K值大小表明預(yù)測源分?jǐn)?shù)與效標(biāo)分?jǐn)?shù)無關(guān)的程度。(1-K)可作為預(yù)測效率的指數(shù),用E表示:E=100(1-K) (公式4-15)E值大小表明使用測驗(yàn)比盲目猜測能減少多少誤差。
1、構(gòu)想效度:1954年提出,有人翻譯為構(gòu)思效度,也有叫結(jié)構(gòu)效度。它是指測驗(yàn)?zāi)軌驕y量到理論上的構(gòu)想和特質(zhì)的程度,即測驗(yàn)的結(jié)果是否能證實(shí)或解釋某一理論的假設(shè)、術(shù)語或構(gòu)想,解釋的程度如何。
2、構(gòu)想效度的估計(jì)方法:(1)對測驗(yàn)本身的分析:對測驗(yàn)本身的分析:測驗(yàn)的內(nèi)容效度可以作為構(gòu)思效度的證據(jù);測驗(yàn)的同質(zhì)性指標(biāo)可以推斷測驗(yàn)是測量單一特質(zhì)還是測量多種特質(zhì),從而為評估測驗(yàn)構(gòu)思效度提供證據(jù);分析被試對題目的反應(yīng)特點(diǎn)也可以作為構(gòu)思效度的證據(jù)。(2)測驗(yàn)間的相互比較:相容效度是構(gòu)思效度的一個(gè)證據(jù)。區(qū)分效度是構(gòu)思效度的又一個(gè)證據(jù),一個(gè)有效的測驗(yàn)不僅應(yīng)與其他測量同一構(gòu)思的測驗(yàn)有關(guān),而且還必須與測量不同構(gòu)思的測驗(yàn)無相關(guān);因素分析法也是建立構(gòu)思效度的常用方法,通過對一組測驗(yàn)進(jìn)行因素分析,可以找到影響測驗(yàn)分?jǐn)?shù)的共同因素,這種因素可能就是我們要測量的心理特質(zhì)(構(gòu)思)。(3)效標(biāo)效度的研究證明:一個(gè)測驗(yàn)若效標(biāo)度理想,那么該測驗(yàn)所預(yù)測的效標(biāo)的性質(zhì)和種類就可以作為分析測驗(yàn)構(gòu)思效度的指標(biāo),另一種證實(shí)構(gòu)思效度的方法是心理特質(zhì)的發(fā)展變化。實(shí)驗(yàn)法和觀察法證實(shí):觀察實(shí)驗(yàn)前和實(shí)驗(yàn)后分?jǐn)?shù)的差異是驗(yàn)證構(gòu)思效度的方法。
三、效標(biāo)效度
1、效標(biāo)效度:又稱實(shí)證效度,反映的是測驗(yàn)預(yù)測個(gè)體在某種情境下行為表現(xiàn)的有效性程度。被預(yù)測的行為是檢驗(yàn)效度的標(biāo)準(zhǔn),簡稱效標(biāo)。由于這種效度是看測驗(yàn)對效標(biāo)預(yù)測如何,所以叫效標(biāo)效度。這種效度需在實(shí)踐中檢驗(yàn),所以又稱為實(shí)證效標(biāo)。
分類:根據(jù)效標(biāo)資料是否與測驗(yàn)分?jǐn)?shù)同時(shí)獲得,又可分為同時(shí)效度和預(yù)測效度兩類。同時(shí)效度即測驗(yàn)所得分?jǐn)?shù)可與效標(biāo)同時(shí)驗(yàn)證,通常與心理特征的評估及診斷有關(guān)。預(yù)測效度的效標(biāo)資料需要一段時(shí)間才可搜集到,通常用于選拔、分組。因?yàn)樾?biāo)資料在考試以后相隔一段時(shí)間才能獲得,所以高考的效標(biāo)是一種預(yù)測效標(biāo)。同時(shí)效標(biāo)和預(yù)測效標(biāo)意義上的差異,不是來源于時(shí)間,而是來自測驗(yàn)的目的。前者與用來診斷現(xiàn)狀的測驗(yàn)有關(guān),后者與預(yù)測將來結(jié)果的測驗(yàn)有關(guān)。
一個(gè)好的效標(biāo)必須具備以下條件:
1必須能地反映測驗(yàn)的目標(biāo),即效標(biāo)測量本身必須有效;
2效標(biāo)必須具有較高的信度,穩(wěn)定可靠,不隨時(shí)間等因素變化;
3效標(biāo)可以客觀地加以測量,可用數(shù)據(jù)或等級來表示;
4效標(biāo)的測量的方法很簡單,省時(shí)省力,經(jīng)濟(jì)實(shí)用。
2、效標(biāo)和效標(biāo)測量:效標(biāo),即衡量測驗(yàn)有效性的參照標(biāo)準(zhǔn),指的是可以直接而且獨(dú)立測量的我們感興趣的行為。我們感興趣的行為,就是要預(yù)測的行為,這是一個(gè)總的觀念,故必須以可操作的測量來確定才有實(shí)際意義。因此有必要把效標(biāo)細(xì)分為兩個(gè)層次,其一是理論水平的“觀念效標(biāo)”, 其二是操作定義水平的“效標(biāo)測量”。
3、常用的效標(biāo)包括:
1學(xué)業(yè)成就:如在校成績、學(xué)歷、有關(guān)的獎勵和榮譽(yù)、教師對學(xué)生智力的評定等,常作為智力測驗(yàn)的效標(biāo),也可作為某些多重能力傾向測驗(yàn)和人格測驗(yàn)的效標(biāo)。
2實(shí)際工作表現(xiàn):是最滿意的效標(biāo)測量,為一般智力測驗(yàn)、人格測驗(yàn)和一些能力傾向測驗(yàn)的效標(biāo);
3特殊訓(xùn)練成績
4精神病診斷;
5等級評定:是觀察者根據(jù)測驗(yàn)欲測量的心理特質(zhì)在被試身上的表現(xiàn)而作出的一種個(gè)人判斷;
6效標(biāo)團(tuán)體的比較:即找出兩個(gè)在效標(biāo)表現(xiàn)上有差別的團(tuán)體,比較他們在測驗(yàn)分?jǐn)?shù)上的差別;
7先前有效的測驗(yàn):一個(gè)新測驗(yàn)與先前有效的測驗(yàn)的相關(guān)也經(jīng)常作為效度檢驗(yàn)的證據(jù)。(簡答)
第三節(jié) 效度的表示方法及應(yīng)用
一、 效度的表示方法
1、 相關(guān)法:效度系數(shù)是最常用的效度指標(biāo),尤其是效標(biāo)效度。它是以皮爾遜積差相關(guān)系數(shù)來表示的,主要反映測驗(yàn)分?jǐn)?shù)與效標(biāo)測量的相關(guān)。當(dāng)測驗(yàn)成績是連續(xù)變量,而效標(biāo)資料是二分變量時(shí),計(jì)算效度系數(shù)可用點(diǎn)二列相關(guān)公式或二列相關(guān)公式;當(dāng)測驗(yàn)分?jǐn)?shù)為連續(xù)變量,效標(biāo)資料為等級評定時(shí),可用賈斯朋多系列相關(guān)公式計(jì)算。
2、 區(qū)分法:是檢驗(yàn)測驗(yàn)分?jǐn)?shù)能否有效地區(qū)分由效標(biāo)所定義的團(tuán)體的一種方法。算出t值后,便可知道分?jǐn)?shù)的差異是否顯著。若差異顯著,說明該測驗(yàn)?zāi)軌蛴行У貐^(qū)分由效標(biāo)定義的團(tuán)體,否則,測驗(yàn)是無效的。重疊百分比可以通過計(jì)算每一組內(nèi)得分超過(或低于)另一組平均數(shù)的人數(shù)百分比得出;另外,還可以計(jì)算兩組分布的共同區(qū)的百分比。重疊量越大,說明兩組分?jǐn)?shù)差異越小,即測驗(yàn)的效度越差。
3、 命中率法:是當(dāng)測驗(yàn)用來做取舍的依據(jù)時(shí),用其正確決定的比例作為效度指標(biāo)的一種方法。命中率的計(jì)算有兩種方法,一是計(jì)算總命中率,另一種是計(jì)算正命中率。
4、 預(yù)期表法:是一種雙向表格,預(yù)測分?jǐn)?shù)排在表的左邊,效標(biāo)排在表的頂端。從左下至右上對角線上各百分?jǐn)?shù)字越大,而其它的百分?jǐn)?shù)字越小,表示測驗(yàn)的效標(biāo)效度越高 ;反之,數(shù)字越分散,則效度越低。
二、 效度的應(yīng)用
1、 預(yù)測誤差:效度系數(shù)的平方,統(tǒng)計(jì)學(xué)上稱這種指標(biāo)為決定系數(shù),表示測驗(yàn)正確預(yù)測或解釋的效標(biāo)的方差占總方差的比例。另一種表達(dá)方式是估計(jì)的標(biāo)準(zhǔn)誤,簡寫為Sest,它是指所有具有某一測驗(yàn)分?jǐn)?shù)的被試其效標(biāo)分?jǐn)?shù)(Y)分布的標(biāo)準(zhǔn)差,也即預(yù)測誤差大小的估計(jì)值, (公式4-9)估計(jì)的標(biāo)注誤可如同其他標(biāo)準(zhǔn)誤一樣解釋。真正效標(biāo)分?jǐn)?shù)落在預(yù)測效標(biāo)分?jǐn)?shù)±1Sest的范圍內(nèi),有68%的可能性;落在預(yù)測效標(biāo)分?jǐn)?shù)±1.96Sest的范圍內(nèi),有95%的可能性;落在預(yù)測效標(biāo)分?jǐn)?shù)±2.58Sest的范圍內(nèi),有99%的可能性。
2、 預(yù)測效標(biāo)分?jǐn)?shù):如果X與Y兩變量呈直線相關(guān),只要確定出二者間的回歸方程,就可以從一個(gè)變量推估出來另一個(gè)變量。在測驗(yàn)工作中,人們感興趣的是從測驗(yàn)分?jǐn)?shù)預(yù)測效標(biāo)成績。
3、 預(yù)測效標(biāo)指數(shù):公式4-9中的 又稱作無關(guān)系數(shù),以K表示之,K值大小表明預(yù)測源分?jǐn)?shù)與效標(biāo)分?jǐn)?shù)無關(guān)的程度。(1-K)可作為預(yù)測效率的指數(shù),用E表示:E=100(1-K) (公式4-15)E值大小表明使用測驗(yàn)比盲目猜測能減少多少誤差。