1、第十二章第十二章 素質(zhì)測評的質(zhì)量分析素質(zhì)測評的質(zhì)量分析l一項測評能否可靠、可信？l一項測評能否準(zhǔn)確、有用？l一項測評能否公正、公平？l一項測評能否經(jīng)濟、合理？l教學(xué)內(nèi)容教學(xué)內(nèi)容l12-1 12-1 測評的信度測評的信度l 12-1-1 12-1-1 信度及其影響要素信度及其影響要素l 12-1-2 12-1-2 信度的評價方法信度的評價方法l12-2 12-2 測評的效度測評的效度l 12-2-1 12-2-1 效度及其影響要素效度及其影響要素l 12-2-2 12-2-2 效度的評價方法效度的評價方法l12-3 12-3 工程分析工程分析l 12-3-1 12-3-1 測評的難度分析測評的難

2、度分析l 12-3-2 12-3-2 測評的鑒別度分析測評的鑒別度分析l 12-3-3 12-3-3 測評的公平性分析測評的公平性分析l 12-3-4 12-3-4 測評的經(jīng)濟效益分析測評的經(jīng)濟效益分析12-1 12-1 測評的信度測評的信度l信度是規(guī)范化素質(zhì)測評的根本要求之一，信度是規(guī)范化素質(zhì)測評的根本要求之一，假設(shè)測評工具的信度不理想，丈量結(jié)果就假設(shè)測評工具的信度不理想，丈量結(jié)果就無法被以為能代表應(yīng)試者的一致、穩(wěn)定和無法被以為能代表應(yīng)試者的一致、穩(wěn)定和可靠的行為表現(xiàn)，就能夠誤導(dǎo)對應(yīng)試者的可靠的行為表現(xiàn)，就能夠誤導(dǎo)對應(yīng)試者的評價。評價。12-1-1 12-1-1 信度及其影響要素信度及其影響

3、要素l假設(shè)我們用一個游標(biāo)卡尺來丈量一個鋼管的外直徑，每次丈量假設(shè)我們用一個游標(biāo)卡尺來丈量一個鋼管的外直徑，每次丈量時都難免會有一定的誤差。時都難免會有一定的誤差。l首先，游標(biāo)卡尺作為一種丈量工具是有一定精度限制的，也就首先，游標(biāo)卡尺作為一種丈量工具是有一定精度限制的，也就是說，丈量工具本身存在誤差。當(dāng)然這種誤差是必然存在的，是說，丈量工具本身存在誤差。當(dāng)然這種誤差是必然存在的，而且誤差是在一定范圍中有規(guī)律的變動的，這種誤差在丈量任而且誤差是在一定范圍中有規(guī)律的變動的，這種誤差在丈量任務(wù)中被稱之為系統(tǒng)誤差務(wù)中被稱之為系統(tǒng)誤差systematic errorsystematic error。l其次

4、，我們每一次丈量都能夠出現(xiàn)操作上的差別，或者由于不其次，我們每一次丈量都能夠出現(xiàn)操作上的差別，或者由于不可預(yù)見的外界要素的影響，產(chǎn)生丈量誤差。這些誤差是很難控可預(yù)見的外界要素的影響，產(chǎn)生丈量誤差。這些誤差是很難控制的，而且無規(guī)律可循，有時大有時小，這種誤差被稱為隨機制的，而且無規(guī)律可循，有時大有時小，這種誤差被稱為隨機誤差誤差random errorrandom error。l前者在一定程度上可以控制，而后者很難控制，一個好的丈量前者在一定程度上可以控制，而后者很難控制，一個好的丈量工具應(yīng)該不僅要有盡能夠高的準(zhǔn)確度與系統(tǒng)誤差相關(guān)，還工具應(yīng)該不僅要有盡能夠高的準(zhǔn)確度與系統(tǒng)誤差相關(guān)，還可以把誤差控

5、制在一個有規(guī)律的范圍以內(nèi)，這樣才可以得到穩(wěn)可以把誤差控制在一個有規(guī)律的范圍以內(nèi)，這樣才可以得到穩(wěn)定可信的丈量結(jié)果。信度實踐上就是對隨機誤差的一種度量。定可信的丈量結(jié)果。信度實踐上就是對隨機誤差的一種度量。1、信度的概念、信度的概念l信度信度reliabilityreliability信度是標(biāo)示檢驗一致性高低的信度是標(biāo)示檢驗一致性高低的統(tǒng)計目的。主要指丈量結(jié)果的可靠性、穩(wěn)定性和一統(tǒng)計目的。主要指丈量結(jié)果的可靠性、穩(wěn)定性和一致性，可以定義為檢驗結(jié)果不受檢驗情境或檢驗過致性，可以定義為檢驗結(jié)果不受檢驗情境或檢驗過程中無關(guān)變量影響的程度。實踐上就是指檢驗分?jǐn)?shù)程中無關(guān)變量影響的程度。實踐上就是指檢驗分?jǐn)?shù)

6、不受丈量誤差影響的程度?？梢灾赋鰴z驗出的個體不受丈量誤差影響的程度?？梢灾赋鰴z驗出的個體差別在多大程度上是真正的差別，又在多大程度上差別在多大程度上是真正的差別，又在多大程度上是由于隨機誤差呵斥的。是由于隨機誤差呵斥的。l隨機誤差越大，信度就越低。反之，信度就越高。隨機誤差越大，信度就越低。反之，信度就越高。l通常任何檢驗都存在某種程度的不一致性同一受通常任何檢驗都存在某種程度的不一致性同一受試者在不同時間或在不同的檢驗條件下做同一檢驗試者在不同時間或在不同的檢驗條件下做同一檢驗l由于誤差的存在，我們永遠(yuǎn)不能夠完全提示人的心由于誤差的存在，我們永遠(yuǎn)不能夠完全提示人的心思特點，只能無限接近真實分

7、數(shù)。思特點，只能無限接近真實分?jǐn)?shù)。l一切檢驗都有誤差，心思檢驗分?jǐn)?shù)也不例外。假一切檢驗都有誤差，心思檢驗分?jǐn)?shù)也不例外。假設(shè)一個人延續(xù)兩天接受同一檢驗，或者完成同一設(shè)一個人延續(xù)兩天接受同一檢驗，或者完成同一檢驗被以為是等值的兩個版本，假設(shè)得分一樣會檢驗被以為是等值的兩個版本，假設(shè)得分一樣會讓人感到詫異，假設(shè)分?jǐn)?shù)有相當(dāng)大的變化能夠讓讓人感到詫異，假設(shè)分?jǐn)?shù)有相當(dāng)大的變化能夠讓人吃驚，但是有一點可以一定，這是由于偶爾或人吃驚，但是有一點可以一定，這是由于偶爾或隨機要素影響了每次檢驗的成果。隨機要素影響了每次檢驗的成果。l然而，對于兒童，假好像一檢驗在半年或一年之然而，對于兒童，假好像一檢驗在半年或一年

8、之后測第二遍，分?jǐn)?shù)有很大的差別是缺乏為奇的，后測第二遍，分?jǐn)?shù)有很大的差別是缺乏為奇的，由于他們的生長導(dǎo)致檢驗成果的變化非常自然。由于他們的生長導(dǎo)致檢驗成果的變化非常自然。問題將是確定有多少變化是由于成果的隨機變化問題將是確定有多少變化是由于成果的隨機變化引起的，又有多少可以歸因于個人在這段時間內(nèi)引起的，又有多少可以歸因于個人在這段時間內(nèi)所發(fā)生的變化。所發(fā)生的變化。丈量結(jié)果的穩(wěn)定性：丈量結(jié)果的穩(wěn)定性：檢驗分?jǐn)?shù)一致性的程度不同時間、檢驗條件下檢驗分?jǐn)?shù)一致性的程度不同時間、檢驗條件下所得分?jǐn)?shù)之間的一致性所得分?jǐn)?shù)之間的一致性一個人獲得分?jǐn)?shù)與一個人獲得分?jǐn)?shù)與“真實分?jǐn)?shù)之間的接近程度真實分?jǐn)?shù)之間的接近程度

9、丈量結(jié)果的一致性能否到達(dá)實踐運用的程度丈量結(jié)果的一致性能否到達(dá)實踐運用的程度影響穩(wěn)定性的緣由：影響穩(wěn)定性的緣由：什么要素呵斥了這種差別誤差的來源什么要素呵斥了這種差別誤差的來源這些效應(yīng)的相對作用如何分?jǐn)?shù)的實踐含意這些效應(yīng)的相對作用如何分?jǐn)?shù)的實踐含意在研討信度時，主要應(yīng)思索兩方面的問題：在研討信度時，主要應(yīng)思索兩方面的問題：信度的計算：信度系數(shù)信度的計算：信度系數(shù)l信度目的的普通公式：檢驗分?jǐn)?shù)信度目的的普通公式：檢驗分?jǐn)?shù) = = 真實分?jǐn)?shù)真實分?jǐn)?shù) + + 丈量誤差丈量誤差 或者：或者： X = T + eX = T + el信度的高低通常以相關(guān)系數(shù)表示，稱為信度系數(shù)信度的高低通常以相關(guān)系數(shù)表示，

10、稱為信度系數(shù)reliability coefficientreliability coefficient。信度系數(shù)普通是同一樣本。信度系數(shù)普通是同一樣本所得的兩組資料的相關(guān)，因此有：所得的兩組資料的相關(guān)，因此有：l檢驗分?jǐn)?shù)方差檢驗分?jǐn)?shù)方差 = = 真實分?jǐn)?shù)方差真實分?jǐn)?shù)方差+ + 誤差分?jǐn)?shù)方差誤差分?jǐn)?shù)方差l X2 = X2 = T2 + T2 + e2e2l信度系數(shù)：信度系數(shù)： rxx= rxx= T2 / T2 / X2 X2 = = T2 / T2 / T2 + T2 + e2 e2 l信度系數(shù)即是真實分?jǐn)?shù)方差變異數(shù)與檢驗分?jǐn)?shù)總方差信度系數(shù)即是真實分?jǐn)?shù)方差變異數(shù)與檢驗分?jǐn)?shù)總方差變異數(shù)之比。變

11、異數(shù)之比。2、信度的作用、信度的作用l檢驗信度要可以區(qū)分出：檢驗信度要可以區(qū)分出：l導(dǎo)致一致性的要素：導(dǎo)致一致性的要素： 個體穩(wěn)定的特性丈量對象個體穩(wěn)定的特性丈量對象l導(dǎo)致不一致性的要素：導(dǎo)致不一致性的要素： 能夠影響檢驗，但又與檢驗?zāi)軌蛴绊憴z驗，但又與檢驗對象沒有關(guān)系的個體和環(huán)境的特性對象沒有關(guān)系的個體和環(huán)境的特性 l在素質(zhì)測評中，對信度系數(shù)進展確定通常有以下作用：在素質(zhì)測評中，對信度系數(shù)進展確定通常有以下作用：l解釋真實分?jǐn)?shù)與實得分?jǐn)?shù)之間的相關(guān)解釋真實分?jǐn)?shù)與實得分?jǐn)?shù)之間的相關(guān)l闡明可以接受的信度程度闡明可以接受的信度程度解釋真實分?jǐn)?shù)與實得分?jǐn)?shù)之間的相關(guān)l信度可以解釋為總的方差規(guī)范差的平方的

12、縮信度可以解釋為總的方差規(guī)范差的平方的縮略語中有多少比例是由真實分?jǐn)?shù)的方差決議略語中有多少比例是由真實分?jǐn)?shù)的方差決議的，即丈量分?jǐn)?shù)的變化中有多少是真正反映了的，即丈量分?jǐn)?shù)的變化中有多少是真正反映了被測者分?jǐn)?shù)的變化。被測者分?jǐn)?shù)的變化。l例如：當(dāng)例如：當(dāng)rxx = 0.90rxx = 0.90時，我們可以說，實得分時，我們可以說，實得分?jǐn)?shù)中有數(shù)中有90%90%的方差是來自真實分?jǐn)?shù)的變化，僅的方差是來自真實分?jǐn)?shù)的變化，僅有有10%10%是來自丈量的誤差。是來自丈量的誤差。l信度系數(shù)的分布是從信度系數(shù)的分布是從0.00-1.000.00-1.00的正數(shù)范圍，的正數(shù)范圍，代表了從缺乏信度到完全可信的一切

13、情況。代表了從缺乏信度到完全可信的一切情況。l思索：假設(shè)思索：假設(shè)rxx = 1.00rxx = 1.00表示什么？表示什么？ rxx = rxx = 0.000.00表示什么？表示什么？闡明可以接受的信度程度闡明可以接受的信度程度l信度的理想程度是信度的理想程度是1.001.00，但是實踐上是達(dá)，但是實踐上是達(dá)不到的。不到的。l普通才干與成就檢驗的信度系數(shù)在普通才干與成就檢驗的信度系數(shù)在0.900.90以以上；人格、興趣等檢驗的信度通常在上；人格、興趣等檢驗的信度通常在0.80-0.850.80-0.85之間。之間。l普通來說，當(dāng)普通來說，當(dāng)rxx 0.70rxx 0.70rxx 0.70時

14、，可用于團體間比較；當(dāng)時，可用于團體間比較；當(dāng)rxx 0.85rxx 0.85時，可用于鑒別個人。時，可用于鑒別個人。幾種心思檢驗的信度系數(shù)幾種心思檢驗的信度系數(shù)測驗類型測驗類型信度信度低低中中高高成套成就測驗0.660.920.98學(xué)術(shù)能力測驗0.560.900.97成套傾向性測驗0.260.880.96客觀人格測驗0.460.850.97興趣問卷0.420.840.93態(tài)度量表0.470.790.983、信度的影響要素、信度的影響要素l 受試者個體耐久而泛化的特性：受試者個體耐久而泛化的特性：l進展檢驗的普通技藝程度進展檢驗的普通技藝程度l了解檢驗指示語的普通才干程度了解檢驗指示語的普通才

15、干程度l進展類似檢驗的普通的人格特質(zhì)進展類似檢驗的普通的人格特質(zhì)l 受試者個體耐久而特殊的特性：受試者個體耐久而特殊的特性：l進展某項檢驗或其方式需求的特殊的技藝、進展某項檢驗或其方式需求的特殊的技藝、才干才干 和特質(zhì)；以及穩(wěn)定的反映定勢；和特質(zhì)；以及穩(wěn)定的反映定勢；l對某個檢驗工程內(nèi)容的熟習(xí)程度對某個檢驗工程內(nèi)容的熟習(xí)程度l 受試者個體短時而泛化的特性：受試者個體短時而泛化的特性：l安康、疲勞、動機、心情形狀、檢驗自若性；溫安康、疲勞、動機、心情形狀、檢驗自若性；溫度、度、 光亮、通風(fēng)等檢驗外部條件光亮、通風(fēng)等檢驗外部條件l 受試者個體短時而特殊的特性l對特殊檢驗的了解，檢驗所需求的特殊技巧

16、；為做檢驗所進展的練習(xí)；l對檢驗工程內(nèi)容的留意、記憶等的飄忽不定。l 影響檢驗過程和解釋的外部要素系統(tǒng)改動l檢驗條件；對檢驗的各種限制；干擾程度；指示語的明晰度；l受試者在個性、性別、種族等與檢驗主試的交互作用；l對檢驗結(jié)果的不一致或有偏向的評判。l無法解釋的變化隨機要素l猜測、運氣，以及暫時的干擾12-1-2 12-1-2 信度的評價方法信度的評價方法l針對不同的誤差來源，信度可以有不同確實定方法。針對不同的誤差來源，信度可以有不同確實定方法。信度系數(shù)類型信度系數(shù)類型誤差來源誤差來源重測信度重測信度時間取樣時間取樣復(fù)本信度（即時）復(fù)本信度（即時）內(nèi)容取樣內(nèi)容取樣重測復(fù)本信度（延遲）重測復(fù)本信

17、度（延遲）時間和內(nèi)容取樣時間和內(nèi)容取樣分半信度分半信度內(nèi)容取樣內(nèi)容取樣同質(zhì)性信度同質(zhì)性信度內(nèi)容的異質(zhì)性內(nèi)容的異質(zhì)性評分者信度評分者信度評分者間差異評分者間差異1 1、重測信度、重測信度(test-retest reliability)(test-retest reliability)l又稱為穩(wěn)定性系數(shù)，是采用重測法計算信度的又稱為穩(wěn)定性系數(shù)，是采用重測法計算信度的方法，即用同一檢驗在不同時間對同一對象施方法，即用同一檢驗在不同時間對同一對象施測兩次，兩次丈量分?jǐn)?shù)的相關(guān)系數(shù)即為重測系測兩次，兩次丈量分?jǐn)?shù)的相關(guān)系數(shù)即為重測系數(shù)。數(shù)。l人事丈量所測查的特質(zhì)中，有相當(dāng)多的內(nèi)容具人事丈量所測查的特質(zhì)中，

18、有相當(dāng)多的內(nèi)容具有一定的穩(wěn)定性，如人格、才干傾向等，因此，有一定的穩(wěn)定性，如人格、才干傾向等，因此，對于這些內(nèi)容而言，重測信度對于衡量丈量工對于這些內(nèi)容而言，重測信度對于衡量丈量工具的質(zhì)量是很重要的目的。具的質(zhì)量是很重要的目的。l在日常生活中，他也許經(jīng)常到市場上去買東西。假在日常生活中，他也許經(jīng)常到市場上去買東西。假設(shè)他買了設(shè)他買了5 5斤瘦肉后覺得比上次少了點，沒有那么重，斤瘦肉后覺得比上次少了點，沒有那么重，那么他可以本人再用稱稱一下。假設(shè)也是那么他可以本人再用稱稱一下。假設(shè)也是5 5斤，那么斤，那么他能夠就會覺得確實有他能夠就會覺得確實有5 5斤。這是由于兩次稱得的結(jié)斤。這是由于兩次稱得

19、的結(jié)果完全一致，變異度為果完全一致，變異度為0 0。l人的素質(zhì)測評沒有這么簡單，由于素質(zhì)本身又是無人的素質(zhì)測評沒有這么簡單，由于素質(zhì)本身又是無法準(zhǔn)確定義，因此我們經(jīng)常把對個體測評結(jié)果的準(zhǔn)法準(zhǔn)確定義，因此我們經(jīng)常把對個體測評結(jié)果的準(zhǔn)確性檢驗，置于群體測評結(jié)果的相互關(guān)系之中，轉(zhuǎn)確性檢驗，置于群體測評結(jié)果的相互關(guān)系之中，轉(zhuǎn)化為兩次位置關(guān)系的一致性分析。當(dāng)同一對象的測化為兩次位置關(guān)系的一致性分析。當(dāng)同一對象的測評結(jié)果以同樣的測評方式再次獲得后，其順序位置評結(jié)果以同樣的測評方式再次獲得后，其順序位置關(guān)系變異很小時，那么闡明測評結(jié)果比較準(zhǔn)確。關(guān)系變異很小時，那么闡明測評結(jié)果比較準(zhǔn)確。l例如：在技藝測評中例

20、如：在技藝測評中A A分?jǐn)?shù)分?jǐn)?shù)8888，在全體被測者中排名，在全體被測者中排名第一。這能否可靠可信？我們可以再測一次，結(jié)果第一。這能否可靠可信？我們可以再測一次，結(jié)果A A分?jǐn)?shù)分?jǐn)?shù)9595，還是排名第一，而且其他被測的位置順序，還是排名第一，而且其他被測的位置順序變化很小。這時我們可以說第一次的技藝測評結(jié)果變化很小。這時我們可以說第一次的技藝測評結(jié)果是可靠的信度高。是可靠的信度高。重測信度的調(diào)查對象重測信度的調(diào)查對象l重測信度所調(diào)查的誤差來源是時間的變化所帶來的隨機影重測信度所調(diào)查的誤差來源是時間的變化所帶來的隨機影響氣候、噪音的干擾、疾病、疲勞、心情的影響等，響氣候、噪音的干擾、疾病、疲勞、

21、心情的影響等，根據(jù)重測相關(guān)系數(shù)的高低，可以得知丈量結(jié)果在經(jīng)過一段根據(jù)重測相關(guān)系數(shù)的高低，可以得知丈量結(jié)果在經(jīng)過一段時間之后的穩(wěn)定程度。重測信度表示丈量可以運用于不同時間之后的穩(wěn)定程度。重測信度表示丈量可以運用于不同時間的程度，信度越高闡明丈量結(jié)果受環(huán)境中日常的隨機時間的程度，信度越高闡明丈量結(jié)果受環(huán)境中日常的隨機要素影響越小，丈量結(jié)果越穩(wěn)定、可靠。要素影響越小，丈量結(jié)果越穩(wěn)定、可靠。l評價重測信度時，要留意重測間隔的時間，時間太短被試評價重測信度時，要留意重測間隔的時間，時間太短被試對測試題記憶猶新，必然會呵斥假性相關(guān)；時間太長，檢對測試題記憶猶新，必然會呵斥假性相關(guān)；時間太長，檢驗結(jié)果又會受

22、應(yīng)試者的身心特質(zhì)改動的影響，使相關(guān)系數(shù)驗結(jié)果又會受應(yīng)試者的身心特質(zhì)改動的影響，使相關(guān)系數(shù)降低。間隔時間的長短必需根據(jù)檢驗的性質(zhì)和目的來確定。降低。間隔時間的長短必需根據(jù)檢驗的性質(zhì)和目的來確定。假設(shè)希望丈量結(jié)果能預(yù)測較長時間的變化，那么重測間隔假設(shè)希望丈量結(jié)果能預(yù)測較長時間的變化，那么重測間隔時間應(yīng)該長一些。例如人格檢驗普通間隔時間應(yīng)該長一些。例如人格檢驗普通間隔2-62-6個月比較適個月比較適宜。宜。運用重測信度應(yīng)留意：運用重測信度應(yīng)留意：l重測信度普通只反映由隨機要素導(dǎo)致的變化，而不反映被測者重測信度普通只反映由隨機要素導(dǎo)致的變化，而不反映被測者行為的長久變化。例如被測者智力的開展與才干的提

23、高，不是行為的長久變化。例如被測者智力的開展與才干的提高，不是重測信度調(diào)查的要素。這些要素導(dǎo)致的重測相關(guān)系數(shù)的降低，重測信度調(diào)查的要素。這些要素導(dǎo)致的重測相關(guān)系數(shù)的降低，不能闡明檢驗的重測信度低。不能闡明檢驗的重測信度低。l不同行為受隨即誤差影響不同。例如手指矯捷性就比言語了解不同行為受隨即誤差影響不同。例如手指矯捷性就比言語了解力更容易受疲勞、環(huán)境等要素的影響。因此必需分析丈量目的力更容易受疲勞、環(huán)境等要素的影響。因此必需分析丈量目的和了解所預(yù)測的行為。當(dāng)丈量的行為或特質(zhì)較為穩(wěn)定時，重測和了解所預(yù)測的行為。當(dāng)丈量的行為或特質(zhì)較為穩(wěn)定時，重測信度的解釋才有效。信度的解釋才有效。l只需不大容易受

24、反復(fù)影響的檢驗，如覺得只需不大容易受反復(fù)影響的檢驗，如覺得- -運動檢驗或人格檢運動檢驗或人格檢驗，才比較適宜用重測法計算信度系數(shù)。由于被測者一旦知道驗，才比較適宜用重測法計算信度系數(shù)。由于被測者一旦知道答案就不容易忘記，從而呵斥假性相關(guān)。答案就不容易忘記，從而呵斥假性相關(guān)。2、復(fù)本信度、復(fù)本信度(alternative-form reliability)l又稱為等值性系數(shù)，它是以兩個檢驗復(fù)本功又稱為等值性系數(shù)，它是以兩個檢驗復(fù)本功能等值但標(biāo)題內(nèi)容不同來丈量同一對象，然能等值但標(biāo)題內(nèi)容不同來丈量同一對象，然后求得被測者在這兩個檢驗上得分的相關(guān)系數(shù)。后求得被測者在這兩個檢驗上得分的相關(guān)系數(shù)。復(fù)本

25、信度反映了兩個檢驗復(fù)本在內(nèi)容上的等值復(fù)本信度反映了兩個檢驗復(fù)本在內(nèi)容上的等值性程度。性程度。l復(fù)本信度思索的是內(nèi)容取樣誤差的影響問題，復(fù)本信度思索的是內(nèi)容取樣誤差的影響問題，計算復(fù)本信度的主要目的在于調(diào)查兩個檢驗復(fù)計算復(fù)本信度的主要目的在于調(diào)查兩個檢驗復(fù)本的標(biāo)題取樣或內(nèi)容取樣能否等值。本的標(biāo)題取樣或內(nèi)容取樣能否等值。l優(yōu)點：優(yōu)點：l可以防止重測信度的一些問題，如記憶效果、練習(xí)效可以防止重測信度的一些問題，如記憶效果、練習(xí)效應(yīng)等；應(yīng)等；l適用于進展長期追蹤研討或調(diào)查某些干涉變量對檢驗適用于進展長期追蹤研討或調(diào)查某些干涉變量對檢驗成果的影響；成果的影響；l減少了輔導(dǎo)或作弊的能夠性。減少了輔導(dǎo)或作弊

26、的能夠性。l缺陷：缺陷：l假設(shè)丈量的行為受練習(xí)的影響，復(fù)本信度只能減少而假設(shè)丈量的行為受練習(xí)的影響，復(fù)本信度只能減少而不能消除這種影響；不能消除這種影響；l有些檢驗的性質(zhì)會由于反復(fù)丈量而發(fā)生改動，例如某有些檢驗的性質(zhì)會由于反復(fù)丈量而發(fā)生改動，例如某些問題處理型的檢驗，假設(shè)掌握了解題原那么就有能些問題處理型的檢驗，假設(shè)掌握了解題原那么就有能夠產(chǎn)生遷移，尤其當(dāng)復(fù)本只是在標(biāo)題詳細(xì)內(nèi)容上有改夠產(chǎn)生遷移，尤其當(dāng)復(fù)本只是在標(biāo)題詳細(xì)內(nèi)容上有改動時，這種正遷移的作用會很強；動時，這種正遷移的作用會很強；l有些檢驗很難找到復(fù)本。有些檢驗很難找到復(fù)本。3、一致性信度、一致性信度Consistency Reliab

27、ilityl一致性信度又稱為同質(zhì)性信度，是指一個測評活分測評一致性信度又稱為同質(zhì)性信度，是指一個測評活分測評中各個標(biāo)題所測內(nèi)容的一致性。中各個標(biāo)題所測內(nèi)容的一致性。l同質(zhì)性是保證測評只丈量同一特質(zhì)的必要條件。也就是同質(zhì)性是保證測評只丈量同一特質(zhì)的必要條件。也就是說，評價一組檢驗標(biāo)題內(nèi)部一致性程度，對于確定檢驗說，評價一組檢驗標(biāo)題內(nèi)部一致性程度，對于確定檢驗標(biāo)題能否丈量了同一事物很重要。假好像質(zhì)性差，那么標(biāo)題能否丈量了同一事物很重要。假好像質(zhì)性差，那么表示測評混淆了不同的測評內(nèi)容，其結(jié)果就無從判別終表示測評混淆了不同的測評內(nèi)容，其結(jié)果就無從判別終究能否反映了被測者的某一特質(zhì)。究能否反映了被測者的

28、某一特質(zhì)。一致性信度的作用一致性信度的作用l重測信度和復(fù)本信度分別注重思索丈量跨時間的重測信度和復(fù)本信度分別注重思索丈量跨時間的一致性穩(wěn)定性和跨方式的一致性等值性，一致性穩(wěn)定性和跨方式的一致性等值性，而內(nèi)部一致性信度用內(nèi)部一致性系數(shù)表示，主要而內(nèi)部一致性信度用內(nèi)部一致性系數(shù)表示，主要反映的是檢驗內(nèi)部標(biāo)題之間的關(guān)系，調(diào)查檢驗的反映的是檢驗內(nèi)部標(biāo)題之間的關(guān)系，調(diào)查檢驗的各個標(biāo)題能否丈量了一樣的內(nèi)容或特質(zhì)，即檢驗各個標(biāo)題能否丈量了一樣的內(nèi)容或特質(zhì)，即檢驗內(nèi)部各部分之間具有同質(zhì)性檢驗同一特性的各內(nèi)部各部分之間具有同質(zhì)性檢驗同一特性的各個工程的得分呈正相關(guān)。個工程的得分呈正相關(guān)。l同質(zhì)性的檢驗，其結(jié)果的

29、解釋較為明確。例如：同質(zhì)性的檢驗，其結(jié)果的解釋較為明確。例如：在一個同質(zhì)性的言語邏輯推理才干檢驗中，應(yīng)試在一個同質(zhì)性的言語邏輯推理才干檢驗中，應(yīng)試者的得分可以反映其言語邏輯推理才干的高低；者的得分可以反映其言語邏輯推理才干的高低；而假設(shè)一個檢驗既包含有測查邏輯推理才干的試而假設(shè)一個檢驗既包含有測查邏輯推理才干的試題，又含有測查數(shù)量分析才干的試題，那么在應(yīng)題，又含有測查數(shù)量分析才干的試題，那么在應(yīng)試者得分低的情況下，就無法闡明被測者究竟哪試者得分低的情況下，就無法闡明被測者究竟哪種才干缺乏。種才干缺乏。一致性信度運用實例一致性信度運用實例l例如：在人格測評中，樂觀心情特質(zhì)和外向特質(zhì)是例如：在人格

30、測評中，樂觀心情特質(zhì)和外向特質(zhì)是兩個容易混淆的內(nèi)容，這就要求測評設(shè)計時可以找兩個容易混淆的內(nèi)容，這就要求測評設(shè)計時可以找到相應(yīng)的標(biāo)題把二者區(qū)分開來。到相應(yīng)的標(biāo)題把二者區(qū)分開來。l再例如：在調(diào)查管理技藝時，預(yù)測和決策、監(jiān)視和再例如：在調(diào)查管理技藝時，預(yù)測和決策、監(jiān)視和控制等都是不太容易區(qū)分的，對標(biāo)題設(shè)計的要求就控制等都是不太容易區(qū)分的，對標(biāo)題設(shè)計的要求就相當(dāng)高，否那么就會把不同技藝混淆，導(dǎo)致結(jié)論錯相當(dāng)高，否那么就會把不同技藝混淆，導(dǎo)致結(jié)論錯誤和用人失誤。誤和用人失誤。l在設(shè)計測評標(biāo)題時，一切測評標(biāo)題都要保證只丈量在設(shè)計測評標(biāo)題時，一切測評標(biāo)題都要保證只丈量一種特質(zhì)或內(nèi)容，假設(shè)需求在一個測評中丈量

31、不同一種特質(zhì)或內(nèi)容，假設(shè)需求在一個測評中丈量不同內(nèi)容，就應(yīng)該將測評設(shè)計為幾個分測評進展分別測內(nèi)容，就應(yīng)該將測評設(shè)計為幾個分測評進展分別測評。例如評。例如16PF16PF人格測評就包括人格測評就包括1616個分測評，每個分個分測評，每個分測評量表只對一種人格特質(zhì)進展測評。測評量表只對一種人格特質(zhì)進展測評。一致性信度的計算方法一致性信度的計算方法l分半信度分半信度工程折半分析，是經(jīng)過將檢驗分成工程折半分析，是經(jīng)過將檢驗分成兩半，計算這兩半檢驗之間的相關(guān)性而獲得的信兩半，計算這兩半檢驗之間的相關(guān)性而獲得的信度系數(shù)。通常的方法是在檢驗實施后將檢驗分為度系數(shù)。通常的方法是在檢驗實施后將檢驗分為等值的兩半

32、，并分別計算每位被測者在兩半檢驗等值的兩半，并分別計算每位被測者在兩半檢驗上的得分，再求出這兩個分?jǐn)?shù)的相關(guān)系數(shù)。這個上的得分，再求出這兩個分?jǐn)?shù)的相關(guān)系數(shù)。這個相關(guān)系數(shù)就代表了兩半檢驗內(nèi)容取樣的一致性程相關(guān)系數(shù)就代表了兩半檢驗內(nèi)容取樣的一致性程度。度。l同質(zhì)性信度同質(zhì)性信度系數(shù)分析，是指檢驗內(nèi)部的各標(biāo)系數(shù)分析，是指檢驗內(nèi)部的各標(biāo)題在多大程度上調(diào)查了同一內(nèi)容，即一切檢驗標(biāo)題在多大程度上調(diào)查了同一內(nèi)容，即一切檢驗標(biāo)題丈量的只是單一特質(zhì)或內(nèi)容，表現(xiàn)為一切檢驗題丈量的只是單一特質(zhì)或內(nèi)容，表現(xiàn)為一切檢驗標(biāo)題得分的一致性。標(biāo)題得分的一致性。4、評分者信度raters reliabilityl在有些丈量情形中

33、，評分者的評判也是誤差的來源在有些丈量情形中，評分者的評判也是誤差的來源之一。例如投射檢驗、發(fā)明力檢驗、無指點小組討之一。例如投射檢驗、發(fā)明力檢驗、無指點小組討論、管理者情境模擬等，都依賴于評分者的判別，論、管理者情境模擬等，都依賴于評分者的判別，這種判別的客觀性往往呵斥不同評分者的評分很不這種判別的客觀性往往呵斥不同評分者的評分很不一致，因此有必要思索評分者信度。一致，因此有必要思索評分者信度。l評分者信度是指不同評分者對同一對象進展評定時評分者信度是指不同評分者對同一對象進展評定時的一致性。最簡單的估計方法就是隨機抽取假設(shè)干的一致性。最簡單的估計方法就是隨機抽取假設(shè)干份答卷，由兩個獨立的評

34、分者打分，再求每份答卷份答卷，由兩個獨立的評分者打分，再求每份答卷兩個評判分?jǐn)?shù)的相關(guān)系數(shù)。評分者的評分越一致，兩個評判分?jǐn)?shù)的相關(guān)系數(shù)。評分者的評分越一致，評分者信度越高。等級相關(guān)評分者信度越高。等級相關(guān)信度小結(jié)：信度小結(jié)：l各種信度評價的適用情景：各種信度評價的適用情景：l重測信度評價偏重調(diào)查測評跨時間的一致性重測信度評價偏重調(diào)查測評跨時間的一致性和穩(wěn)定性；和穩(wěn)定性；l復(fù)本信度評價偏重調(diào)查測評跨方式的一致性復(fù)本信度評價偏重調(diào)查測評跨方式的一致性和等值性；和等值性；l內(nèi)部一致性信度評價主要反映的是一個測評內(nèi)部一致性信度評價主要反映的是一個測評內(nèi)部標(biāo)題之間的關(guān)系，提示測評的各個標(biāo)題內(nèi)部標(biāo)題之間的關(guān)

35、系，提示測評的各個標(biāo)題能否丈量了一樣的內(nèi)容或特質(zhì)。能否丈量了一樣的內(nèi)容或特質(zhì)。l評分者信度評價主要是調(diào)查評分者的客觀誤評分者信度評價主要是調(diào)查評分者的客觀誤差。差。思索題：l與對某人品德測評分?jǐn)?shù)的可靠性進展調(diào)查，隨機與對某人品德測評分?jǐn)?shù)的可靠性進展調(diào)查，隨機抽取其中抽取其中1010個被試的分?jǐn)?shù)，分別是：個被試的分?jǐn)?shù)，分別是：7474、7171、8080、8585、7676、7777、7777、6868、7474、7474，再次測評后，再次測評后1010個個被試的分?jǐn)?shù)分別是：被試的分?jǐn)?shù)分別是：8282、7575、8181、8989、8282、8989、8888、8484、8080、8787。請問

36、可以用什么方法評價測評。請問可以用什么方法評價測評的可靠性？的可靠性？l假設(shè)一個部門的三個經(jīng)理分別給部門的幾十位員假設(shè)一個部門的三個經(jīng)理分別給部門的幾十位員工考核，他以為該當(dāng)怎樣檢查三位評分者評定的工考核，他以為該當(dāng)怎樣檢查三位評分者評定的可靠性？可靠性？l某面試考官對被試的某面試考官對被試的7 7項素質(zhì)進展測評，總共面試項素質(zhì)進展測評，總共面試了了8 8位被測者，其評定等級如下表，請考評一下這位被測者，其評定等級如下表，請考評一下這位面試考官的面試結(jié)果能否可靠？位面試考官的面試結(jié)果能否可靠？ 測評項目測評項目被測者被測者1234567A3651427B5641327C2751436D3672

37、415E4762315F4562317G3742516H2741635Ri2651411232144812-2 丈量的效度l效度是評價丈量工具好壞的重要規(guī)范之一。較高效度是評價丈量工具好壞的重要規(guī)范之一。較高的效度是一個良好的丈量工具最重要的特性，是的效度是一個良好的丈量工具最重要的特性，是必要條件，也是選擇和評價丈量工具質(zhì)量的重要必要條件，也是選擇和評價丈量工具質(zhì)量的重要根據(jù)。普通來說。效度的作用比信度的作用更為根據(jù)。普通來說。效度的作用比信度的作用更為重要。假設(shè)一個檢驗效度很低，無論它的信度有重要。假設(shè)一個檢驗效度很低，無論它的信度有多高，這項檢驗都沒有運用價值。效度高的丈量多高，這項檢驗

38、都沒有運用價值。效度高的丈量工具往往信度也高。工具往往信度也高。l經(jīng)過對效度的分析，可以了解對所要丈量的心思經(jīng)過對效度的分析，可以了解對所要丈量的心思學(xué)變量的丈量準(zhǔn)確程度如何，以及對外在規(guī)范的學(xué)變量的丈量準(zhǔn)確程度如何，以及對外在規(guī)范的預(yù)測才干怎樣。效度高的丈量工具，既可以準(zhǔn)確預(yù)測才干怎樣。效度高的丈量工具，既可以準(zhǔn)確的丈量出目的心思特質(zhì)，又可以根據(jù)丈量結(jié)果做的丈量出目的心思特質(zhì)，又可以根據(jù)丈量結(jié)果做出正確的推論。出正確的推論。12-2-1 12-2-1 效度及其影響要素效度及其影響要素1、效度的概念、效度的概念丈量結(jié)果的效度就是指丈量的有效性，即可丈量結(jié)果的效度就是指丈量的有效性，即可以丈量到

39、所要丈量目的的程度，反映了丈以丈量到所要丈量目的的程度，反映了丈量結(jié)果對丈量目的的表達(dá)程度。效度的高量結(jié)果對丈量目的的表達(dá)程度。效度的高低只需程度上的差別，不存在完全沒有或低只需程度上的差別，不存在完全沒有或完全有的情況。完全有的情況。效度可以看作為對有用性和準(zhǔn)確性的丈量，效度可以看作為對有用性和準(zhǔn)確性的丈量，回答的是回答的是“對什么有用？或?qū)κ裁从杏茫炕颉拔以鯓又牢以鯓又肋@個檢驗?zāi)芊裰档糜?？的問題，普通被這個檢驗?zāi)芊裰档糜?？的問題，普通被定義為檢驗?zāi)苷闪康剿闪繓|西的程度。定義為檢驗?zāi)苷闪康剿闪繓|西的程度。在評價任何檢驗時這都是最重要的思索。在評價任何檢驗時這都是最重要的思索?！靶?/p>

40、度指從分?jǐn)?shù)進展推論的證據(jù)的程度。效度指從分?jǐn)?shù)進展推論的證據(jù)的程度。英國英國效度與信度的關(guān)系效度與信度的關(guān)系l二者的區(qū)別：信度與效度的差別在于所思索二者的區(qū)別：信度與效度的差別在于所思索的誤差不同。信度思索的是隨機誤差的影響；的誤差不同。信度思索的是隨機誤差的影響；效度思索的誤差包括隨機誤差和對檢驗?zāi)康男Ф人妓鞯恼`差包括隨機誤差和對檢驗?zāi)康臒o關(guān)的變量引起的系統(tǒng)誤差。無關(guān)的變量引起的系統(tǒng)誤差。l二者的聯(lián)絡(luò)：信度是效度的必要條件，但不二者的聯(lián)絡(luò)：信度是效度的必要條件，但不是充分條件。換句話說，信度高不一定效度是充分條件。換句話說，信度高不一定效度必然高。但效度高必定信度高。必然高。但效度高必定信度高

41、。2、效度的作用l就好似用磅秤丈量身高，每次丈量的結(jié)果都很就好似用磅秤丈量身高，每次丈量的結(jié)果都很不斷穩(wěn)定信度很高，但它并不能代表身高，不斷穩(wěn)定信度很高，但它并不能代表身高，也就是說其丈量值并不反映身高這一屬性效也就是說其丈量值并不反映身高這一屬性效度很低，所以說，磅秤不是身高這一丈量對度很低，所以說，磅秤不是身高這一丈量對象的適宜丈量工具。象的適宜丈量工具。l例如例如,一個數(shù)學(xué)檢驗?zāi)軌驅(qū)W(xué)生的數(shù)學(xué)成果的預(yù)一個數(shù)學(xué)檢驗?zāi)軌驅(qū)W(xué)生的數(shù)學(xué)成果的預(yù)測效度很好，但對學(xué)生整體智力的預(yù)測效度就測效度很好，但對學(xué)生整體智力的預(yù)測效度就沒有那么好，對學(xué)生的性格能夠根本就沒有預(yù)沒有那么好，對學(xué)生的性格能夠根本就

42、沒有預(yù)測效度。測效度。3、效度的影響要素l一個檢驗效度的高低，很大程度上取決于該一個檢驗效度的高低，很大程度上取決于該檢驗受無關(guān)要素影響的程度。凡是能呵斥檢檢驗受無關(guān)要素影響的程度。凡是能呵斥檢驗結(jié)果誤差的要素，都會影響檢驗效度。驗結(jié)果誤差的要素，都會影響檢驗效度。l檢驗標(biāo)題的質(zhì)量：難易程度、暗示性、題意檢驗標(biāo)題的質(zhì)量：難易程度、暗示性、題意表達(dá)、試題內(nèi)容取樣的代表性表達(dá)、試題內(nèi)容取樣的代表性l實施檢驗時的干擾要素：指點語、計分錯誤實施檢驗時的干擾要素：指點語、計分錯誤l被試的影響要素：反響定勢、檢驗動機、心被試的影響要素：反響定勢、檢驗動機、心情情l檢驗的長度：添加檢驗標(biāo)題往往能添加檢驗檢驗

43、的長度：添加檢驗標(biāo)題往往能添加檢驗的信度和效度。的信度和效度。12-2-2 12-2-2 效度的評價方法效度的評價方法l對丈量效度的調(diào)查反映在下面兩個問題之中：對丈量效度的調(diào)查反映在下面兩個問題之中：l該檢驗可以很好的預(yù)測我們感興趣的成果嗎？該檢驗可以很好的預(yù)測我們感興趣的成果嗎？l該檢驗真正丈量的是什么？該檢驗真正丈量的是什么？l第一個問題集中于效標(biāo)，也就是判別一個檢驗預(yù)第一個問題集中于效標(biāo)，也就是判別一個檢驗預(yù)測的勝利性的規(guī)范。這就要求建立檢驗成果與那測的勝利性的規(guī)范。這就要求建立檢驗成果與那個規(guī)范之間的關(guān)系。預(yù)測效度個規(guī)范之間的關(guān)系。預(yù)測效度l第二個問題集中于檢驗，要求明確關(guān)于檢驗所丈第

44、二個問題集中于檢驗，要求明確關(guān)于檢驗所丈量目的的內(nèi)在實際或心思想象。內(nèi)容效度量目的的內(nèi)在實際或心思想象。內(nèi)容效度l檢驗效度不能按籠統(tǒng)的方式去丈量，而只能根據(jù)檢驗效度不能按籠統(tǒng)的方式去丈量，而只能根據(jù)檢驗所思索的特定用途去丈量，在決議能否運用檢驗所思索的特定用途去丈量，在決議能否運用檢驗時，我們需求了解從知檢驗結(jié)果做出某種推檢驗時，我們需求了解從知檢驗結(jié)果做出某種推論的有效性，也就是說，我們是證明檢驗的有效論的有效性，也就是說，我們是證明檢驗的有效性，還是證明我們希望對檢驗結(jié)果進展推論的有性，還是證明我們希望對檢驗結(jié)果進展推論的有效性。對于一個特定問題，丈量目的決議了所用效性。對于一個特定問題，

45、丈量目的決議了所用的效度評定方法，問題是關(guān)于運用檢驗成果來預(yù)的效度評定方法，問題是關(guān)于運用檢驗成果來預(yù)測在校標(biāo)上的成果，還是關(guān)于研討檢驗實踐丈量測在校標(biāo)上的成果，還是關(guān)于研討檢驗實踐丈量的內(nèi)容或想象。的內(nèi)容或想象。1、內(nèi)容效度、內(nèi)容效度content validityl內(nèi)容效度是一個檢驗實踐測到的內(nèi)容與所要丈量內(nèi)容效度是一個檢驗實踐測到的內(nèi)容與所要丈量的內(nèi)容之間的吻合程度，是檢查檢驗內(nèi)容能否是的內(nèi)容之間的吻合程度，是檢查檢驗內(nèi)容能否是所預(yù)丈量的行為領(lǐng)域的代表性取樣的目的。所預(yù)丈量的行為領(lǐng)域的代表性取樣的目的。l在實踐任務(wù)中我們編制的檢驗不能夠包含所要丈在實踐任務(wù)中我們編制的檢驗不能夠包含所要丈

46、量的行為領(lǐng)域的全部能夠的資料或情境，只能選量的行為領(lǐng)域的全部能夠的資料或情境，只能選擇一個有代表性的樣本，經(jīng)過察看被試對個別標(biāo)擇一個有代表性的樣本，經(jīng)過察看被試對個別標(biāo)題的反響，來推測他的總體行為表現(xiàn)。題的反響，來推測他的總體行為表現(xiàn)。l運用范圍：主要運用于成就檢驗、職業(yè)選拔和分類人事檢驗。l內(nèi)容效度適宜于選拔和分類人事檢驗，由于這類檢驗內(nèi)容是實踐任務(wù)的一個樣本，應(yīng)包含實踐任務(wù)所需求的技藝和知識，經(jīng)過內(nèi)容效度的分析來確定檢驗?zāi)芊裾闪苛藢嵺`任務(wù)中需求的知識和技藝。l內(nèi)容效度普通不適用于才干傾向檢驗和人格檢驗，由于這類檢驗不太要求與所取樣的行為領(lǐng)域的內(nèi)在類似性，其檢驗標(biāo)題的選擇更多的受某種假設(shè)的指

47、點。l此外，才干傾向和人格檢驗與成就檢驗不同，他們不是建立在某種課程或知識根底上，在對一樣的標(biāo)題做出反響時，每個被試運用的方法和心思過程是很不一樣的，同一檢驗對不同被試來說丈量的是不同的心思過程。在這種情況下，不能夠從檢查檢驗的內(nèi)容來確定檢驗丈量的功能。l內(nèi)容效度的評價可以回答：內(nèi)容效度的評價可以回答：l該檢驗?zāi)芊袷菓?yīng)調(diào)查的某種技藝和知識的該檢驗?zāi)芊袷菓?yīng)調(diào)查的某種技藝和知識的代表性樣本代表性樣本l檢驗成果能否不受無關(guān)要素的影響檢驗成果能否不受無關(guān)要素的影響l內(nèi)容效度對效標(biāo)參照檢驗尤為重要，由于內(nèi)容效度對效標(biāo)參照檢驗尤為重要，由于在校標(biāo)參照檢驗中，被試的表現(xiàn)往往以檢在校標(biāo)參照檢驗中，被試的表現(xiàn)往

48、往以檢驗內(nèi)容來解釋。驗內(nèi)容來解釋。確定內(nèi)容效度的方法l藍(lán)圖對照分析法：藍(lán)圖對照分析法：20192019年全國碩士研討生年全國碩士研討生入學(xué)考試英語試卷構(gòu)造框架入學(xué)考試英語試卷構(gòu)造框架l專家比較判別法：專家比較判別法：C Cn nN N2 2N N2 2N N為專家總數(shù)，為專家總數(shù)，n n為一定人數(shù)為一定人數(shù)部分節(jié) 考試內(nèi)容試題形式試題量分值權(quán)重考試時間語法結(jié)構(gòu)與詞匯A語法填空（單句） 四選一1052020%35B語法辨錯（單句） 四選一105C詞語填空（單句） 四選一2010完形填空完形填空（1篇短文）四選一101010%15閱讀理解閱讀理解（5篇短文）四選一204040%60英譯漢正確理解英

49、語原文并用漢語表達(dá)原文所述內(nèi)容五段譯文51515%30短文寫作根據(jù)所給題目或素材寫出敘述、說明或議論性的短文一篇作文11515%40總計76100100%1802、效標(biāo)關(guān)聯(lián)效度、效標(biāo)關(guān)聯(lián)效度criterion-related validityl效標(biāo)關(guān)聯(lián)效度又稱為效標(biāo)效度，指測評結(jié)果與某種效標(biāo)關(guān)聯(lián)效度又稱為效標(biāo)效度，指測評結(jié)果與某種規(guī)范結(jié)果的一致性程度，反映的是檢驗分?jǐn)?shù)與外在規(guī)范結(jié)果的一致性程度，反映的是檢驗分?jǐn)?shù)與外在規(guī)范效標(biāo)的相關(guān)程度，即檢驗分?jǐn)?shù)對個體的效規(guī)范效標(biāo)的相關(guān)程度，即檢驗分?jǐn)?shù)對個體的效標(biāo)行為表現(xiàn)進展預(yù)測的有效性程度。效標(biāo)是調(diào)查標(biāo)行為表現(xiàn)進展預(yù)測的有效性程度。效標(biāo)是調(diào)查檢驗成效的外在參

50、照規(guī)范。檢驗成效的外在參照規(guī)范。l效標(biāo)關(guān)聯(lián)效度往往用于預(yù)測性檢驗，在這些檢驗中，效標(biāo)關(guān)聯(lián)效度往往用于預(yù)測性檢驗，在這些檢驗中，檢驗分?jǐn)?shù)普通用于甄選決策，只需當(dāng)證明檢驗分?jǐn)?shù)檢驗分?jǐn)?shù)普通用于甄選決策，只需當(dāng)證明檢驗分?jǐn)?shù)確實可以預(yù)測所研討的行為時，這種決策才能夠正確實可以預(yù)測所研討的行為時，這種決策才能夠正確。確。效標(biāo)效度的種類效標(biāo)效度的種類l根據(jù)效標(biāo)結(jié)果與測評分?jǐn)?shù)獲得的時間能否一樣可分根據(jù)效標(biāo)結(jié)果與測評分?jǐn)?shù)獲得的時間能否一樣可分為預(yù)測效度和同時效度。同時效度的效標(biāo)資料可以為預(yù)測效度和同時效度。同時效度的效標(biāo)資料可以和檢驗分?jǐn)?shù)差不多同時搜集。預(yù)測效度的效標(biāo)資料和檢驗分?jǐn)?shù)差不多同時搜集。預(yù)測效度的效標(biāo)

51、資料是在丈量終了后相隔一段時間才獲得的，它反映的是在丈量終了后相隔一段時間才獲得的，它反映的是由檢驗分?jǐn)?shù)對任一段時間間隔后被試行為表現(xiàn)的是由檢驗分?jǐn)?shù)對任一段時間間隔后被試行為表現(xiàn)的預(yù)測程度。適用于對人員進展選拔、分類、安頓的預(yù)測程度。適用于對人員進展選拔、分類、安頓的人事丈量，這些丈量需求對應(yīng)試者未來的任務(wù)績效人事丈量，這些丈量需求對應(yīng)試者未來的任務(wù)績效進展可靠的預(yù)測。進展可靠的預(yù)測。l二者的差別根源不在于搜集效標(biāo)的時間，而是在于二者的差別根源不在于搜集效標(biāo)的時間，而是在于預(yù)測目的的不同，預(yù)測效度多用于預(yù)測未來的結(jié)果，預(yù)測目的的不同，預(yù)測效度多用于預(yù)測未來的結(jié)果，同時效度多用于診斷如今的形狀。

52、同時效度多用于診斷如今的形狀。l“某人勝利了嗎？或某人勝利了嗎？或“某人患病了嗎？某人患病了嗎？l“某人會勝利嗎？或某人會勝利嗎？或“某人會患病嗎？某人會患病嗎？常見效標(biāo)種類常見效標(biāo)種類l學(xué)術(shù)成就學(xué)術(shù)成就前提是前提是“智力高的人，學(xué)術(shù)成就應(yīng)該智力高的人，學(xué)術(shù)成就應(yīng)該越大越大 。如：在校成果、學(xué)歷、研討成果等。如：在校成果、學(xué)歷、研討成果等。l特殊訓(xùn)練成果特殊訓(xùn)練成果才干傾向檢驗成果常用某種特才干傾向檢驗成果常用某種特殊訓(xùn)練中獲得的成果做效標(biāo)。如：言語智商用語殊訓(xùn)練中獲得的成果做效標(biāo)。如：言語智商用語文成果做效標(biāo)；機械才干用技術(shù)培訓(xùn)成果做效標(biāo)文成果做效標(biāo)；機械才干用技術(shù)培訓(xùn)成果做效標(biāo)等。等。l實

53、踐任務(wù)表現(xiàn)實踐任務(wù)表現(xiàn)l團體特征團體特征用兩個在效標(biāo)表現(xiàn)上有差別的團體用兩個在效標(biāo)表現(xiàn)上有差別的團體比較他們在預(yù)測源分?jǐn)?shù)上的差別。如：一個音樂比較他們在預(yù)測源分?jǐn)?shù)上的差別。如：一個音樂傾向檢驗的效度，可以由比較音樂學(xué)院學(xué)生的分傾向檢驗的效度，可以由比較音樂學(xué)院學(xué)生的分?jǐn)?shù)與普通大學(xué)生分?jǐn)?shù)獲得。數(shù)與普通大學(xué)生分?jǐn)?shù)獲得。l等級評定結(jié)果等級評定結(jié)果l前期測評結(jié)果前期測評結(jié)果3、構(gòu)造效度、構(gòu)造效度construct validityl構(gòu)造效度是指檢驗可以丈量到實際上的想象或特質(zhì)構(gòu)造效度是指檢驗可以丈量到實際上的想象或特質(zhì)的程度。所謂想象通常指一些籠統(tǒng)的、假設(shè)性的概的程度。所謂想象通常指一些籠統(tǒng)的、假設(shè)性

54、的概念或特質(zhì)，如智力、發(fā)明力、言語流暢性、焦慮等。念或特質(zhì)，如智力、發(fā)明力、言語流暢性、焦慮等。這些想象無法直接察看。但是每個想象都有其心思這些想象無法直接察看。但是每個想象都有其心思上的實際根底和客觀現(xiàn)實性，可以經(jīng)過各種可察看上的實際根底和客觀現(xiàn)實性，可以經(jīng)過各種可察看的資料加以確定。的資料加以確定。l例如言語流暢性可以經(jīng)過語速、語句間的邏輯性、例如言語流暢性可以經(jīng)過語速、語句間的邏輯性、口誤的數(shù)量等可察看的目的進展確定?？谡`的數(shù)量等可察看的目的進展確定。l適用范圍：適用于智力檢驗、人格檢驗等。適用范圍：適用于智力檢驗、人格檢驗等。確定想象效度的方法確定想象效度的方法1 1、提出實際假設(shè)，并

55、將其分解成細(xì)目；、提出實際假設(shè)，并將其分解成細(xì)目；2 2、根據(jù)實際框架，推上演有關(guān)檢驗成果的假設(shè)操、根據(jù)實際框架，推上演有關(guān)檢驗成果的假設(shè)操作化定義；作化定義；3 3、用邏輯的和實證的方法來驗證假設(shè)排除法、咨、用邏輯的和實證的方法來驗證假設(shè)排除法、咨詢法、相關(guān)法、邏輯分析法、多元分析法。詢法、相關(guān)法、邏輯分析法、多元分析法。例如：韋克斯勒首先假設(shè)例如：韋克斯勒首先假設(shè)“智力是一個人去了解和應(yīng)智力是一個人去了解和應(yīng)付他周圍世界的總的才干，然后，他根據(jù)這一付他周圍世界的總的才干，然后，他根據(jù)這一定義，編制定義，編制1111個分檢驗從十幾個方面來闡明智力，個分檢驗從十幾個方面來闡明智力，編好檢驗又從

56、多個角度加以驗證，最后，用要素編好檢驗又從多個角度加以驗證，最后，用要素分析法驗證，該檢驗實踐丈量了三類共同要素，分析法驗證，該檢驗實踐丈量了三類共同要素，即即A A要素言語了解、要素言語了解、B B要素知覺組織、要素知覺組織、C C要要素記憶和留意集中。素記憶和留意集中。12-3 12-3 工程分析工程分析l工程分析是指根據(jù)試測結(jié)果對組成檢驗的各個工程分析是指根據(jù)試測結(jié)果對組成檢驗的各個標(biāo)題工程進展分析，從而評價標(biāo)題好壞、標(biāo)題工程進展分析，從而評價標(biāo)題好壞、對標(biāo)題進展挑選的程序和方法。經(jīng)過工程分析，對標(biāo)題進展挑選的程序和方法。經(jīng)過工程分析，對檢驗標(biāo)題進展選擇和修正，可以提高檢驗的對檢驗標(biāo)題進

57、展選擇和修正，可以提高檢驗的信度和效度。了解工程分析的概念和方法，可信度和效度。了解工程分析的概念和方法，可以協(xié)助檢驗運用者評價現(xiàn)有的各種檢驗。以協(xié)助檢驗運用者評價現(xiàn)有的各種檢驗。l定性分析：主要思索內(nèi)容效度，即標(biāo)題表達(dá)的定性分析：主要思索內(nèi)容效度，即標(biāo)題表達(dá)的恰當(dāng)性和有效性等方面。恰當(dāng)性和有效性等方面。l定量分析：主要調(diào)查標(biāo)題難度和鑒別度能否適定量分析：主要調(diào)查標(biāo)題難度和鑒別度能否適當(dāng)。當(dāng)。12-3-1 12-3-1 丈量的難度分析丈量的難度分析l難度分析就是對標(biāo)題的難度進展估計以確定適宜的難度，難度分析就是對標(biāo)題的難度進展估計以確定適宜的難度，難度的目的通常以難度的目的通常以“經(jīng)過率表示，

58、即答對或經(jīng)過該標(biāo)題的經(jīng)過率表示，即答對或經(jīng)過該標(biāo)題的人數(shù)百分比。經(jīng)過人數(shù)越多標(biāo)題越容易。也可用高分組和人數(shù)百分比。經(jīng)過人數(shù)越多標(biāo)題越容易。也可用高分組和低分組的經(jīng)過率的平均值表示。低分組的經(jīng)過率的平均值表示。l檢驗難度確實定，要根據(jù)檢驗的目的、性質(zhì)和標(biāo)題的方式檢驗難度確實定，要根據(jù)檢驗的目的、性質(zhì)和標(biāo)題的方式而定。而定。l檢驗?zāi)康模弘y度極大或難度極小時，都不容易區(qū)分個體差檢驗?zāi)康模弘y度極大或難度極小時，都不容易區(qū)分個體差別。難度中等的標(biāo)題比較適宜區(qū)分個體差別。別。難度中等的標(biāo)題比較適宜區(qū)分個體差別。l檢驗作用：選拔性檢驗應(yīng)使難度接近錄取率。檢驗作用：選拔性檢驗應(yīng)使難度接近錄取率。l標(biāo)題方式：選

59、擇題的難度普通應(yīng)大于概率程度如四選一標(biāo)題方式：選擇題的難度普通應(yīng)大于概率程度如四選一標(biāo)題難度標(biāo)題難度0.630.63最適宜；是非題難度應(yīng)該為最適宜；是非題難度應(yīng)該為0.750.75最適宜。最適宜。12-3-2 12-3-2 丈量的鑒別度分析丈量的鑒別度分析l工程鑒別度是指檢驗工程對于所測查的心思特性的工程鑒別度是指檢驗工程對于所測查的心思特性的鑒別才干和區(qū)分程度，可以從工程效度和內(nèi)部一致鑒別才干和區(qū)分程度，可以從工程效度和內(nèi)部一致性方面進展思索。性方面進展思索。l工程效度分析工程效度分析主要以效標(biāo)為根據(jù)，調(diào)查被試在主要以效標(biāo)為根據(jù)，調(diào)查被試在每個試題上的反響與其在效標(biāo)上表現(xiàn)的相關(guān)程度，每個試題

60、上的反響與其在效標(biāo)上表現(xiàn)的相關(guān)程度，即每個試題所測查的行為能否反映了被試在效標(biāo)上即每個試題所測查的行為能否反映了被試在效標(biāo)上的表現(xiàn)。的表現(xiàn)。l內(nèi)部一致性分析內(nèi)部一致性分析有時進展工程分析難以找到適有時進展工程分析難以找到適宜的效標(biāo)，這是就用檢驗總分替代效標(biāo)，調(diào)查每個宜的效標(biāo)，這是就用檢驗總分替代效標(biāo)，調(diào)查每個試題與總分的一致性。試題與總分的一致性。12-3-3 檢驗的公平性分析檢驗的公平性分析l擲骰子或扔硬幣協(xié)助做決策他以為公平嗎？擲骰子或扔硬幣協(xié)助做決策他以為公平嗎？l結(jié)果的公平性：在職業(yè)選拔中，結(jié)果公平指選用結(jié)果的公平性：在職業(yè)選拔中，結(jié)果公平指選用了了“最好最好 的人。如何定義的人。如何