測(cè)評(píng)品質(zhì)檢測(cè)第一節(jié)信度（reliability）一、定義1、信度是指測(cè)量的一致性程度，或者說(shuō)是測(cè)驗(yàn)分?jǐn)?shù)的可靠性程度信度是指測(cè)評(píng)結(jié)果的穩(wěn)定性，換句話說(shuō)，即用同一測(cè)量工具反復(fù)測(cè)量某人的同一心理素質(zhì)，多次測(cè)量結(jié)果應(yīng)一致。系統(tǒng)誤差與信度無(wú)關(guān)，隨機(jī)誤差才影響信度2、統(tǒng)計(jì)定義：X=T+E（1）信度是觀測(cè)分?jǐn)?shù)與真分?jǐn)?shù)的相關(guān)（2）真分?jǐn)?shù)的變異在觀測(cè)變異中所占的比例（3）平行測(cè)驗(yàn)之間的相關(guān)第一節(jié)信度（reliability）二、信度的種類1、再測(cè)信度同一測(cè)驗(yàn)對(duì)同一組被試的先後兩次測(cè)量之間的相關(guān)2、複本信度兩個(gè)內(nèi)容、結(jié)構(gòu)相同的測(cè)驗(yàn)對(duì)同一組被試測(cè)量結(jié)果的相關(guān)3、分半信度4、克倫巴赫α係數(shù)（cronbach-α）和庫(kù)-理（Kuder-Richardson）信度5、評(píng)分者信度[例]一二三四五六A413526B234516C325416R961214418被評(píng)者評(píng)定者公式中K=3（評(píng)定者數(shù)）

N=6（被評(píng)者數(shù)）三、影響信度的因素1、測(cè)驗(yàn)的長(zhǎng)度2、測(cè)驗(yàn)分?jǐn)?shù)的分佈範(fàn)圍3、測(cè)驗(yàn)的難度4、測(cè)驗(yàn)題目的客觀化程度四、信度係數(shù)與誤差來(lái)源信度係數(shù)類型誤差方差再測(cè)信度時(shí)間取樣複本信度（即時(shí)）內(nèi)容取樣複本信度（延遲）時(shí)間取樣和內(nèi)容取樣分半信度內(nèi)容取樣庫(kù)-理信度和α係數(shù)內(nèi)容取樣和內(nèi)容異質(zhì)性評(píng)分者信度評(píng)分者之間差異第二節(jié)效度（Validity）一、含義效度（Validity)是指一個(gè)測(cè)驗(yàn)或量表實(shí)際能測(cè)出其所要測(cè)的心理特質(zhì)的程度。二、內(nèi)容效度1，含義內(nèi)容效度（ContentValidity）是指一個(gè)測(cè)驗(yàn)實(shí)際測(cè)到的內(nèi)容與所要測(cè)量的內(nèi)容之間的吻合程度。如高中物理包括力學(xué)、電學(xué)、光學(xué)、熱學(xué)以及原子物理學(xué)5個(gè)方面。2，應(yīng)用範(fàn)圍主要應(yīng)用於成就測(cè)驗(yàn)、職業(yè)測(cè)驗(yàn)。不適合能力傾向測(cè)驗(yàn)和人格測(cè)驗(yàn)。3，確定方法藍(lán)圖對(duì)照分析法部分節(jié)考試內(nèi)容試題形式試題量分值權(quán)重考試時(shí)間語(yǔ)法結(jié)構(gòu)與辭彙A語(yǔ)法填空（單句）四選一1052020%35B語(yǔ)法辨錯(cuò)（單句）四選一105C詞語(yǔ)填空（單句）四選一2010完形填空完形填空（1篇短文）四選一101010%15閱讀理解閱讀理解（5篇短文）四選一204040%60英譯漢正確理解英語(yǔ)原文並用漢語(yǔ)表達(dá)原文所述內(nèi)容五段譯文51515%30短文寫作根據(jù)所給題目或素材寫出敘述、說(shuō)明或議論性的短文一篇作文11515%40總計(jì)76100100%1801999年全國(guó)碩士研究生入學(xué)考試英語(yǔ)試卷結(jié)構(gòu)基本框架文科考生試卷藍(lán)圖（滿分為100分）馬克思主義基本原理約36%中國(guó)革命史約18%中國(guó)社會(huì)主義建設(shè)約18%世界政治經(jīng)濟(jì)與國(guó)際關(guān)係約18%時(shí)事政治約10%4，題型比例：選擇題約40%簡(jiǎn)答題和辨析題約20%材料分析題和論述題約40%專家比較判斷法

C＝n－N÷2／N÷2（N為專家總數(shù)，n為肯定人數(shù)）三、結(jié)構(gòu)效度1，含義結(jié)構(gòu)效度（ConstructValidity）是指一個(gè)測(cè)驗(yàn)實(shí)際測(cè)到所要測(cè)量的理論結(jié)構(gòu)和特質(zhì)的程度。它與人們的理解直接相關(guān)，如“能力”2，適用範(fàn)圍適用於智力測(cè)驗(yàn)、人格測(cè)驗(yàn)等。3，確定方法⑴提出理論假設(shè)，並將其分解成細(xì)目⑵依據(jù)理論框架，推演出有關(guān)測(cè)驗(yàn)成績(jī)的假設(shè)（操作化定義）⑶用邏輯的和實(shí)證的方法來(lái)驗(yàn)證假設(shè)（排除法、諮詢法、相關(guān)法、邏輯分析法、多元分析法）

如，韋克斯勒首先假設(shè)“智力是一個(gè)人去理解和應(yīng)付他周圍世界的總的才能”，然後，他依據(jù)這一定義，編制11個(gè)分測(cè)驗(yàn)從十幾個(gè)方面來(lái)說(shuō)明智力，編好測(cè)驗(yàn)又從多個(gè)角度加以驗(yàn)證，最後，用因素分析法驗(yàn)證，該測(cè)驗(yàn)實(shí)際測(cè)量了三類共同因素，即A因素（言語(yǔ)理解）、B因素（知覺(jué)組織）、C因素（記憶和注意集中）。四、關(guān)聯(lián)效度1，定義指測(cè)評(píng)結(jié)果與某種標(biāo)準(zhǔn)結(jié)果的一致性程度。根據(jù)效標(biāo)結(jié)果與測(cè)評(píng)結(jié)果獲得的時(shí)間是否相同可分為同時(shí)效度和預(yù)測(cè)效度。2，公式：（見(jiàn)P191）被測(cè)123456789101112131415總計(jì)自編615370499045765662608868655063956XX37212809490024018100202563376卡測(cè)523889418561703776578547615260911YY27041444792116817225372159449XY3172307462306036515名被測(cè)評(píng)者兩種測(cè)驗(yàn)分?jǐn)?shù)

為研究某能力測(cè)驗(yàn)的預(yù)測(cè)效度，在被錄取的高考考生中隨機(jī)抽取10人，測(cè)得他們的測(cè)驗(yàn)分?jǐn)?shù)X，對(duì)他們進(jìn)行跟蹤研究，求得他們大學(xué)一、二年級(jí)有關(guān)科目平均分?jǐn)?shù)為Y，其分?jǐn)?shù)見(jiàn)下表，試求該測(cè)驗(yàn)的效度。參考案例XYxyxxyyxyXXYYXY7482-1.6-1.72.562.892.725476672460687175-4.6-8.722.1675.6940.0250415625532580814.4-2.719.367.29-11.8864006561648085899.45.388.3628.0949.8272257921756576820.4-1.70.162.89-0.6857766724623277891.45.31.9628.097.4259297921685377881.44.31.9618.496.025929774467766884-7.60.357.760.09-2.284624705657127480-1.6-3.72.5613.695.925476640059207487-1.63.32.5610.89-5.28547675696438Σ75683700198.40188.0791.805735270245633693，行為效標(biāo)：⑴學(xué)術(shù)成就⑵特殊訓(xùn)練成績(jī)⑶實(shí)際工作表現(xiàn)⑷團(tuán)體特徵⑸等級(jí)評(píng)定結(jié)果⑹前期測(cè)評(píng)結(jié)果五、專案分析效度即被試在某一專案上的得分與外部的某組效標(biāo)分?jǐn)?shù)的相關(guān)性。（見(jiàn)P194）公式：參考案例

下表為10名被試一次面試和一次知識(shí)考試的得分,試求該面試的專案分?jǐn)?shù)效度考生ABCDEFGHIJ知識(shí)考試75577365675663616567面試7674744476n＝10S＝6.12p＝6/10＝0.6q＝4/10＝0.4Xp＝67.33Xq＝61.25六、影響效度的因素1、測(cè)驗(yàn)本身的因素（題目、結(jié)構(gòu)）2、實(shí)施3、信度七、提高測(cè)評(píng)效度的方法1，精心編制測(cè)驗(yàn)量表，避免出現(xiàn)較大的系統(tǒng)誤差2，妥善組織測(cè)驗(yàn)，控制隨機(jī)誤差3，創(chuàng)設(shè)標(biāo)準(zhǔn)的應(yīng)試情景，讓被試正常發(fā)揮水準(zhǔn)4，選好正確效標(biāo)，正確使用有關(guān)公式第三節(jié)題目分析一、通過(guò)率（難度）1、公式

（1）二值計(jì)分P=m/n(m為答對(duì)該題的人數(shù)，n為總?cè)藬?shù)）（2）非二值計(jì)分

（為全體被試該題目的平均分，X為答對(duì)該題應(yīng)得分?jǐn)?shù)）第三節(jié)題目分析2、通過(guò)率多大是合適的題目（1）常模參照能力測(cè)驗(yàn)：

A.一般P=0.50的題目為好，因?yàn)樗箍傮w的變異最大。

B.當(dāng)題目之間正相關(guān)時(shí)，題目難度值應(yīng)分佈的廣些但平均難度應(yīng)以0.50為好。

C.當(dāng)題目有猜測(cè)可能時(shí)，題目的P值應(yīng)適當(dāng)加大。

D.選拔性測(cè)驗(yàn)還要考慮錄取率。（2）標(biāo)準(zhǔn)參照能力測(cè)驗(yàn)

P=1.0或P=0有可能也是好題（3）人格測(cè)驗(yàn)

P≧0.95或P≦0.05的題目考慮刪除第三節(jié)題目分析二、區(qū)分度（discrimination）

測(cè)驗(yàn)題目對(duì)所測(cè)量的心理特質(zhì)的區(qū)分程度。1、高分組--低分組

根據(jù)測(cè)驗(yàn)總分取兩端的人作為高分組低分組（一般取上下各占27%的人）

D=PH–PLPH為高分組該題通過(guò)率

PL為低分組該題通過(guò)率2、點(diǎn)二列相關(guān)係數(shù)（pointbiserialcorrelation)其中p為該題通過(guò)率

q為該題未通過(guò)率為通過(guò)該題的那部分人測(cè)驗(yàn)總分的平均值