主講教師：趙俊玲

河北大學管理學院0312-315181013831291580zhaojunling75@QQ：88259349本章內(nèi)容檢索系統(tǒng)評價的基本概念和類型性能評價指標和評價方法主要的測試集評價方案的設計與實施評價評價一般是指評估某個系統(tǒng)的性能、某種產(chǎn)品的質(zhì)量、某項技術的價值，或者是某項政策的效果等等信息檢索評價則是指對信息檢索系統(tǒng)的性能（主要是其滿足用戶信息需求的能力）進行評估的活動從信息檢索系統(tǒng)誕生以來，對檢索系統(tǒng)的評價就一直是推動其研究、開發(fā)與應用的一種主要力量在不同的系統(tǒng)、檢索模型、檢索算法之間做出選擇。Toselectbetweenalternativesystems/retrievalmodels/algorithms驗證系統(tǒng)是否能夠滿足當前用戶和潛在用戶的需求及潛在需求。Todetermineifasystemmeetsexpressedandunexpressedneedsofcurrentusersandnon-users驗證系統(tǒng)的改進是否發(fā)生功效。ToimproveIRsystemsanddetermineifimprovementactuallyoccurred提高資源分配的合理性，爭取再不增加投入的前提下保持或增加系統(tǒng)的效率與效益。Todevelopcostmodels（1）性能評價（performanceevaluation)測定檢索系統(tǒng)的質(zhì)量或服務效果，又稱效果評價（effectivenessevaluation)（2）效益評價（benefitevaluation):測定系統(tǒng)所提供的服務使用戶或系統(tǒng)本身獲得的效益（經(jīng)濟效益和社會效益）哪個難度大？（1）20世紀50年代中期到60年代中期對各種檢索語言和標引方法的比較和測評Cranfield評價項目：實驗控制，查全率，查準率（2）60年代中期到70年代中期實用或?qū)嶒炐詸z索系統(tǒng)的評價，評價指標日趨完善。MEDLARS系統(tǒng)評價(蘭卡斯特）SMART系統(tǒng)評價等（薩爾頓）SDI（定題服務）評價（3）70-90年代中期前半段主要集中在聯(lián)機情報檢索系統(tǒng)后半段從系統(tǒng)方面轉移到檢索者方面，開始注重用戶的特征與檢索成功率之間的關系。對Cranfield實驗室模式提出批評，真實用戶，面向用戶的評價指標。（4）90年代至今（TREC時代）共同的、一致性的平臺：TREC搜索引擎的評價相關性及其判斷標準數(shù)據(jù)檢索是確定性的，信息檢索是相關性的。（1）基本含義檢索系統(tǒng)針對用戶的信息需求從文檔集合檢出的文檔與用戶需求之間的一種匹配關系。9相關性相關性是一種主觀評價是不是正確的主題輸入：“和服”；輸出：“···咨詢和服務···”由于分詞錯誤，導致檢索結果偏離主題是否滿足用戶特定的信息需求(informationneed)時效性，是不是新的信息輸入：“美國總統(tǒng)是誰”；輸出：“克林頓”信息已經(jīng)過時權威性，是否來自可靠的信息源關系：信息與需求之間的關系性質(zhì)直覺的：用戶靠直覺理解相關性多維的：形式相關、語義相關等動態(tài)的：同一文檔對不同用戶同一文檔對同一用戶（不同時期）文檔之間的關系會影響到相關性判斷①二值相關：目前采用最普遍的一種判斷標準1:相關0:不相關②多值相關判斷標準取三個值或者5個值表示相關程度三值：0:不相關；1:比較相關；2:非常相關五值：0:絕對不相關；1:可能不相關；2:中立；3:可能相關；4:絕對相關③多維相關性判斷標準4個緯度信息資源（surrogate,document,information)用戶需求（RIN，PIN，request,query)時間：從用戶需求產(chǎn)生到滿足期間一些時間點和集合。組件componets(topic,task和context)13相關性判斷的困難相關性不是二值評價，而是一個連續(xù)的量即使進行二值評價，很多時候也很難從人的立場上看，相關性是：主觀的，依賴于特定用戶的判斷和情景相關的，依賴于用戶的需求認知的，依賴于人的認知和行為能力時變的，隨著時間而變化1主要性能評價指標查全率查準率響應時間收錄范圍用戶負擔輸出方式（1）概念以一個檢索提問去檢索任何一個數(shù)據(jù)庫都會出現(xiàn)4個相關量：檢出的相關信息量、未被檢出的相關信息量、檢出的非相關信息量、未檢出的非相關信息量。16查全率=a/a+c查準率=a/a+b信息檢索結果共軛表相關信息指標檢出信息指標相關信息量非相關信息量合計檢出信息量aba+b未檢出信息量cdc+d合計a+cb+da+b+c+dproportionofrelevantitemsretrievedoutofthetotalnumberofrelevantitemscontainedinadatabase檢索出的相關文獻/全部相關文獻a/a+c和查全率相對是漏檢率：c/a+c確定查全率是否困難？（1）Sampleacrossthedatabaseandperformrelevancejudgmentontheseitems.從數(shù)據(jù)庫中抽樣，然后對抽取得數(shù)據(jù)進行相關性判斷。（2）Applydifferentretrievalalgorithmstothesamedatabaseforthesamequery.Theaggregateofrelevantitemsistakenasthetotalrelevantset.(pooling)用匯集法產(chǎn)生相關文獻集合。對同一提問采用不同的算法進行檢索，檢索出來的相關文獻的集合被用作全部相關文獻集合。（3）利用引文作為相關文獻集合，利用已知的相關文獻中列舉的參考文獻目錄作為相關文獻集合。所以說，得出來的查全率只能是相對查全率abilitytoretrieve

documentsthataremostlyrelevant.檢索出的相關文獻/檢索出的全部文獻。a/a+b和查準率相對應的誤檢率：b/a+b在進行評價時，查全率和查準率結合使用。Usedtogether,the2ratiosexpressthefilteringcapacityofthesystem20查全率和查準率的關系101準確率召回率返回最相關的文本但是漏掉了很多相關文本理想情況返回了大多數(shù)相關文檔但是包含很多垃圾理想的信息檢索系統(tǒng)應該是什么樣子？P=1,R=1,forallthequeries有沒有可能？Isitpossible?需求準確表達相關性判斷匹配F-MeasureEMeasure(parameterizedFMeasure)R-PrecisionRecall/precisioncurve查全率查準率曲線圖Onemeasureofperformancethattakesintoaccountbothrecallandprecision.Harmonicmeanofrecallandprecision計算查全率和查準率的調(diào)和平均數(shù):只有查全率和查準率都比較高，才會得到較高的F值。Comparedtoarithmeticmean,bothneedtobehighforharmonicmeantobehigh.P=0.4R=0.8F=P=0.5R=0.7F=AvariantofFmeasurethatallowsweightingemphasisonprecisionoverrecall對F參數(shù)的修正，可以對查全率或查準率給與不同的重要性:Valueofcontrolstrade-off:=1:Equallyweightprecisionandrecall(E=F).>1:Weightprecisionmore.<1:Weightrecallmore.如果在實際評價時，對查全率和查準率有不同的側重，可以用這一個指標。假設有R篇相關文獻，計算檢索結果中第R篇文獻位置對應的查準率這里的R也可取值20，50，100R=#ofrelevantdocs=6R-Precision=4/6=0.6727全部提問式平均R點查準率

（AverageR-Precision）計算每個提問式的R-Precision的值，然后計算平均值。例如：假設有兩個提問，第1個提問有50個相關網(wǎng)頁，第2個提問有10個相關網(wǎng)頁，某個系統(tǒng)對于第1個提問返回的前50個結果中有17個是相關的，對于第2個提問返回的前10個結果中有7個是相關的第1個提問的R-Precision為17/50=0.34在第2個提問的R-Precision為7/10=0.7提問集合的平均R-Precision為(17/50+7/10)/2=0.5228MAP(MeanAveragePrecision）MAP單個提問的平均查準率是每篇相關文檔檢索出后的查準率的平均值。所有提問的平均查準（MAP）是每個提問的平均查準率的平均值。MAP是反映系統(tǒng)在全部相關文檔上性能的單值指標。系統(tǒng)檢索出來的相關文檔越靠前（rank越高），MAP就可能越高。如果系統(tǒng)沒有返回相關文檔，則準確率默認為0。29MAP舉例假設有兩個提問，提問1有4個相關網(wǎng)頁，提問2有5個相關網(wǎng)頁。某系統(tǒng)對于提問1檢索出4個相關網(wǎng)頁，其rank分別為1,2,4,7；對于提問2檢索出3個相關網(wǎng)頁，其rank分別為1,3,5。對于提問1，平均查準率為(1/1+2/2+3/4+4/7)/4=0.83對于提問2，平均查準率為(1/1+2/3+3/5+0+0)/5=0.45MAP=(0.83+0.45)/2=0.64課堂作業(yè)Consideraninformationneedforwhichthereare4relevantdocumentsinthecollection.Contrasttwosystemsrunonthiscollection.Theirtop10resultsarejudgedforrelevanceasfollows(theleftmostitemisthetoprankedsearchresult):1

RNRNN

NNNRR2

NRNNR

RRNNNWhatistheMAPofeachsystem?WhichhasahigherMAP?Doesthisresultintuitivelymakesense?WhatdoesitsayaboutwhatisimportantingettingagoodMAPscore?WhatistheR-precisionofeachsystem?(DoesitrankthesystemsthesameasMAP?)

31查準率直方圖多個查詢的R-Precision測度用來比較兩個算法的檢索紀錄RPA/B=0:對于第i個查詢，兩個算法有相同的性能RPA/B>0:對于第i個查詢，算法A有較好的性能RPA/B<0:對于第i個查詢，算法B有較好的性能32查準率直方圖0.00.51.01.5-0.5-1.0-1.512345678910QueryNumber28RR排序倒數(shù)和MRR平均排序倒數(shù)RR（ReciprocalRanking）是第一個相關文檔出現(xiàn)位置的倒數(shù)經(jīng)常用于評價只找到一個相關文檔的情況，RR值具體為1/r，其中r為第一個相關文檔在結果中排序數(shù)如果檢索結果中沒有相關文檔，那么RR值為0。33MRR（MeanReciprocalRanking）平均排序倒數(shù)MRR是在RR的基礎上對多個查詢的RR結果取平均值。即對一個檢索系統(tǒng)輸入多個查詢，分別得到每個查詢的排序倒數(shù)，取平均即為MRR。計算公式如下：例如MRR=0.25就意味著檢索系統(tǒng)平均在返回結果的第四個位置找到相關文檔。然而RR評價是基于2元相關判斷基礎上的，因此RR與MRR都不能區(qū)分一個高相關性的文檔與低相關性文檔之間的區(qū)別。Bpref指標只考慮對返回結果列表中的經(jīng)過判斷后的文檔進行評價在相關性判斷完整的情況下，bpref具有與MAP相一致的評價結果在測試集相關性判斷不完全的情況下，bpref依然具有很好的應用這個評價指標主要關心不相關文檔在相關文檔之前出現(xiàn)的次數(shù)。具體公式為：35舉例下面舉個例子來說明bpref的性能，假設檢索結果集S為：S={D1,D2·,D3*,D4*,D5·,D6,D7·,D8,D9,D10}其中D2、D5和D7是相關文檔，D3和D4為未經(jīng)判斷的文檔。對這個例子來說，R=3;bpref=1/3[(1-1/3)+(1-1/3)+(1-2/3)]36步驟一：對每一個提問式，計算不同查全率級別對應的查準率。可以有三點平均值、11點平均值兩種方法三點取查全率為(0.25，0.50，0.75)11點則取查全率(0，0.1，0.2，0.3，。。。0.9，1.0)步驟二：對所有的提問式計算平均值。步驟三：生成查全率和查準率的曲線圖步驟四：如果是要比較不同系統(tǒng)的功能，還要把不同系統(tǒng)的曲線圖和在一起，以便進行比較。（1）對一個給定的提問式，得出一個排序的結果集。Foragivenquery,producetherankedlistofretrievals.（2)標出結果集中的相關文獻Markeachdocumentintherankedlistthatisrelevant（3）計算結果集中每一個相關文獻位置上的查全率和查準率。.Computearecall/precisionpairforeachpositionintherankedlistthatcontainsarelevantdocument.R=3/6=0.5;P=3/4=0.75Lettotal#ofrelevantdocs=6Checkeachnewrecallpoint:R=1/6=0.167; P=1/1=1R=2/6=0.333; P=2/2=1R=5/6=0.833; p=5/13=0.38R=4/6=0.667;P=4/6=0.667Missingonerelevantdocument.Neverreach100%recall對每一個標準的查全率的級別計算查準率。一般是分成11個級別。從0到10Interpolateaprecisionvalueforeachstandardrecalllevel:rj{0.0,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1.0}r0=0.0,r1=0.1,…,r10=1.0第j個級別對應的查準率是在j和j+1之間任何一個查全率對應的查準率的最高值。Theinterpolatedprecisionatthej-thstandardrecalllevelisthemaximumknownprecisionatanyrecalllevelbetweenthej-thand(j+1)-thlevel:0.6RecallPrecision一組提問式的平均性能Typicallyaverageperformanceoveralargesetofqueries.計算所有提問式每一個查全率級別所對應的查準率的平均數(shù)。Computeaverageprecisionateachstandardrecalllevelacrossallqueries.PrecisionRleveli=∑(PrecisionRleveli,Q/NQ)繪制平均曲線圖來評價整個系統(tǒng)的功能。Plotaverageprecision/recallcurvestoevaluateoverallsystemperformanceonadocument/querycorpus.Thecurveclosesttotheupperright-handcornerofthegraphindicatesthebestperformance這種情況下哪個系統(tǒng)更好，白色或者紅色？請給出理由。precisionrecallxxxx沒有考慮到結果集合中的不相關文獻不是基于用戶需求。忽略了提問式之間的差異檢出的不相關文獻/全部不相關文獻b/b+d相對于查全率和查準率來說，不是那么重要。評價檢索系統(tǒng)檢出新的相關文獻的能力檢出的新的相關文獻量/檢出的相關文獻總量Theproportionofitemsretrievedandjudgedrelevantbytheuserandofwhichtheywerepreviouslyunaware.Abilitytofindnewinformationonatopic.494覆蓋率和新穎率面向用戶的測度方法覆蓋率：實際檢出的相關文獻中用戶已知的相關文獻所占比例新穎率：檢出的相關文獻中用戶未知的相關文獻所占的比例50圖示覆蓋率和新穎率相關文獻|R|結果集|A|用戶已知的相關文獻|U|檢出的用戶以前未知的相關文獻|Ru|檢出的用戶已知的相關文獻|Rk|用戶在檢索過程中花費的智力和體力，包括構造提問式、進行檢索和瀏覽檢索結果等各個環(huán)節(jié)。Workrequiredfromtheuserinformulatingqueries,conductingthesearch,andscreeningtheoutput.Timeintervalbetweenreceiptofauserqueryandthepresentationofsystemresponses.檢索結果的顯示方式以及對用戶利用檢索結果能力的影響Influenceofsearchoutputformatontheuser’sabilitytoutilizetheretrievedmaterials.7顯示格式formpresentation與某一提問相關的文獻在文獻集合中的分布密度。密度卻大，越容易檢出。與某一提問相關的文獻量/文獻總量thenumberofdocumentsrelatedtoaparticularrequestintheentiredatabase.Themoredensetheratio,theeasierasearchshouldbe8囊括值Generality主要用于比較兩種不同的系統(tǒng)或算法。URR=number-unique-relevant/numberrelevantnumber-unique-relevant：用某種算法才能檢索出來的相關文獻Numberrelevant：有兩種解釋（1）TNRR(Totalnumberretrievedrelevant):檢索出來的全部相關文獻。（2）TURR(Totaluniquerelevantretrieved):全部只有用某種算法才能檢索出來的文獻之和。假設有四種算法，檢索出來的結果集被分成13個子集A3H22B4I100C2J10D22K500E1L6F100M15G200見黑板算法一：有3個單獨紀錄（uniqueitems)A算法二：4個算法三：15個算法四：22個TNRR=A+B+……+M=985TURR=3+4+15+22=48算法URR/TNRRURR/TURR13/985=0.0033/48=0.0624/985=4/48=0.08315/985=15/48=0.31422/98522/48=0.49思考：在上述指標中，那些更側重于用戶？有學者提出我們需要一些以用戶為中心的評價指標。包括滿意度、提供信息度（Satisfaction,informativeness）時間、成本效益、錯誤率、任務分析（Time,cost-benefit,errorrate,taskanalysis）對用戶特征的評價（Evaluationofusercharacteristics）對界面的評價（Evaluationofinterface）對交互過程的評價（Evaluationofprocessorinteraction）如果讓你評價搜索引擎，你覺得可以從哪些方面進行評價，你覺得最大的困難是什么？1、相關性范疇概念理論相關性范疇是按照檢索結果同檢索課題的相關程度，把檢索結果分別歸入四個范疇。就是多值相關性判斷范疇0：重復鏈接、死鏈和不相關聯(lián)鏈接范疇1：技術上相關，但與用戶需求沒有相關性范疇2：潛在有用的鏈接，或者給出指向?qū)儆诜懂?的鏈接范疇3：十分有用的鏈接前X命中記錄查準率用來反映檢索系統(tǒng)在前X個檢索結果中向用戶提供相關信息的能力P（20）看前20條記錄中向用戶提供相關信息的能力。怎么做呢？教材202頁。？用所有搜索引擎得出的檢索結果之和？數(shù)據(jù)庫規(guī)模與內(nèi)容：收錄范圍、重復率、死鏈接等。索引方法：索引方式、索引范圍與深度檢索功能：基本檢索功能高級檢索功能檢索結果的處理：排序、顯示內(nèi)容和格式等分類功能用戶界面（一）問題的提出分析實際檢索系統(tǒng)往往很難，因此通過標準定制的數(shù)據(jù)來進行性能評價，也就是說通過給定一定的文獻、提問式和相關性判斷來進行評價。一個好的試驗樣本應該包括：（1）一組標準的文獻和提問式（2）每一個提問式對應的相關文獻集合1Smartcollection:/pub/smart2TREC:/3CFcollection4國內(nèi)863項目為了對SMART測試項目所做的一個小規(guī)模的測試集.

(/pub/smart)CollectionNameNumberofDocumentNumberofQueriesRawSize(Mbytes)CACM3,204641.5CISI1,4601121.3CRAN1,4002251.6MED1,033301.1TIME425831.5（1）什么是TREC

文本檢索會議，一開始是由國防部高級研究計劃署資助的TIPSTER項目發(fā)起的。從1992年起每年舉辦一次，由美國國家標準技術組織和DARPA聯(lián)合舉辦。參加者會得到用于培訓和測試用的一系列的標準文獻和提問，然后在會議上交流結果。TREC:TextREtrievalConference(/)

1為比較不同的檢索技術提供了共同的基礎。(相同的文獻、相同的提問和相同的評價方法）2分享和交流發(fā)展樣本的資源和經(jīng)驗。（資助主要來自政府）3鼓勵產(chǎn)業(yè)界和學術界的參與4發(fā)展新的評價方法和技術，特別是評價新的檢索系統(tǒng)的方法和技術。如網(wǎng)絡檢索、非英語系統(tǒng)、問答式系統(tǒng)等。1規(guī)模大Largescale(comparedtoafewMBintheSMARTCollection).2提供了相關性判斷Relevancejudgmentsprovided.3美國政府的大力資助UndercontinuousdevelopmentwithsupportfromtheU.S.Government.4參加者廣泛Wideparticipation:TREC1:28papers360pages.TREC4:37papers560pages.TREC7:61papers600pages.TREC8:74papers.TREC由一個程序委員會(包括來自政府、工業(yè)界和學術界的代表)管理。TREC以年度為周期運行。過程為：確定任務(1~2):NIST選擇某些任務，制定規(guī)范參加者報名(2~3):參加者根據(jù)自己的興趣選擇任務參加者運行任務(3~9):參加者用自己的系統(tǒng)運行測試問題，給出結果并將它們提交給NIST結果評估(10):NIST使用固定的評測軟件和工具對結果進行評估，并將結果返回給參加者大會交流(11馬里蘭州的Gaithersburg)：論文交流測試文檔集合檢索問題集合正確答案集合為了反映現(xiàn)實主題的多樣性，TREC測試文檔在主題、文獻風格和格式、長短、語種（英語和非英語）等幾個方面綜合考慮主要包括:

WSJ (WallStreetJournalarticles全文 550MAP(AssociatePressNewswire(1989)全文514MZIFF ComputerSelect)全文 493MFRFederalRegister(F法規(guī)文摘） 469MAbstractsfromDepartmentofEnergyreports190MUS.PAtent<DOC>

<DOCNO>WSJ870324-0001</DOCNO>

<HL>JohnBlairIsNearAccordToSellUnit,SourcesSay</HL>

<DD>03/24/87</DD>

<SO>WALLSTREETJOURNAL(J)</SO><IN>RELTENDEROFFERS,MERGERS,ACQUISITIONS(TNM)MARKETING,ADVERTISING(MKT)TELECOMMUNICATIONS,BROADCASTING,TELEPHONE,TELEGRAPH(TEL)</IN>

<DATELINE>NEWYORK</DATELINE>

<TEXT>JohnBlair&Co.isclosetoanagreementtosellitsTVstationadvertisingrepresentationoperationandprogramproductionunittoaninvestorgroupledbyJamesH.Rosenfield,aformerCBSInc.executive,industrysourcessaid.Industrysourcesputthevalueoftheproposedacquisitionatmorethan$100million....</TEXT></DOC>檢索提問是自然語言的，不是提問式query.包括四個部分（1）序列編號（2）檢索問題的標題(title)（3）對檢索問題的簡短描述(description)（4）對檢索要求的說明(narrative)<top><head>TipsterTopicDescription<num>Number:066<dom>Domain:ScienceandTechnology<title>Topic:NaturalLanguageProcessing<desc>Description:DocumentwillidentifyatypeofnaturallanguageprocessingtechnologywhichisbeingdevelopedormarketedintheU.S.<narr>Narrative:Arelevantdocumentwillidentifyacompanyorinstitutiondevelopingormarketinganaturallanguageprocessingtechnology,identifythetechnology,andidentifyoneofmorefeaturesofthecompany'sproduct.<con>Concept(s):1.naturallanguageprocessing;2.translation,language,dictionary<fac>Factor(s):<nat>Nationality:U.S.</nat></fac>

<def>Definitions(s):</top>（1）二值判斷模式：要么相關，要么不相關。如果一篇文獻的任何部分和片段與某檢索問題相關，則認為是相關文獻（2）Pooling相關性判斷：每個參與者都要想TREC提供排序后的檢索結果集合，TREC將每一檢索結果的前X篇（通常?。保埃捌﹨R集起來，去掉重復，構成全部相關文獻集合）。Summarytablestatistics:Numberoftopics,numberofdocumentsretrieved,numberofrelevantdocuments.Recall-precisionaverage:Averageprecisionat11recalllevels(0to1at0.1increments).Documentlevelaverage:Averageprecisionwhen5,10,..,100,…1000documentsareretrieved.Averageprecisionhistogram:DifferenceoftheR-precisionforeachtopicandtheaverageR-precisionofallsystemsforthattopic.醫(yī)學雜志上１２３９篇摘要.１００個提問.３值相關性判斷：:0:Notrelevant.1:Marginallyrelevant.2:Highlyrelevant.由四個醫(yī)學專家得出MEDLINEaccessnumberAuthorTitleSourceMajorsubjectsMinorsubjectsAbstract(orextract)ReferencestootherdocumentsCitationstothisdocumentAN74154352AUBurnell-R-H.Robertson-E-F.TICysticfibrosisinapatientwithKartagenersyndrome.SOAm-J-Dis-Child.1974May.127(5).P746-7.MJCYSTIC-FIBROSIS:co.KARTAGENER-TRIAD:co.MNCASE-REPORT.CHLORIDES:an.HUMAN.INFANT.LUNG:ra.MALE.SITUS-INVERSUS:co,ra.SODIUM:an.SWEAT:an.ABApatientexhibitedthefeaturesofbothKartagenersyndromeandcysticfibrosis.Atmost,totheauthors'knowledge,thisrepresentsthethirdsuchreportofthecombination.CysticfibrosisshouldbeexcludedbeforeadiagnosisofKartagenersyndromeismade.RF001KARTAGENERMBEITRKLINTUBERK83489933002SCHWARZVARCHDISCHILD43695968003MACEJWCLINPEDIATR10285971…CT1BOCHKOVADNGENETIKA(SOVIETGENETICS)111549752WOODREAMREVRESPIRDIS1138339763MOSSBERGBMTSINAIJMED44837977…QN00002QU