評估報告評什么、怎么評、怎么用

評估報告評什么、怎么評、怎么用，這是業(yè)內人士借課題組這“第三只眼”看待文物系統(tǒng)管理方面的發(fā)展水平時需要先行閱讀的“說明書”。[1]在2010年藍皮書中，我們嘗試編制了這樣一份“說明書”。在國家文物局的領導2010年提出衡量文物系統(tǒng)尤其是大遺址發(fā)展狀況的“四個好”標準后，評估報告因為從管理水平角度兼顧了“四個好”的評估，其實用性得到了初步顯現。而2011年中央的《決定》出臺后，我們嘗試調整指標使其更準確地反映“四個好”，并使評估報告能夠充分量化《決定》中的要求，因此，今年的評估報告更具有政策針對性。1評估報告評什么、怎么評評估報告沿用的評價指標體系在其設計之初就兼顧保護績效和文化遺產事業(yè)的三大功能發(fā)揮情況，[2]評估的數據基礎來源于常規(guī)統(tǒng)計資料以及國家文物局組織的專門性調查，與現實工作直接掛鉤，能最及時、科學地反映我國文化遺產事業(yè)按“四個好”標準而言的服務功能發(fā)揮情況和相關工作的績效。具體來看，可以將評估報告的具體指標和評估方法與《決定》中相關要求的對應關系總結如表評1-1所示。表評1-1《決定》的相關要求在評估報告中的具體體現評估報告的分析體例和評價指標設計體現了“四個好”和《決定》中的相關要求，文化遺產事業(yè)是否按這個方向發(fā)展，可以從評估報告的結論中看出端倪。以下具體敘述評估報告評的內容和評的依據。1.1評中央要求的事業(yè)管理水平和“四個好”的實現程度文化遺產事業(yè)要“著眼于突出公益屬性、強化服務功能、增強發(fā)展活力”，要實現“四個好”，就必須準確衡量文化遺產事業(yè)在與其對應方面的發(fā)展水平。實際上，這也就是在衡量文化遺產事業(yè)在這些指定方向上的精細化管理水平。在本書主題報告第四章中，課題組主要從文化遺產事業(yè)管理水平的角度，基于GAP分析方法對各省份的全國重點文物保護管理機構和文化文物系統(tǒng)博物館的資源空間配置效率進行了評價與分析，并提出了改進管理水平的措施與建議。評估報告則主要從考察文物系統(tǒng)內部配置行政資源的效率角度（即是考察在一定投入水平下“四個好”的體現程度）來研究文物系統(tǒng)的管理水平，二者都是為實現文化遺產事業(yè)精細化管理服務。在前三年藍皮書研究成果的基礎上，課題組建立了相對固定的“三投入、四產出”文化遺產事業(yè)發(fā)展效率評估指標體系和數據處理技術方法，對“十一五”期間各省份文化遺產事業(yè)行政資源投入產出效率進行了系統(tǒng)的研究與分析[3]。通過對評價指標、賦權方法、數據處理方法等方面的多次修訂、改進，目前已經形成了相對完善的、科學的分析模式。不過，囿于合理性（重點評估承擔文化遺產保護利用具體工作的機構）和可行性（數據可得并可比），評估報告并非面面俱到，只是選擇了文物保護管理機構和文化文物系統(tǒng)的博物館作為主要考察對象[4]。今年的評估因為數據所限僅選取了文物保護管理機構為主要考察對象（關于博物館的相關評估可參見2009年藍皮書評估報告）。需要說明的是，評估報告（以下稱為“藍皮書評估”）在“評什么”以及“怎么評”上，與文物系統(tǒng)已有的相關評估既有區(qū)別也有聯系。下面就以2011年發(fā)布的“國家一級博物館運行狀況評估”[5]（以下簡稱“博物館評估”）為例來說明區(qū)別和聯系。博物館評估與藍皮書評估在基本理念、評估對象、指標體系、技術方法等方面存在差異?；纠砟钌?，博物館評估全面考察博物館的日常運行狀況，注重看許多工作的“有無”和少數工作的“好壞”，基本不屬于績效評估；而藍皮書評估旨在以省為單位考察文物系統(tǒng)內部配置行政資源的效率（即是考察在一定投入水平下“四個好”的體現程度）來研究文物系統(tǒng)的管理水平，屬于績效評估。評估對象上，博物館評估為具體的博物館，藍皮書評估為以省為單位的文物保護管理機構和博物館總體。指標體系上，二者主要是對“管理水平”的界定有差別。博物館評估選取了反映博物館運行狀況的各項定性和定量的指標，其中在定性指標中，用于反映博物館管理水平的一級指標“博物館管理與發(fā)展建設”包括了發(fā)展規(guī)劃、制度建設、安全管理、人才培養(yǎng)等二級指標，根據既定的考查要點核定相關的規(guī)劃、制度完善情況、相關活動開展與否的評定，主要是一種定性的“有無”評估；相比之下，藍皮書評估對于“管理水平”的界定范圍更廣，涵蓋了文物系統(tǒng)日常管理工作涉及的四個主要方面（保護、教育、科研和經濟）：藏品管理、人員管理、展覽與公眾教育、資金管理等，主要從考察文物系統(tǒng)內部配置行政資源的效率“好壞”角度來定量評估文物系統(tǒng)的管理水平。技術方法上，博物館評估主要有定性評估[6]、定量評估[7]和抽查復核三個環(huán)節(jié)，按照評估指標體系內各級指標的不同權重（分值）匯總得到初評結果（絕對值），經國家文物局審定的初評結果分為合格、基本合格和不合格三個等級；而藍皮書評估依托數據包絡分析（DEA）方法，運用Matlab軟件直接運行程序得到31個省級行政區(qū)文物系統(tǒng)內部配置行政資源效率的相對值，反映的是相對效率的高低，更適用于績效考核。盡管有這些區(qū)別，但應該看到，這次國家一級博物館評估與藍皮書評估的結論卻有多處不謀而合，如科研功能發(fā)揮不佳、公共服務創(chuàng)新能力欠缺等。博物館評估的結果顯示：83家一級博物館兩年的定性一級指標得分率中，科學研究較低，得分率僅43%；代表性研究成果平均得分率則更低，只有27%，是所有評估項目中最低的得分率。2008年到2009年國家級博物館在五個定性一級指標中藏品管理、陳列展覽與社會教育和博物館管理與發(fā)展建設得分率高于80%，科學研究得分率則僅略高于60%，其中盡管在學術活動方面得分率達到85%，而代表性研究成果得分率相對較低，不高于50%，是唯一不及格的二級指標[8]。而同期的藍皮書評估結果也表明，綜合2006～2009年在不同的社會偏好下的年度效率來看，在功能發(fā)揮與保護績效上，經濟功能發(fā)揮得相對較好，而教育功能、科研功能及保護效果做得相對較差，尤其是科研功能。以2009年為例，在經濟強偏好下全國平均的效率值為0.6603，而在教育強偏好下、科研強偏好下和保護強偏好下的效率值分別為0.5753、0.3563、0.6303[9]。由此可見，兩類評估可以相輔相成。綜上所述，可以用表評1-2來系統(tǒng)總結藍皮書評估和博物館評估的區(qū)別和聯系：表評1-2藍皮書評估與博物館評估的區(qū)別和聯系1.2評估報告的依據何在評估報告基于文物系統(tǒng)常規(guī)統(tǒng)計數據和由國家文物局組織的專項調查，可從兩方面說明這些作為評估報告依據的數據。第一，經濟貢獻指標的統(tǒng)計口徑。在2010年藍皮書中，課題組著重介紹了文化遺產事業(yè)經濟貢獻的指標處理方式是采用直接經濟收入（經營收入＋事業(yè)收入）來衡量，并提出使用“收入法”計算文化遺產事業(yè)對國民經濟的貢獻用以體現文物系統(tǒng)業(yè)內增加值時劃分更細致、計算更準確。[10]但是，在具體運用時，從目前可獲得的數據情況來看，若運用收入法只能計算得到全國層面的文物系統(tǒng)的經濟貢獻，無法得到分省區(qū)的數據用于進行地區(qū)間的對比分析；而直接經濟收入相關指標是從文物系統(tǒng)產出角度，將“事業(yè)收入+經營收入”作為主要產出直接和財政性投入等指標進行投入產出分析，同時與分省的產出指標也相一致，因此從指標口徑統(tǒng)一和研究成果銜接的角度來看，這樣的處理方式是合理的。第二，文物保護績效指標的數據來源。關于各省的文物資源保存狀況，在不可移動文物方面，目前可獲得的最新數據來自于全國重點文物保護單位的“四有”狀況數據庫（由國家文物局數據中心提供，截至2009年的數據）；在館藏文物方面，除了2005年全國館藏文物腐蝕狀況調查數據，沒有更新的數據。因此，本年度評估報告只能重點考察全國重點文物保護單位，而沿用2009年藍皮書評估報告中對博物館考察的結果（根據2005年全國館藏文物腐蝕狀況調查數據對各省份博物館的管理水平進行了評估）。這樣，具體的計算公式為：各省份文物業(yè)的保護效果＝各省份國家重點文物保護單位的保護率×文物保護管理機構數＋各省份館藏文物保護率×博物館機構數。2評估報告怎么用評估報告的研究成果體現了文化遺產事業(yè)在協調發(fā)揮教育、科研、經濟三大功能方面的相當一部分工作的成效，可以為提高各省份文化遺產事業(yè)管理水平提供決策參考；同時，評估報告效率評估的相關結論可以作為文化遺產事業(yè)貫徹落實《決定》要求，開展國有文化事業(yè)單位（主要是文物系統(tǒng)）績效評估考核的具體成果，如圖評1-1所示。圖評1-1評估報告使用說明書示意圖如圖評1-1所示，從評估報告的指標設置來看，由“三投入”指標的分析結果可以從行政資源投入角度探析制約文化遺產事業(yè)發(fā)展的外在因素；通過以“三投入、四產出”為基礎的DEA分析結果可以從投入產出效率角度尋找制約文化遺產事業(yè)發(fā)展的內在因素。同時，在評估報告的評估內容和評估方法的基礎上，還可以探索建立文化遺產事業(yè)公共文化服務指標體系和績效考核辦法的基本思路，分析結論也可以作為開展國有文化事業(yè)單位（主要是文物系統(tǒng)）績效評估考核的具體成果。2010年藍皮書對評估報告的現實意義進行了系統(tǒng)的總結，并且以重慶市和陜西省為例詳細闡述了評估報告如何使用，如何應用于實際管理工作，本年度藍皮書中對于上述問題不再贅述。為了更為直觀地說明評估報告相關結論的現實意義和應用方法，下面仍然以重慶市和陜西省為例，著重就靜態(tài)效率和動態(tài)效率的評估結果與《決定》相關要求的關聯進行具體說明。2.1靜態(tài)效率評估結果的應用示例2.1.1自由偏好下的事業(yè)發(fā)展效率分析在自由偏好下，通過對投入產出指標的賦權狀況可以分別看出各省份在哪些資源上存在冗余和哪項產出帶來的收益較大，有利于各省份了解自身優(yōu)勢。以重慶市和陜西省為例，如表評1-3所示，在自由偏好下，重慶和陜西兩地區(qū)2010年文物系統(tǒng)發(fā)展的靜態(tài)效率值分別為1.0000和0.9858。表評1-3自由偏好下重慶、陜西兩省、2010年文物系統(tǒng)發(fā)展的靜態(tài)效率表評1-3的結果顯示：重慶的效率值達到了飽和狀態(tài)（效率值為1），同期共有14個省份的效率值可以達到1；而陜西的效率值略低于1，相對而言僅處于中游水平，說明通過改進資源利用方式和改善管理方法還有進一步提高發(fā)展水平，并提高特定投入下的產出的空間[11]。從投入要素的賦權情況來看，陜西的財政資金被賦予了零權重，說明相對于其他省份來講，陜西的文物系統(tǒng)財力投入過大，從而影響了效率值；而重慶的財政資金賦予的較高權重，表明重慶在利用財政投入方面是相對節(jié)約和有效率的。從產出要素的賦權情況來看，重慶的經濟產出賦權為零，表明該兩項經濟方面的產出效果相對不明顯，而教育產出和保護效果的高權重反映出重慶在文物系統(tǒng)的公共教育功能發(fā)揮和文物保護工作績效相對突出。相對而言，陜西省文物系統(tǒng)的產出情況與重慶市有所不同：經濟產出和科研產出的權重相對較高，表明陜西的文物系統(tǒng)經營和事業(yè)收入相對較高，并且科研產出效果相對較好；教育產出的賦權接近于零，表明教育方面的產出效果相對不明顯。2.1.2專家偏好下的事業(yè)發(fā)展效率分析通過改進的德爾斐法得到的專家偏好，反映了國家對文物系統(tǒng)發(fā)展的要求和特定歷史階段的政策傾向?？疾旄魇∥奈锵到y(tǒng)在政策既定偏好下的效率值，可以了解各省效率值的相對大小，并針對各項指標的賦權，尋找本省的差距所在，有的放矢地提高工作效率。以重慶市和陜西省為例，如表評1-4所示，在專家偏好下，重慶和陜西兩地區(qū)2010年文物系統(tǒng)發(fā)展的靜態(tài)效率值分別為0.7635和0.8321。同期，在全國范圍內只有北京、福建、湖北、青海的效率值達到了1，重慶和陜西在全國分別排在第19位和第15位，均屬于中等水平。表評1-4專家偏好下重慶、陜西兩地2010年文物系統(tǒng)發(fā)展的靜態(tài)效率從三個投入指標的賦權情況來看，重慶和陜西的財政資金和固定資產增值賦權相對較高，說明財力投入相對較為節(jié)約，效率較高，而人力投入量相對過多。從四個產出指標的賦權來看，陜西的各項產出發(fā)展較為均衡，比較符合功能發(fā)揮的要求；重慶的青少年參觀人數權重較高，表明教育產出的效果明顯。2.1.3功能偏好下的事業(yè)發(fā)展效率分析在功能偏好下，突出某一項產出功能的重要性，對產出指標加以權重限制，可以考察各省在各項功能的發(fā)揮方面取得的相對成績。在各功能偏好下重慶市、陜西省2010年文物系統(tǒng)發(fā)展的靜態(tài)效率如表評1-5和表評1-6所示。表評1-5各功能偏好下重慶市2010年文物系統(tǒng)發(fā)展的靜態(tài)效率如表評1-5所示，在教育強偏好和科研強偏好下，重慶文物系統(tǒng)發(fā)展的靜態(tài)效率位于全國前列。但是，在經濟強偏好下，重慶市的效率值低于全國平均值（0.7045），在保護強偏好下，重慶市的效率值也低于全國平均值（0.7553），在全國的排序也較低，表明重慶市努力增加文物系統(tǒng)的經濟產出、提高保護績效的需求已經非常緊迫。表評1-6各功能偏好下陜西省2010年文物系統(tǒng)發(fā)展的靜態(tài)效率如表評1-6所示，與重慶市的情況恰恰相反，相對而言，陜西省在經濟強偏好和保護強偏好下的效率值較高，在全國范圍內處于中等水平。而教育強偏好下的效率值低于全國平均值（0.6462），科研強偏好下的效率值也低于全國平均值（0.5425），排名均相對靠后，表明陜西省的文物系統(tǒng)教育功能和科研功能發(fā)揮不足，亟須增加文物系統(tǒng)的教育產出和科研產出。2.2動態(tài)效率評估結果的應用示例在規(guī)模報酬不變的前提下，我們可以計算得到三個指標值，分別是技術效率（TE）變化、技術進步（TC）變化以及全要素生產率（TFP）變化。從2009～2010年重慶和陜西兩地區(qū)各類效率的變化情況來看，兩地區(qū)的技術效率變化處于增長階段，但增長幅度均低于全國平均水平；技術進步變化均處于下降階段，變化幅度有所不同；全要素生產率變化有升有降，如表評1-7所示。表評1-72009～2010年重慶市和陜西省文物系統(tǒng)發(fā)展的動態(tài)效率從動態(tài)效率評估的結果可以看出，2009～2010年期間，重慶市的文物系統(tǒng)技術效率增長了9.6%，技