中國教育在線
中國教育在線
楊衞:融合專家判斷與客觀數據的學科評估
2020-11-04 14:54
教育部
作者:

  學科評估是一個世界性難題,其評價體系往往呈動態演化特徵。我國的學科評價體系經歷了“螺旋行進”於主觀評價與客觀評價之間的過程。建國初期,學科評價多采取基於專家評議的主觀評價體系,但隨後出現了學派之爭,導致了少量壓抑後進、有失公允的評價。上世紀90年代伊始,南京大學率先推進基於客觀引用數據的評價體系,在當時推動了評價的客觀化、定量化。但隨後學術界乃至行政部門為其客觀性和操作簡便性所傾倒,把客觀評價體系推向極致,而同行評議的分量逐漸削弱。日積月累,對以定量指標為核心的評價體系怨聲漸起,引發了我國從客觀至上的評價體系向主客觀結合的評價體系的轉變。學科評估也歷經了上述介於主觀評價與客觀評價的博弈過程。近日公佈的《第五輪學科評估工作方案》(簡稱《工作方案》,其指導思想在於:深入貫徹中共中央、國務院《深化新時代教育評價改革總體方案》精神,遵循教育規律,扭轉不科學的評價導向,加快建立中國特色、世界水平的教育評價體系。筆者針對該工作方案,有下述四點感觸。

  一、注重傳承、但彰顯創新的評價體系

  《工作方案》構架了一個注重傳承、但彰顯創新的評價體系。具體説來,可梳理出五項傳承與五項創新。

  五項傳承是:一是評估的組織方不變,仍為教育部學位與研究生教育發展中心;二是學科評估的邏輯框架不變,仍取一級學科整體水平評估的基本定位;三是學科評估的核心指標不變,仍以“質量、成效、特色、貢獻”為價值導向;四是學科評估的評價方式不變,仍採取以定量與定性評價相結合為基本方法;五是評估結果的發佈形式不變,仍採取按照分檔的粗粒化發佈方式。五項傳承得益於既往業績,包括:歷次評價的成功,使得學科評估的權威性、重要性和聲譽依賴度日增;與院士評審、自然科學獎評審、基金委人才項目評審一起,構成了我國科教界的重要評審標杆;專業化評估隊伍的形成,該隊伍行事低調、作風紮實、數據清洗認真;具有中國特色的評估文化形成,以融合性評價、依託廣泛共識、操作性強、平抑輿情出色而聞名。

  五項創新是:一是在客觀數據展示上採取結構性證據鏈,充分運用“融合評價”,建立專家“元評價”制度;如在教育與育人方面,把人才培養質量放在首位,構建“思想政治教育成效”“培養過程質量”“在校生質量”“畢業生質量”四維度評價體系。二是在學術貢獻劃分上提出歸屬度原則;既避免“一稿多投”,又避免“學科壁壘”;鼓勵學科交叉融合和學科生態優化,確保跨學科成果合理使用;教師成果按署名單位認定、不隨人走,抑制人才無序流動。三是在指標權重上遵循重質量的原則,評價科研水平不唯論文和獎項,評價學術論文聚焦標誌性學術成果,採用“計量評價與專家評價相結合”“中國期刊與國外期刊相結合”的“代表作評價”方法,避免在收錄論文方面數豆子,按照不同學科領域的習慣來衡量學術成果的影響力。四是在評估結果呈現上採取多元化優化分檔,多元呈現評估結果,分類發佈總體結果與提供單項評估結果相結合;設置“代表性學術著作”、“專利轉化”等指標,對科研成效進行多維度評價。五是注意到不同學科的體容量特徵,考慮門檻高度與臨界質量的辯證關係,探討如何在高門檻學科(如核能、航宇、天文)避免由於學科點數量太少而造成的高端零和博弈陷阱,以及如何避免在連片學科中由於區別度較弱而產生的選擇性堆積行為。

  二、重公正,但涵養特色的包容範式

  學科評估的核心在於保障評估指標體系下各個學科的平等性。我們要注重公正,但也要注意形成包容性範式,可以涵養不同的學科特色。在評估時應注意不能磨平各個學科的特色,而是做到“主體等同對待,特色有別陳述”。堅決不能搞“橫向到邊、縱向到底”的一刀切邏輯。要對不同類型的學科採取不同的分類評價範式。要強化分類特色評價,按一級學科分別設置指標體系,充分體現辦學定位與學科優勢。

  為做到這一點,評估體系的設計要採取包容範式,體現在:一是有充分數據支持的專家評審(well-informed expert review);二是專家充分醖釀規則下的數據注入;充分運用基於定量數據和客觀證據的專家融合評價方法,堅持代表性成果專家評價與高水平成果定量評價相結合;三是留出特色發揮空間,採取規定字數下的自選風格的描述語言;四是多維度評價,注重多元評價,採取多維方法。工作方案中強化了“代表作”和“典型案例”評價,設置開放性留白,充分體現辦學定位與特色貢獻。

  三、重證據,但適度柔化的指標設置

  目前,“五唯”已經成為科教界廣為討伐的現象。但反“五唯”並不是反“指標”,更不是反“證據”。我們要承認客觀證據的必要性,也要承認一些良好指標對被評估對象的概括能力。反“五唯”的核心在於反“唯”,反對那種“一俊遮百醜”或“一醜掩百俊”的做法,反對一刀切的評價方法。數據是需要的,但斷章取義地抽取數據是不對的。以人們經常引用的ESI數據為例:在數學領域,我國大學按照十年累計學術影響力排序為:山東科技大學、哈爾濱工業大學、曲阜師範大學、復旦大學、東南大學、北京師範大學、北京大學;按照十年累計學術產出的排序為:北京大學、山東大學、復旦大學、北京師範大學、南開大學、華東師範大學、浙江大學。任何一位對我國數學領域的學術地貌圖有研究的專家都會認為第二份單子(按學術產出排序)要比第一份單子準確。但大多數排名機構卻往往以第一份單子,甚至將第一份單子中的學術影響力除以第二份單子中的學術產出(即單位學術產出的學術影響力)來作為其排名指標。於是就產生了US News的最新排名中將曲阜師範大學評為第一,北京大學評為第二的結果。與大多數的學科以學術影響力論英雄不同,數學工作越為深奧,能從學術上看懂甚至聽懂的人就越少。數學名校常以純數學見長,但其引用次數往往遠小於應用數學的工作;另外,還有冷門與熱門的不同,數學中與“人工智能”、“數據科學”或“動力系統”有關的論文的引用往往比對“數論”、“拓撲”這些分領域要大得多,因此一些理工科大學、師範大學的數學論文的引用也不見得比數學強校低。有鑑於此, ESI引用數不能作為評價所有學科的唯一標準。

  對教師隊伍的評價也是一樣。在當前版的工作方案中,不設人才“帽子”指標,採用“隊伍總體結構與代表性教師相結合”的方法評價教師隊伍質量,重視青年教師隊伍情況。評價教師不唯學歷和職稱,避免了以往片面以學術頭銜評價學術水平的做法。

  四、重專家,但切斷利益的同行評議

  公平性是評審的計量基礎,專業性是評審的權威體現。它們在所有的評審中是第一位的。對成果的評價來説,其下一層指標是顛覆性、適用面和影響力。對評估程序來講,其下一層指標是客觀性、邏輯性、能動性與靈活性。同行評議是各國通用的主觀評價手段、其評價的基礎是學術價值觀的共識性。一個好的同行評議注重了專業性,還應考慮其公正性。我們應該尊重專家,但需要化解在同行評議中可能出現的非對稱利益。學科評估提出了有益的舉措。

  在中國,同行評價的四個公正性障礙是:學術關係網,這主要指專家之間的學派歸屬、傳承關係、合作關係等;利益衝突,這主要指評審專家與評審對象之間可能有的利益關聯與利益輸送關係;羣體博弈,這主要指多個學科由於共同的評估利益而採取的一致性博弈行為;專家選取的權威性,這是指因為一刀切地避免利益衝突,而產生的二流評一流的現象。前三個公正性障礙與專家之間、專家與評審對象之間的利益鏈有關。解決方案有兩個,一是切斷利益鏈,二是造成利益均等,這些都可以消除同行評議中的非對稱利益。

  作者:楊衞,浙江大學發展委員會主席、中國科學院院士、國家自然科學基金委員會原主任

免責聲明:

① 凡本站註明“稿件來源:中國教育在線”的所有文字、圖片和音視頻稿件,版權均屬本網所有,任何媒體、網站或個人未經本網協議授權不得轉載、鏈接、轉貼或以其他方式複製發表。已經本站協議授權的媒體、網站,在下載使用時必須註明“稿件來源:中國教育在線”,違者本站將依法追究責任。

② 本站註明稿件來源為其他媒體的文/圖等稿件均為轉載稿,本站轉載出於非商業性的教育和科研之目的,並不意味着贊同其觀點或證實其內容的真實性。如轉載稿涉及版權等問題,請作者在兩週內速來電或來函聯繫。

相關4pxapp
人民日報 2020-11-04 09:13
中國人民大學 2020-11-16 11:52