为什么要双盲?
和SCI同行评审类似,许多国自然基金申请人担心评审专家可能对申请者个人,或其所在地区以及所处机构存在偏见,或者受从前的导师、同事、朋友的关系影响而左右对标书内容的判断与评价。
换句话说,申请人担心评审专家更倾向于支持知名作者或机构,可能会忽视普通课题组同等优秀的申请书。
因此,有一些声音呼吁国自然基金选择双盲评选的方式:即申请人、审稿专家相互匿名的情况下,完成项目评审。
实施双盲评选的困难有哪些?
1、作者身份很难匿名
研究意义和可完成性是标书评价的两大核心,作者不可避免地会提及前期工作基础以及个人代表作,评审的同行专家(函评的大同行,会评的小同行)极易识别申请人的身份或者判断申请人师承何处,所以作者身份很难做到完全隐藏。
2、可行性离不开平台
即使为了确保作者完全匿名,真的删去了可以暗示作者身份的代表作等内容,也会有另一个问题出现:如何确保科研项目的可实施性?
自然科学基金委为了提高财政资金使用效益,将绩效评价作为自然科学基金决策管理的基本手段。
面上项目、青年基金项目、地区基金项目、杰青项目、重点项目、基础科学中心项目的绩效评价框架都包含了资助项目的实际完成率、质量达标率、完成及时率等体现产出的指标。
也就是说,不同于SCI论文的同行评审,国自然基金的评审专家需要根据申请人的前期成果、实验条件、研究平台等信息判断资助项目能否顺利结题并产出优秀的结题研究成果。
换句话说,虽然实验条件差的申请人也可以写出优秀的立项依据和研究内容,但是评审专家还需要根据申请人所在机构预测资助项目能否按期结题。
未来可能分段匿名评选吗?
在回答这个问题之前,我们先来看一看国家社会科学基金项目评审的两个阶段:
首先是匿名通讯初评,每份申请的论证活页由5名同行专家评审,按专业对口和单位回避原则,随机遴选同行专家对申报课题中的同类课题打分,交由电脑划线后再淘汰低分选题。
第二个阶段是基于初评的分数综合决定项目是否入围参加会评。
正如前文所提,匿名初评的缺点是无法判断申请人的科研实力能否顺利结题,因为通讯专家只评审活页论证,对申请人的学术背景等个人信息并不了解。
研究基础较薄弱但是活页写得很完美的申请人,可能在通讯评审阶段高分入围。但会后专家发现申请人的前期成果较少并不具备完成项目相应的科研实力后淘汰的情况也并不罕见。
但是这样做的优点是:匿名评审方式避免了评审专家根据申请者或所在单位的名气打“印象分”或“人情分”,而只能完全根据申请标书进行评价。
那么这种函评匿名,会评公开信息的模式,国自然可以复制吗?
2021年国社科基金最后正式受理有效申报3.27万项;最终批准重点项目、一般项目、青年项目合计4642项,合计资助9.84亿元。
而国自然基金2021年度共受理来自全国2373家依托单位的28.73万份申请,批准资助各类项目4.89万项,完成资助项目资金拨款305.07亿元。
由此可见,国自然基金想要匿名评选,对评审专家的要求明显更高,每位专家要阅读更大量的申请标书,工作量更大,全面实施还存在一定的困难。
不过,这种立项依据部分盲评,出线后再给研究基础进行打分的分段评审方式确实更加公平。
另外,传统的评审方式可能存在评审专家随意评价而不需要承担后果的问题,那么一个解决方法是搭建评审意见反馈系统。
申请人如果收到笼统的甚至是错误的负面意见,可以通过反馈系统提交对专家意见的驳斥,再由专人收集反馈结果并惩罚经核实存在恶意评价的专家。
相应的,那些经常收到积极肯定反馈的专家姓名也可以被收集起来,公告进行表彰。