《自然》：中国正利用人工智能选择基金评审人
人工智能进入2.0时代，你还在原地等待？
点击图片立即上车！
文章来源 | 科学网
5月14日，《自然》杂志以《人工智能正在选择中国的基金评审人》为题，介绍了中国最大的基础科学资助机构——国家自然科学基金委员会正在利用人工智能工具减少寻找评审人所需的时间。
中国最大的基础科学资助机构正在试点一种人工智能（AI）工具。
该工具可选择研究人员来评审基金申请书，从而使这一过程更加高效、快捷、公平。
一些研究人员表示，中国国家自然科学基金委员会（以下简称基金委）的方法是世界领先的，但其他人对AI是否能改善这一过程表示怀疑。
选择研究人员对项目申请书或出版物进行同行评审，既费时，又容易产生偏见。一些学术出版商正在尝试利用AI工具选择审稿人，并执行其他任务。
同时，一些资助机构，包括北美和欧洲的一些机构，已经试用简单的AI工具来识别潜在的项目评审人。
其中一些系统将基金申请书中的关键词与其他科学家出版物中的关键词相匹配。
基金委正在建立一个更加复杂的系统。
该系统将抓取在线科学文献数据库和科学家个人网页，利用自然语言处理来收集潜在评审人的出版物或研究项目的详细信息。
基金委主任李静海表示，该系统将利用文本语义分析来比较基金申请书和这些信息，并确定最匹配的评审人。
节省时间
上个月在杭州召开的学术交流会议上，基金委前主任杨卫展示了试点数据。
该工具的试用版本从去年评审项目的近4.4万个专家组中各选出至少一名成员，其中每个专家组由3~7人组成。
杨卫介绍说，该系统已经减少了行政人员寻找评审人的时间，而今年也将采用类似方法选择评审人。
欧洲最大的基础研究机构——法国国家科学研究中心（CNRS）国际合作部主任Patrick Nédellec表示，基金委已成为改革基金评审流程的全球领导者。
随着基金申请数量的不断增长，基金委正被迫进行创新。
在去年9月Nédellec参加的一次会议上，李静海讨论了基金委的改革计划。“由于压力如此之大，中国别无选择，只能找到最好的办法。”
过去的5年里，基金委收到的基金申请数量以每年约10%的速度增长。2018年，该机构评审了22.5万份基金申请，几乎是美国国家科学基金会收到的6倍。
李静海表示，基金委正在努力处理基金申请并寻找合适的评审人。“挑战在于没有足够的人手。”他表示，“AI将解决这个问题。”
减少偏见
李静海还希望，该工具能减少评审人选择中的偏见。
他说，在中国，科学家会尝试为他们的项目找关系。“基金评审的一个问题是人们会动用关系，但人工智能不会被收买。”
在一些国家，这同样是个问题。基金申请者被要求提供能评审其项目的专家。
例如，瑞士国家科学基金会发现，由申请者推荐的评审人比由基金会选择的评审人更有可能支持某个项目。
虽然基金委的试点AI系统只在中文网站上运行，但李静海希望它将来能抓取英文网站。
去年9月也听取了李静海演讲的维也纳理工大学科学政策顾问Manfred Horvat表示：“基金委的改革计划雄心勃勃，具有前瞻性和综合性。”
其他国家也在效仿中国。挪威研究委员会顾问Thomas Hansteen说，上个月，该委员会开始使用自然语言处理技术，将约3000份研究计划书分组，并将它们与最佳评审专家组进行匹配。
怀疑者的声音
不过，并非所有人都认为AI应被用于评审过程。
位于英国剑桥的研究机构——“兰德欧洲”科学政策专家Susan Guthrie表示，加拿大卫生研究院在使用一种用于选择评审人的算法时遇到了重大挑战。
2016年，该机构聘请“兰德欧洲”对关于基金同行评审的研究进行了荟萃分析。
部分基于该报告，加拿大卫生研究院认为，其使用的算法有时会选择存在利益冲突或在其他方面不适合以及没有资格评估申请书的评审人。
“虽然基于算法的匹配听起来很有吸引力，但在AI发展的现有阶段，它可能实现的目标是有限的。”独立专家小组总结说，“评审人的选择必须以科学的人类判断为主。”
位于美国威斯康辛州麦迪逊市的“教育分析”公司政策研究员Elizabeth Pier认为，AI无法消除选择偏见。她担心，AI系统最终会复制人类判断中根深蒂固的偏见，而不是避免它们。
她建议基金委应该做一项研究，将AI选择的评审人与人工选择的评审人进行比较。
李静海表示，一旦系统建立并运行起来，基金委可能会考虑这一点。
针对评审人的信用体系
李静海计划在未来5年引入其他工具，使资助系统更加公平。其中包括建立一个信用体系，以奖励作出高质量、公平和及时评审的科研人员。
他介绍说，该信用体系的理念是鼓励评审人认真对待评审工作，并且变得更加专业。
斯坦福大学统计学家John Ioannidis对基金委在利用客观的、数据驱动的工具来选择评审人方面作出的努力表示赞赏。
但他认为，很难评估评审人是否做出了正确的决定，以及是否值得称赞。
Ioannidis说，一个想法可能需要几十年的时间才能被确认是“伟大的还是无用的”。
李静海已经准备好迎接挑战。“这项任务不容易完成，需要在长期的学习和测试过程中不断改进。”他说。
（原标题：《自然》聚焦：中国正利用人工智能选择基金评审人）
推荐阅读
相关内容
微信扫码咨询专知VIP会员