是不是该放弃使用h指数评价科学家了?

2017 年 12 月 6 日 科学网

欢迎点击「科学网」↑关注我们!



摘要

h指数存在缺陷,这些缺陷并不妨碍我们使用h指数评价科学家,但 Ludo 这篇文章指出的缺陷或许让我们思考:我们是不是该寻找新的计量指标了。


高正 / Indiana University & 李江 / 浙江大学


注:图片来源于prattlibrary.cchmc.org

林墨11月27日分享了一篇文章《h指数多高才能评上教授?》,文章被广泛关注和转载。对,全世界对科学家的评估都可能参考h指数,因为h指数简单易用,在 Google Scholar 和 Web of Science 等平台上可以快速查询学者的h指数。但是,林墨收到反馈,Ludo(Journal of Informetrics的主编)发表的一篇文章中指出了h指数的严重缺陷,严重到让我们思考我们是不是该寻找替代指标了。


Ludo通过理论上的分析,发现h-index存在着严重的不稳定性,并不能准确反应出科学家水平和科学贡献,这是其一;其二,h-index并没有像其宣称的那样完全独立客观,其本身的计算过程依赖于主观的、经验主义的参数选取。


h-index的参数设定很随意

h-index的计算公式通俗易懂:一名科学家的h-index为h,表明他的h篇文章至少每篇被引用次数为h次,而剩余的文章每篇被引用次数都小于h+1次。


不可否认,h-index的提出避免了科学家科研水平被少数高被引文章左右的问题。然而,它却依然存在着主观参数选取的问题。为什么h-index的定义不是『科学家的h-index为h,表明他的h篇文章至少每篇被引用次数为2*h次,而剩余的文章每篇被引用次数都小于2*h+1次』,或者『h篇文章至少被引用2/h次,而剩余的文章每篇被引用次数都小于(h+1)/2次呢』?目前,并没有完全科学的依据能够说明不同阈值的区别,也没有依据说明当前的参数设定比其他方案更合理。因此,Ludo 认为,h-index的确引入了主观因素。然而,更为可怕的是,目前存在着众多的h-index衍生体都不可避免的存在着相同的问题。


h-index的不稳定性

h-index还存在着极大的不稳定性。优秀的计量指标应该遵循一些原则,Ludo 用三个例子逐一解释了h指数违背了三个原则。


原则一:如果两个科学家在学术表现上的相对进步相同,他们的h-index排序应该不变。

反例:在相同的五年期间,科学家1发表了9篇被引用12次的文章和3篇被引用4次的文章;科学家2发表了7篇被引用15次的文章和3篇被引用5次的文章,那么,科学家1的h-index为9,而科学家2的h-index为7。此时,科学家1的排名应该比科学家2的高。然而,如果两名科学家保持与此前相同的论文发表频率,五年后,科学家1将会有18篇被引用12次的文章和6篇被引用4次的文章;科学家2会有14篇被引用15次的文章和6篇被引用5次的文章。这样一来,科学家1的h-index变为12,而科学家2的h-index变为14。由此可见,虽然两位科学家保持着与此前同样的发表效率,但他们的排名顺序却反转了。


原则二:如果两个科学家在学术表现上的绝对进步相同,他们的h-index排序应该不变。

反例:科学家1发表了5篇被引用5次的文章和2篇被引用2次的文章,科学家2发表了4篇被引用6次的文章和3篇被引用3次的文章。科学家1的h-index为5而科学家2的h-index为4。因此,科学家1的排序高于科学家2。假如此后两位科学家共同合作了两篇被引用8次的文章。这时,科学家1的h-index仍然为5,而科学家2的h-index变成了6。他们的排名顺序同样发生了反转。


原则三:如果科学家1的排名高于科学家2;科学家3的排名高于科学家4,那么科学家1和科学家3的学术组合的排名应该高于科学家2和科学家4的学术组合。

反例:科学家1和科学家3都分别发表了7篇被引用9次的文章;科学家2和科学家4都分别发表了6篇被引用10次的文章。那么个体而言,科学家1和3的h-index为7,而科学家2和4的h-index为6。但是,科学家1和3的组合的h-index为9,而科学家2和4的组合的h-index为10。由此可见,个体排序和组合排序是相反的。


以上反例显示,h-index的确存在着明显的不稳定性。


h指数的替代方案:高被引论文数量

不同于h-index,高被引文章数量并不存在不稳定性问题。其定义同样通俗易懂:高于给定被引次数阈值的文章数量。可以看出,高被引文章数目能够完美的解决以上的三个反例中的问题。并且,由于每篇文章会被分类为高被引论文和非高被引论文,这个评估指标对每篇文章的具体被引次数并不敏感,从而能避免极少数超高被引论文左右学术评价。同时,和h-index相似的是,高被引论文数量对于大量的低被引论文也不敏感,因此其抗差性也很强。


当然,Ludo 也承认,高被引论文数量也存在主观因素(阈值的设定,被引多少次才算高被引),但能有效解决上述三个反例中提到的问题,因此,高被引论文数量仍然优于h-index。


我们认为,定量指标各有所长,也各有所短,指标之间有不同,但很难说一个指标比另一个指标更科学(同理,影响因子及其替代方案之间的关系也是如此)。使用者可以根据偏好选取,但使用每个指标需要深入了解其背后可能存在的问题。


参考文献

Waltman, L.,& Van Eck, N. J. (2012). Theinconsistency of the hindex. Journal ofthe Associationfor Information Science and Technology, 63(2), 406-415.

Waltman, L.,& Van Eck, N. J. (2009). A taxonomy ofbibliometric performance indicatorsbased on the property of consistency (No.ERS-2009-014-LIS).


http://blog.sciencenet.cn/blog-1792012-1088416.html

关注我们

微信号:sciencenet-cas (←长按复制) 或长按下方二维码

登录查看更多
0

相关内容

专知会员服务
145+阅读 · 2020年6月15日
【CCL 2019】2019信息检索趋势,山东大学教授任昭春博士
专知会员服务
29+阅读 · 2019年11月12日
周志华教授:如何做研究与写论文?
专知会员服务
153+阅读 · 2019年10月9日
如何撰写优秀科研论文【附112页文章下载】
图神经网络火了?谈下它的普适性与局限性
机器之心
21+阅读 · 2019年7月29日
论文h-index过低,ACL2020主席遭匿名攻击
新智元
4+阅读 · 2019年7月12日
物理学家终于找到了一种拯救薛定谔猫的方法
中科院物理所
8+阅读 · 2019年6月10日
消失的千人计划
新智元
24+阅读 · 2019年4月27日
这么多年,终于知道为啥右指针不能往回走了
九章算法
5+阅读 · 2019年4月15日
从动力学角度看优化算法:一个更整体的视角
黑龙江大学自然语言处理实验室
8+阅读 · 2019年1月28日
厉害!新一代人工智能发展规划,这几张脑告诉你!
全球人工智能
3+阅读 · 2017年12月13日
GAN猫的脸
机械鸡
11+阅读 · 2017年7月8日
Logically-Constrained Reinforcement Learning
Arxiv
3+阅读 · 2018年12月6日
Arxiv
136+阅读 · 2018年10月8日
Implicit Maximum Likelihood Estimation
Arxiv
7+阅读 · 2018年9月24日
Arxiv
4+阅读 · 2018年5月4日
Arxiv
8+阅读 · 2018年4月8日
VIP会员
相关资讯
如何撰写优秀科研论文【附112页文章下载】
图神经网络火了?谈下它的普适性与局限性
机器之心
21+阅读 · 2019年7月29日
论文h-index过低,ACL2020主席遭匿名攻击
新智元
4+阅读 · 2019年7月12日
物理学家终于找到了一种拯救薛定谔猫的方法
中科院物理所
8+阅读 · 2019年6月10日
消失的千人计划
新智元
24+阅读 · 2019年4月27日
这么多年,终于知道为啥右指针不能往回走了
九章算法
5+阅读 · 2019年4月15日
从动力学角度看优化算法:一个更整体的视角
黑龙江大学自然语言处理实验室
8+阅读 · 2019年1月28日
厉害!新一代人工智能发展规划,这几张脑告诉你!
全球人工智能
3+阅读 · 2017年12月13日
GAN猫的脸
机械鸡
11+阅读 · 2017年7月8日
相关论文
Top
微信扫码咨询专知VIP会员