作者PttGGYY (天神使者)
看板studyabroad
标题[转录] 大学评监:到底是「学术」?还是「神棍」?
时间Mon Jun 20 13:07:56 2011
国科会的杰出奖企图用 SCI 与 Impact Factor 作为评量个人学术成果的依据,教育部的
五年五百亿与
高等教育评监中心企图以 SCI 、Impact Factor 与最近流行的 h-index 为
基础发展出全球大学排行榜。这两项举措,全部违背原有方法创始人的警告,是
极端不负
责任的行为。
有监於 SCI 与 Impact Factor 的被误用与滥用,创始人 Eugene Garfield 在 2005 年
写下一篇论文 "The Agony and the Ecstasy—The History and Meaning of the
Journal Impact Factor",清楚地警告世人:
SCI 与 Impact Factor 主要是用来衡量期
刊的影响力,而非作者个人的学术成就。他也说:他曾考虑过用另一个标题:“
Citation Sanity and Insanity -- the Obsession and Paranoia of Citations and
Impact Factors.” 台湾的教育部以及附从於教育部的「学者」应该就是该文中所指称最
典型的 Insanity、Obsession and Paranoia。
Eugene Garfield 的主要警告是:(1)SCI 与 Impact Factor 的有效性是用大量论文来
消除统计上的偏差,但是作者个人着作数量太小,很容易引入统计误差,因而不适用;(
2)根据许多作者本人的意见,最常被引用的文献往往不是他个人所重视的文献;(3)
SCI 与 Impact Factor 是用来衡量同一个领域内期刊的相对影响度,跨学术领域的比较
毫无意义;(4)SCI 主要适用於英语国家,而不适用於跨国(跨语言)的评比。
阿姆斯特丹大学的 Tobias Opthof 也在 1997年的医学期刊 Cardiovascular Research(
Vo. 33, pp. 1-7)以 "Sense and Nonsense about the Impact Factor" 为题,清楚举
证用 Impact Factor 衡量一个人的学术成就有多荒唐。他也指出:即使在 clinical
cardiology 这个极端明确的学术分支中,
用 Impact Factor 与 citation index 为基
准所建构的评量制度来衡量个人学术成就,都将导致极端荒谬的结果。
关於个人学术成就评量,最近最热门的是一个物理学家 Jorge Hirsch 为物理学界设计的
衡量指标:h-index。根据这个指标,如果一个学者有 H 篇论文都至少被引述H次以上,
那麽他的学术成就=H。在 Science 期刊 2005年八月号第1181页里,国际公认的顶尖固
态物理学家 Manuel Cardona (H 指数 86,超过诺贝尔奖得主 Pierre-Gilles de
Gennes 的79)对这个指标的批评是:千万别把这当作评价一个学者的唯一指标。而且,
在同一个访问里,即使是 Jorge Hirsch 本人也警告说:除非有适当的校正,否则不应
该用 h-index 进行跨领域的比较。
荷兰 Leiden University 的学者 Henk F. Moed 算是比较审慎而负责任的,他的研究指
出:用Journal Citation Reports(SCI)为基准导出的评量指标不适合用来评估任何学
术团体的研究成效,因为:(1)SCI的援引次数统计往往不正确,(2)SCI的援引次数可
以被刻意地操纵与作假,(3)每个学科领域援引论文的习惯不同,跨领域的比较是有问
题的。他也指出 h-index 即使在同一个学术分支中也可能导致量测结果有偏差(偏好年
者学者,有可能妨碍创新)。值得注意的是:在这一篇论文的「结论」处,他竟然一反学
术界常见的惯例,没有推荐任何方法,而只把他的研究过程重述一次(最无聊,最忌讳的
一种书写,除非「无法下结论」是最佳的结论)。
Henk F. Moed, New developments in the use of citation analysis in research
evaluation, Arch. Immunol. Ther. Exp., 2009, 57, 13–18.
有监於各学门已经被各种「评监制度」搞到神鬼不宁,甚至忘记学术的本务,2008年七月
号的 Science 期刊显着地以 "Reviewing Peer Review" 为题的 Editorial 提出警告:
过度强调顶尖期刊论文的结果,将会妨碍学术的首要目标:「促进我们对这个世界的认识
」──革命性的理论在开始的时候总是无法被主流期刊接受,过份强调期刊排名将会扼杀
新理论与新创意,只有挑选最适合自己的期刊并忠於自己的学术良知才是促进学术进步与
自我突破的根本。
综合以上论述,可以清楚地得到以下几个结论:
(1) citation index 是用来评监期刊,而非个人,否则会犯统计上的错误。
(2)即使在理工领域里,跨领域的比较目前仍欠缺任何经得起检验的学术依据(譬如:
企图用任何特定的指标比较两个不同科系内学者的研究成果)。
(3)由於各国使用的语言不同,人文与社会领域的跨国界学术评比是荒谬的。
(4)所有「全球大学研究能力」排名的方法都涉及跨领域以及跨国界的研究成果综合评
比。既然不存在跨领域、跨国界的评比方法,就无法产出具有可信度的「大学研究成果综
合评比」指标。因此,所有「全球大学研究能力」排名都违背学术最基本的常识与最起码
的严谨性要求。
(5)所有企图提出这种方法的「学者」,都是基於对统计方法、 SCI 与 Impact
Factor,以及 h-index 在方法论上的无知,以及对於学术之本务的无知。
(6)把不符合学术基本要求的方法交给教育部当作管理大学的依据,是极端不负责任的
行为。
http://mhperng.blogspot.com/2011/06/blog-post_09.html
--
【
美国常春藤盟校 】
Ivy League
http://www.ivyleaguesports.com/ http://en.wikipedia.org/wiki/Ivy_League
哈佛(Harvard) 耶鲁(Yale) 康乃尔(Cornell) 普林斯顿(Princeton)
宾州大学(Penn)哥伦比亚(Columbia)布朗大学(Brown)达特茅斯学院(Dartmouth)
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 110.33.85.230
1F:→ PttGGYY:这篇根本不只是在打高等教育评监中心的脸 是在狠揍肚子了 06/20 13:08
2F:→ PttGGYY:彭教授跟高等教育评监中心之间,究竟有没有恩怨呢? 06/20 13:08
※ 编辑: PttGGYY 来自: 110.33.85.230 (06/20 13:23)
3F:→ pursuistmi:哪个教授跟高等中心没有恩怨过节 06/20 14:12