有些人对以 SCI 来评价一个人的学术价值感到感冒，也有人是不得已的妥协了。 （有人欣然接受的吗？）但是这样的制度，到底能不能反应论文具有基本的要求， 而或者只是在用一个比骰子好不到哪去的方法在评价，最近欧洲有学者做了底下 的研究，国内又有热血的学者评注，希望大家有耐心看完。:) 有时间可以顺道把原文看完，有比较详细的数据与内容。 ---- 以徵得本人同意，转录文章，以下是原始出处：小众计算学， http://www.iis.sinica.edu.tw/~scm/ncs/2009/11/sci-not-for-computer-science/ 原文参考自 http://www.vs.inf.ethz.ch/publ/slides/Bibliometry-ECSS-Summit-08.pdf 大学评监排名是国内前一两个月的热门话题。在学术成就评量这项目中， 被 Thomson ISI 公司的 SCI, SSCI 等资料库收录的论文数量占很重比例，於是 SCI 论文数也跟着被 当作个人学术成就或对系所「贡献度」的量化指标。学者们对这套量化思维多少有不满， 但国内电脑科学（资讯工程、资讯科学等）学界出声的似乎还不多。最近朋友告知 Friedemann Mattern 的一场演讲以及一份欧洲资讯研究评监委员会 (Research Evaluation Committee of Informatics Europe) 的报告（以下简称为 RECIE)，说到 SCI 其实特别不适合资讯科学/电脑科学。此处摘录一些重点和心得。 论文数量或被引用数量到底是不是可信认的评量指标本就是个有争议性的问题。但我们姑 且先不谈到这层面，光看「数论文数目」这差事，ISI 到底有没有做好？ 几个逻辑推论：首先，SCI 资料库若可当作评监标准，资料库内的论文至少应满足 ISI 和评监单位认定为好的、重要的、上得了台面的最低条件。1 其次，合理情况下，一篇论 文应不致於引用很多比自己差太多的文献 — 虽然偶有引用一篇论文并指出其错误的情形 ，毕竟只占部份。所以 SCI 资料库内的论文所引用的文献大部份也应满足被收录的标准 才对。对生物领域论文来说，「被引用的文献也出现在资料库内」的比率是 90%，物理和 化学也都超过 80%. 总有论文会引用一些技术报告、私人通讯等等，这个比率自然不可能 达到百分之百。 但电脑科学呢？竟只有 40%! 如果再加上 ACM, IEEE-CS, LNCS 等论文，勉强可以达到 51%. 也就是说一篇电脑科学 SCI 论文所引用的文献平均将近一半是不在 SCI 资料库中 的。若不是电脑科学家引用的习惯超出常识想像，就是 ISI 遗漏了很大比率的文献。一 个缺了一半文章的资料库已经很难当作评监标准。 有人会说这是因为 SCI 以索引期刊为主，而电脑科学界的特殊现象之一是许多好论文只 投给会议。学界的习惯到底好不好可再另外讨论，但重点是一个评监标准本就应该反映实 况，「学术贡献」评监应反映出圈内学者所认可的贡献。况且，ISI 的情况远比「期刊 vs 会议」来得复杂，基本问题是 ISI 心目中的电脑科学和我们的理解大不相同。 RECIE 报告中提及，ISI 的「最常被引用期刊」前 50 名包括 『Chemometrics in food science』 （第 13 名）等大部分电脑科学家没听过的期刊。而这并不是特例。ISI 排名 第一的期刊在 CiteSeer 排名 195；CiteSeer 的第一名在 ISI 排名 26. （虽然这类资 料库不可能完美，但 CiteSeer 的名单至少看来熟悉许多。）比较 ISI 和 CiteSeer 的 最常引用文献，两者居然连一个共同项目都没有。有人把这当作此类排名通通不可靠的证 据，但 ISI 显然对电脑科学界相当不了解。 ISI 的「最常被引用学者」中并没有 Wirth, Parnas, Knuth 等人。2000 到 2006 的 Turing 奖得主中只有 Ronald Rivest （RSA 演算法中的 R) 上榜。但不包括 Adi Shamir （RSA 中的 S）。 因此 Mattern 说，ISI 眼中的电脑科学和学界的实况根本就是「两个世界。」 ISI 最近把 Springer 的 LNCS 系列算为期刊，虽然该系列大多是会议论文集和专题论文 。而许多不经由 LNCS 发表论文集的会议仍未被索引。因此 International Conference on Software Engineering，软体工程学界最好的会议之一，并没有被索引。但一个被 LNCS 出版的工作坊会议却可以算成 SCI 论文，即使圈内人都知道这个工作坊大都是在 投稿 ICSE 之前先试试水温用的。 ACM 程式语言组的 SIGPLAN Notices 也被 ISI 索引。事实上，SIGPLAN Notices 是一个 收录笔记与草稿、没有同侪审核的刊物。但每逢大型会议，SIGPLAN Notices 也会出版包 括 POPL, PLDI 等高水准会议的专刊。专刊和一般期数的意义大不相同，ISI 把它们视作 一样的文献。 其他评监标准？ Mattern 的演讲与 RECIE 报告并不只谈 ISI 的问题。其他的量化指标也有各自的缺点。 另一个资料库 SCOPUS 的最常引用文章全都以应用领域 ( 『computational X』) 为主； 而像 CiteSeer, Google Scholar 等工具则有电脑判断失误的问题。後两者的好处是错误 订正的机制较透明。2 电脑科学界有些独有的特性：除了期刊，书和会议也很重要（若问人电脑科学最重要的着 作是什麽，很多人会回答 The Art of Computer Programming）；成功的硬软体实作影响 力可能远超过论文；论文共同作者数目介於自然科学与数学之间，作者排名顺序较不重要 ；3 有许多子领域，之间交互引用的情况不多；有竞争相当激烈、被引用数很高的会议， 也有更多几乎没有被引用过的会议。这使得对电脑科学的评监应有个不同的设计。 当然，我们终究得谈到，被引用数目是个公允的影响力指标吗？（调查、介绍性的论文被 引用量会比较高；第一个提出 NP Complete 概念的论文被引用数远不及後来的阐述者… ）这类量化指标的问题在哪？但这些已属学界各领域都会碰到的问题了。 Mattern 任职於瑞士 ETH, 电脑科学的着名研究重镇。但从种种指标看来，ETH 好像并没 有什麽重要的电脑科学研究似的。ETH 的「每人被引用数」排名是如何从 2004 年的第三 名掉到 2005 年的 71 名，只因为计算方式改变了？想知道详情，我很推荐大家看看他的 投影片。 对於 SCI/SSCI 当作评监指标，国内人文学界的反弹似乎强过科学与工程。也有人认为这 是一种缺乏自信的表现、台湾/华人/亚洲特有的现象（例如把 SCI 称为 Stupid Chinese Idea 等等）。但欧洲也有人谈及此事，大概他们也觉得受够了。国外学者指出 SCI 其实特别不适合电脑科学，国内资讯科学界的看法又是什麽呢？ 附注 1. 之所以说是「最低」条件，因为 SCI 资料库原为一个检索与分析为目的的「完整 」资料库，被索引的期刊自应是有好有坏，仅被列名并不足以视为「好论文。」我们为主 事者硬找个用 SCI 资料库当评监的合理逻辑，只能说主事者大概认为 SCI 资料库里有的 东西「至少可以算是论文。」意即 SCI 被当成一个「正式论文」发表量，而不见得是「 好论文」发表量。但如此一来 SCI 资料库的涵盖范围就应更广。 2. 所内最近和爱因斯坦成为共同作者的某 A 小姐可能并不会很想去订正就是了。 3. Nature 一年的样本中平均每篇作者 7.3 人，最高 22 人；American Mathematical Monthly 平均两人，最高 6 人；OOSPLA 与 POPL 平均 2.7，最高 7 人。 参考资料 1. Friedemann Mattern. Bibliometric Evaluation of Computer Science – Problems and Pitfalls. European Computer Science Summit 2008. 2. Research Evaluation for Computer Science. An Informatics Europe report 参考连结 * 林一平部落格：全球论文数排名。 * 潘震泽：SCI 与 IF 细说从头。 * 黄厚铭：SSCI、TSSCI与台湾社会科学学术评监制度。图书馆学与资讯科学半年刊 , 第 31 卷 第 1 期，2005年 04月。 * 刘维琪：当系所评监遇到SCI论文。评监双月刊，2008 年 1 月。 * 吴邦一：我对 『LNCS论文是否是SCI论文』 的看法。 * 汪志坚：台湾学者发表在SSCI资管期刊的论文数。 * 中央社：新竹交大资讯工程排名世界第21大 目标前10大。 --

※ 发信站: 批踢踢实业坊(ptt.cc) ◆ From: 82.36.65.98 ※ 编辑: xcycl 来自: 82.36.65.98 (11/18 18:09)