作者timbrian (perk yourself up)
看板AfterPhD
标题Re: [情报] Should Peer Review Catch Fraud?
时间Mon Nov 28 20:12:45 2016
※ 引述《ACE520 (ASE)》之铭言:
: 标题: [情报] Should Peer Review Catch Fraud?
: 时间: Mon Nov 28 15:01:35 2016
:
: 原文连结
: https://goo.gl/D8MIhc
: http://discovermagazine.com/
:
: 台湾学术界正在帮台湾,开拓另一条国际曝光度的管道
:
: Is it the job of peer reviewers to detect scientific fraud?
:
:
: I’ve been pondering this question for a while but lately my interest was
: sparked by the case of a retracted cancer biology paper in the high-profile
: journal Nature Cell Biology. Written by Taiwanese researchers Shih-Ting Cha
: et al., the article was published on the 15th August and retracted just three
: months later, after anonymous posters on PubPeer noticed several anomalies in
: the results.
:
: For instance, there was image duplication: the paper contained identical
: images that were meant to be of different mice:
:
: pubpeer
:
: Along with other image anomalies found in the paper, these duplications are
: evidence of either serious errors in manuscript preparation, or fraud.
:
: Now, Nature Cell Biology is a peer reviewed journal. Perhaps three or four
: independent scientific experts reviewed the Cha et al. paper before it was
: published. Shouldn’t they have spotted these problems? Isn’t that the job
: of reviewers? Opinions differ, as this (unscientific) poll of my Twitter
: followers shows:
就以自己曾当过几次生医文章的 reviewer..
其实真要造假 或是明知道有很大的机率是作者不那麽适当的 "便宜行事"
似乎也真不能如何
举个例子
有个 western blotting 的 data
A : + - + -
B : - + - +
loading control : .............
很常有的例子是我问 可不可以多加一个 condition C
结果文章改完回来
就是 A, B, control 的图丝毫没变 (用原图)
就中间多给你一个 C 的 condition
就以一个严谨的实验来说
除非你的样品都有保留 或是 membrane 还留着
不然理论上回来的data, 不管是 A B 跟 control 都要应该重跑一遍
审一篇文章向来须时很久 甚至那data 有可能是两三年前做的
所以你跟我说 western 样本都有保留
(冰的那麽久还能用吗? 或是那麽刚刚好sample 是submit 前才制备的?),
或是有保留 membrane (保留底片是必须的 但保留膜?),所以才保留文章原图
就常在弄实验的人 都知道这机率实在不高
但作为一个 reviewer 你能怎麽样?
还有一样的情况是少跑 loading control,在我要求要补loading control 後
结果文章改回来就给我多一栏的 loading control,
其他图都完全不变,这样子的 data 严谨吗?
做 reviewer 是否该要求这整张图重做?
更别提很多 cell or 组织 imaging 的图都是只秀出能符合 hypothesis 的区块
有在作实验的都知道
很多漂亮的 hypothesis 等到正式作实验後 情况都会不如预期(或是差异不大)
但是一旦没有漂亮的 hypothesis,
那些大期刊 editor 常一句 “no general interest” 拒掉, 审都不审
以前在美国时,老板只对他想的 hypothesis 有兴趣,
只要 data 不能符合他的期待
结果不是被忽视, 辛苦做的 data 被丢在一边 摆一百年都不发
不然就是直接黑掉, 反正两者结局一样: 被学术界淘汰,或当学术长工
自然很羡慕那些 data 怎麽做都能符合老板假说, 而 CNS 狂发的神人
学术界有些畸形生态久了 感觉待久都不大健康
现在进入业界後,只有研究有需要参考到那些大期刊的文章,
第一件事情就是 repeat 一些文中较简单的实验,一旦一两项不能重复後
整篇就连探讨就都不想探讨,碰的太多..浪费时间
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 123.110.202.6
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/AfterPhD/M.1480335167.A.0C5.html
1F:推 goodday06: 就reviewer说要补甚麽 下回就都补出来了 11/28 20:19
2F:推 hint: 就说美国很多大头也是这样 国外的月亮不会比较圆 不要妄自 11/28 20:20
3F:→ goodday06: reviewer 也看到效率这麽高 也只能说 impressive... 11/28 20:20
4F:推 sshyu954: 虽然不是这个领域的,但我想我会challenge作者的 11/28 20:28
5F:→ blence: 很难挑战,当作者都说用同批lysate或先前就有做,你也没辄 11/28 20:34
6F:推 sshyu954: 不会。先质疑再说。等他来说服我。 11/28 20:36
7F:→ blence: 就讲了阿,同一批lysate,你怎麽反驳呢? 11/28 20:37
8F:→ blence: 不如直接另辟战场(要求限制条件的data),作者就只能重做 11/28 20:38
9F:推 MartianIT: 就算限制条件也不见得能叫作者重做 比如说通讯作者是 11/28 21:15
10F:→ MartianIT: 大头 一句话顶回来就period了 11/28 21:16
11F:→ blence: 当然那是相较於随便补一条Ab而言,什麽都不补又是另一件事 11/28 21:25
12F:推 skylawer: 什麽都不补 反而比较好打枪 补了後反倒比较难怀疑真实性 11/28 22:18
13F:推 sshyu954: 不是很理解生医,在工程,就算是大头,只要有疑问照 11/28 23:46
14F:→ sshyu954: 打枪,甚至REJECT。生医的大头有这麽可怕啊!? 11/28 23:47
15F:推 lail: 因为你审他的paper,但是他可能审你的计划/预算啊 11/28 23:54
16F:推 sshyu954: 言下之意,所谓的匿名审查在生医界不是那麽的匿名? 11/29 00:04
17F:推 fieed: 不如说圈子太小,看风格很容易猜出来是谁审的。 11/29 00:17
18F:推 JSFERRO: 如果大多是外国(非国内)学者审,应该没这问题才对。是吗? 11/29 00:25
主要是一般 reviewer 在审,都是以信任的角度去审,而不会先预设这篇是造假的
毕竟,reviewer 不可能一边审,一边自己去repeat 实验验证真假
自己亲自作实验的,就会知道知道要去试最佳条件要花多久时间,
但是如果作者在最短时间,给你最佳的结果,你一般也只能选择相信他
(假设没有出太严重的错误情况下)
举个例子,像是 1/1 号要求作者要多两个男新生儿的数据,
结果 10/2 作者就就给你碰出一对男双胞胎。
当 reviewer 怎麽怀疑作者就是天生神力加好运,1/2 就刚好给你受孕?
然後刚好预产期一分不差就生出来?
难道要我们 reviewer 自己也去生生看?
最後也只能说 " Wow, so impressive !!!!"
一般念到博士,如何去“做”出 data 不是难事
而作为reviewer 也不是不能了解如何可以造出 "需要的data"
要质疑,真的质疑不完....
要非这次的风暴是做图做的太粗劣,不然生医实验能作手脚的空间太大了。
说真的,真的听太多那些每年都有好几篇 CNS 大paper 产出的知名 Lab,
data 无法 repeat 了
就像是你可以理解有人也许运气很好,或砸钱很多 而连续三期大乐透都有中奖
但当你听到连续三期大乐透的头奖都在同一家,难道你不会有点质疑?
※ 编辑: timbrian (123.110.202.6), 11/29/2016 00:51:18
19F:推 duriamon: 投稿人跟审稿人都当假科学家,这个年头科学还真是廉价… 11/29 00:50
20F:→ duriamon: …不想当科学家的话去当商人比较不用跟良心过不去。 11/29 00:50
※ 编辑: timbrian (123.110.202.6), 11/29/2016 01:03:24
21F:推 JSFERRO: 感谢详细的解释! 11/29 01:15
22F:→ ewayne: 这年头的商人,还剩几个是有良心的呢~ 11/29 01:42
23F:推 MartianIT: "猜reviewer"有时不是那麽难 研究做到枝微末节 圈子就 11/29 01:44
24F:→ MartianIT: 很小了 然後可能会用"推荐reviewer" 再加上reviewer 11/29 01:45
25F:→ MartianIT: 写作的风格 有时候跟本一看就知道是谁给的comments 11/29 01:45
26F:→ MartianIT: 做科学本来就是良心事业 你凭良心做研究 也相信同行会 11/29 01:47
27F:→ MartianIT: 凭着良心做研究 体制就是基於互信而运作 不然就崩溃了 11/29 01:49
28F:→ Barolo: 你说的这确实是问题 但也有reviewer要求补些奇怪的实验 11/29 02:10
29F:→ Barolo: 过去回信直接argue 从来也没有reviewer退让 落的就投不上 11/29 02:11
30F:→ Barolo: 而已 那最後也只能全力配合reviewer的要求 无奈阿 11/29 02:12
31F:推 MartianIT: 有时reviewers要求补一堆实验 也会吵回去 让reviewer退 11/29 04:52
32F:→ MartianIT: 让 其实能说服reviewer就好了 11/29 04:53
33F:→ saltlake: 审查的抗辩本就和写论文一样有技术 两者都要有说服力 11/29 09:24
34F:→ saltlake: 才能说服做最终决定的主编 至於推荐的审稿者 有期刊 11/29 09:24
35F:→ saltlake: 规定主编或者副编挑审查者时一定要接受? 11/29 09:25