作者patrick2dot0 (第一中锋)
看板DataScience
标题[讨论] ICLR审稿争议
时间Tue Dec 17 17:21:18 2019
前阵子在ICLR 2020的投稿中，
有一篇名为
Recurrent Hierarchical Topic-Guided Neural Language Models
的论文，
提出一种新的language model，
结合了stochastic-gradient MCMC
跟recurrent autoencoding variational Bayes，
宣称他们的架构可以捕捉到句内跟句间的依赖性。
前三个reviewer都给了他8分的高分，
看起来是一篇要被ICLR 2020录取的论文了，
这时area chair提出了一个问题，
他说现在state of the art的language model，
几乎都是基於transformer的架构，
认为这个架构应该要跟transformer-XL比较。
面对这个问题，
作者表示提供了若干原因解释了为什麽这两个架构不具有可比性，
包括Model size、Model construction、
Interpretability 跟 Larger-context language model，
之後Area Chair表示感谢您的回答，
但我仍认为这model需要跟transformer-XL比较。
而接着第四跟第五个reviewer都给了这篇1分的评价。
po到这个板上是想跟大家讨论一下，
大家对於这个争议事件的看法。
先不论两个model具不具有可比性，
三个reviewer给8分，两个reviewer给1分，
本身就是满有争议的了。
若大家对於评分争议或model可比性有什麽看法，
欢迎在底下分享讨论。
open review 网址 :
https://openreview.net/forum?id=Byl1W1rtvH
知乎 量子位 网址 :
https://zhuanlan.zhihu.com/p/96629083
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 220.136.43.145 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1576574480.A.F7E.html
1F：推 kenkao25: 省稿的争议原本就很多 有时候只能希望遇到好的reviewers 12/17 20:42
2F：推 sxy67230: 基本上就审稿评审真的很大，现代的Journal 虽然都是随 12/17 21:59
3F：→ sxy67230: 机审稿委员，但是审稿委员有一些偏见的话，就会给比较低 12/17 21:59
4F：→ sxy67230: 的分数 12/17 21:59
5F：推 sxy67230: 我自己硕士的时候投Journal 也是这样，审稿来来回回11 12/17 22:03
6F：→ sxy67230: 个月的都有，尤其是大刊。现在的DNN就Attention 架构的 12/17 22:03
7F：→ sxy67230: 模型当道，你不用Attention Based Model就要证明你的东 12/17 22:03
8F：→ sxy67230: 西是超越Attention 的不然都会被打低分 12/17 22:03
9F：推 sxy67230: 不然就是你要提出比较当今流行模型，否则也是低分。我 12/17 22:18
10F：→ sxy67230: 其实觉得用一大堆巨量资料去'蒸馏'的方法根本是病态的， 12/17 22:18
11F：→ sxy67230: 人类的元学习能力根本不是这样去蒸馏讯息。Bert你现在要 12/17 22:18
12F：→ sxy67230: 更好，我们就来用更质量更高的资料吧，於是Roberta就出 12/17 22:18
13F：→ sxy67230: 来了。XLNet的概念很好，回归了语言模型的问题，但是Rob 12/17 22:18
14F：→ sxy67230: erta又把整个NLP领域带入数据深渊，我觉得这是当前的困 12/17 22:18
15F：→ sxy67230: 境 12/17 22:18
16F：→ hsnuyi: 没看过被拒後 审稿人把你的东西改一下自己发的例子吗? 12/18 00:42
17F：推 steven95421: 推楼楼上 12/18 12:32
18F：→ roccqqck: 楼楼上的困境应该是学术界根本赢不了大公司XD 12/18 14:20
19F：→ roccqqck: 楼楼楼上才对 12/18 14:20
20F：→ roccqqck: 然後大公司根本不需要投稿也有人会看你论文 他们就释出s 12/18 14:23
21F：→ roccqqck: ource code放GLUE之类的排行榜就好 硬体跟人力跟data都 12/18 14:23
22F：→ roccqqck: 玩不赢大公司啦 12/18 14:23
23F：→ roccqqck: 讲白了这篇就算真的上期刊了 大概也没多少人去看 12/18 14:39
24F：→ roccqqck: 就跟sxy讲得一样 没有蒸馏一个pretrained model出来 12/18 14:41
25F：→ roccqqck: 根本没人鸟你 这投稿就赚学术点数而已 12/18 14:42
26F：→ roccqqck: 然後证明自己会改模型内部 履历还是有帮助 12/18 14:44
27F：推 erre: 掰陈call改一改就知道哪个赢，然後又可以做ai 12/18 16:49