前陣子在ICLR 2020的投稿中， 有一篇名為 Recurrent Hierarchical Topic-Guided Neural Language Models 的論文， 提出一種新的language model， 結合了stochastic-gradient MCMC 跟recurrent autoencoding variational Bayes， 宣稱他們的架構可以捕捉到句內跟句間的依賴性。 前三個reviewer都給了他8分的高分， 看起來是一篇要被ICLR 2020錄取的論文了， 這時area chair提出了一個問題， 他說現在state of the art的language model， 幾乎都是基於transformer的架構， 認為這個架構應該要跟transformer-XL比較。 面對這個問題， 作者表示提供了若干原因解釋了為什麼這兩個架構不具有可比性， 包括Model size、Model construction、 Interpretability 跟 Larger-context language model， 之後Area Chair表示感謝您的回答， 但我仍認為這model需要跟transformer-XL比較。 而接著第四跟第五個reviewer都給了這篇1分的評價。 po到這個板上是想跟大家討論一下， 大家對於這個爭議事件的看法。 先不論兩個model具不具有可比性， 三個reviewer給8分，兩個reviewer給1分， 本身就是滿有爭議的了。 若大家對於評分爭議或model可比性有什麼看法， 歡迎在底下分享討論。 open review 網址 : https://openreview.net/forum?id=Byl1W1rtvH 知乎 量子位 網址 : https://zhuanlan.zhihu.com/p/96629083 --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.136.43.145 (臺灣) ※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1576574480.A.F7E.html