作者ruthertw (督人無數就是我)
看板Soft_Job
標題[請益] 為什麼現在新的深度學習模型都很少割出te
時間Sat Aug 14 16:12:05 2021
"為什麼現在新的深度學習模型都很少割出test dataset?"
在進行實驗的時候,
發現近三年來的研究工作,
很多都沒有切割test dataset,
論文裡也沒有列出test dataset的實驗結果.
反而都直接以validation dataset包含test dataset.
比例也從以往常用 train:val:test = 8:1:1 (7:2:1)
變成 train:val = 8:2
很多學校裡的指導教授還是要求要使用8:1:1這個鐵比例.
為什麼現在新的深度學習模型都很少割出test dataset?
這些新模型其實只是舉手之勞就可以做這到件事,
而且按照指導教授的要求,
論文裡要是沒有test dataset的實驗結果,
應該是不能被刊登.
不得其解...
大大們可以詳細說明解釋這個原因嗎?
還有,
想知道指導教授的堅持是對的嗎?
先謝謝各位深度學習的高手~
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.71.215.133 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Soft_Job/M.1628928727.A.BDC.html
1F：推 yiche: 請問可以條列出幾篇有這種情況的ICCV CVPR論文嗎？ 08/14 16:26
2F：推 lukelove: 一般的benchmark應該是光data就有分train/test吧 哪有必 08/14 16:39
3F：→ lukelove: 要再把train的一部分拿去切test 08/14 16:39
4F：推 Raymond0710: 有DataScience板 08/14 17:19
5F：推 sooge: 你要相信投上的paper 還是相信你教授的話 08/14 17:32
6F：→ KindWei: 本質上並沒有 test ，都看到的ground truth，大家一起調 08/14 18:34
7F：→ KindWei: 分數就好啦，除非像 kaggle，有一個公正方把 test 藏起 08/14 18:34
8F：→ KindWei: 來不給看，大家不要 overfit valid 才有意義 08/14 18:34
9F：推 andy5656: 除非不曉得test set的label 不然有沒有切是一樣的 08/14 20:51
10F：推 itis0423: 哪些 paper 沒有切 test set 啊好奇 08/14 23:06
11F：推 jamfly: 你可以舉例你看的文章嗎？因為通常都會有公定的benchmark 08/14 23:37
12F：→ jamfly: 來比較分數，不太有可能會有你說的只report validation se 08/14 23:37
13F：→ jamfly: t的成績 08/14 23:37
14F：推 sooge: 有小型dataset 一載下來就切 train 和test 而已 說到底vali 08/15 00:08
15F：→ sooge: dation 和test 都是不被訓練過的資料 本質根本一樣用誰去測 08/15 00:08
16F：→ sooge: 哪有什麼差 08/15 00:08
17F：→ sooge: 並不是paper 不切 而是dataset 本身就沒切三份 08/15 00:10
19F：→ sooge: 我這篇CVPR paper的室內資料集就是切train和test而已 08/15 00:16
20F：推 sooge: 然後很特別是這篇是從train data 再切validation出來 08/15 00:31
22F：→ sooge: 這篇hawp同樣用上面那篇的dataset就沒再切validation出來 08/15 00:36
23F：→ sooge: 所以一個validation真的是各種表態 唯一不變的是 人家拿的 08/15 00:38
24F：→ sooge: 那份，你要稱validation還是稱test 的dataset要拿去當評分 08/15 00:38
25F：→ sooge: 標準的 就絕對不能那下去訓練就對了 08/15 00:38
26F：推 DarkIllusion: validation的評估指標參與模型選擇 跟test是有差的 08/15 01:10
27F：推 followwar: sooge是國人? 該篇作者都是大陸人耶 08/15 21:28
28F：→ agario: sooge 那篇是沒切 val 但原po說的是沒切test吧 08/19 20:33