作者jack1218 (赤城我老婆)
看板graduate
标题[讨论] 跑实验数据要跑多次取平均吗
时间Fri Sep 16 00:07:39 2022
大家好
是这样的
我在做深度学习相关领域的论文
架构差不多好了 但是跑实验要很久
每做一个实验就要花上大量的时间
所以我需要固定random seed 跑很多次（Ex.3-5次）取平均吗
我看同领域其他论文提供的code
有些人会取五次 也有人只跑一次
问学长姐也没什麽定论
所以请问这部分有什麽惯例或是规定吗
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.136.235.174 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/graduate/M.1663258061.A.C7C.html
※ 编辑: jack1218 (114.136.235.174 台湾), 09/16/2022 00:08:42
1F：推 jason90814: 显卡买起来就没问题惹09/16 00:10
2F：推 zxp9505007: K-Fold validation 了解一下09/16 00:17
3F：推 ok8752665: 如果实验上换seed就落差很大才要吧 跟kfold应该没关系09/16 00:33
4F：推 wuyiulin: 看架构，但是我建议你取最好的那次xD09/16 01:08
5F：→ wuyiulin: 但是我没有做过 random seed 差很多的架构，顶多统计值09/16 01:10
6F：→ wuyiulin: 落差千分之五左右09/16 01:10
7F：推 zxp9505007: 我每次审文章 没做K-fold就发回重审 建议固定随机种子09/16 01:57
8F：→ zxp9505007: 以8:2比例跑5次flod取平均 除非你能说服我为什麽你不09/16 01:57
9F：→ zxp9505007: 用做k-flod 但目前没有学生说服成功09/16 01:57
请问如果资料集太小
我做k-flod 但是把val set混入train set 这样做法是可行的吗
比方说做跑5次flod取平均
原本比例8：2 变成 10：2
※ 编辑: jack1218 (114.136.235.174 台湾), 09/16/2022 02:08:33
10F：推 zxp9505007: 不可以 test set 或 Val set 不可加入训练过程09/16 05:22
感谢回答
我还有一个问题
如果当中使用一个component 不具备reproducibility
（hugging face 的某些transformer固定random seed 还是不会有一样的结果）
请问实验上可以无视这个问题吗
※ 编辑: jack1218 (114.136.235.174 台湾), 09/16/2022 13:00:24
11F：推 zxp9505007: 固定seed 固定模型情况下 的确会有不一样的结果 这是09/16 13:23
12F：→ zxp9505007: 梯度下降的现象 但不应相差太多 09/16 13:24
13F：推 jason90814: 楼上认真！？kfold不就是把train set跟valid set混一 09/16 13:55
14F：→ jason90814: 起後分成k份然後每次拿一份来做validation 吗？ 09/16 13:55
15F：→ jason90814: 而且random seed没什麽好取平均的吧，不就是找到最好 09/16 13:57
16F：→ jason90814: 的seed然後用它就好 09/16 13:57
17F：推 zxp9505007: 回楼上 如果把val混在train里面一起练 那不管怎样Val 09/16 14:02
18F：→ zxp9505007: 的acc 都会是好的 那就没有验证的必要 09/16 14:02
19F：→ zxp9505007: Val要有意义就是不参与训练过程 09/16 14:02
20F：推 zxp9505007: 原po说的8:2 变成 10:2 训练 这样的方式是不恰当的 va 09/16 14:04
21F：→ zxp9505007: l不能参与训练过程09/16 14:05
22F：→ zxp9505007: 再来 如果有做的完整交叉验证 随机种子的确不重要09/16 14:06
23F：→ zxp9505007: 希望我的回答对你来说够认真09/16 14:06
24F：推 jason90814: 但我之前学到的以及网路查的到的k-fold都是k个部分轮09/16 21:52
25F：→ jason90814: 流当valid set来跑，而且原本valid set就是手动把09/16 21:52
26F：→ jason90814: labeled data分一些出来不是嘛？如果不把valid set混09/16 21:52
27F：→ jason90814: 进去切那跑的时候不就有两个valid set (train data的09/16 21:52
28F：→ jason90814: 1/k跟原本的valid set)，这样的意义是什麽？09/16 21:52
30F：→ jason90814: 附个网路找到图，还是你说的是图中的testing set 09/16 21:54
31F：推 zxp9505007: 我理解你会误会我的原因了 我是指是在一开始不将test09/16 23:37
32F：→ zxp9505007: 集固定 所有资料集8:2分 2=test或Val 但不论如何 Val09/16 23:37
33F：→ zxp9505007: 或test都不能被训练 你的解释是对的 但你可能误解我09/16 23:37
34F：→ zxp9505007: 的意思 导致你觉得我是错的 09/16 23:37
35F：推 zxp9505007: 回到原po的案例 用多种RS取平均没有意义 因为无法证 09/16 23:39
36F：→ zxp9505007: 明所有RS有使test集遍历资料集 09/16 23:39
37F：推 zxp9505007: 所以我提出不要用多个RS 而是使用fold 8:2 得到五次09/16 23:41
38F：→ zxp9505007: 平均结果 会比多个RS有意义09/16 23:41
39F：推 zxp9505007: 接着原po提出因为资料集小 切8:2 可能会让原本资料集09/16 23:44
40F：→ zxp9505007: 更小 但我很怀疑 因为小资料集跟原po说的大量时间是 09/16 23:44
41F：→ zxp9505007: 互斥的09/16 23:44
我的资料集虽然只有8000多笔
但是input有影片 文字和声音 分别使用transformer 效能需求颇高
使用的设备也不尽理想
再加上要跑不少实验 所以才需要花不少时间
42F：→ zxp9505007: 不管如何 我就直接假设他的网路非常复杂09/16 23:45
43F：推 zxp9505007: 回到你提出的图 我认为更严谨的处理方式依然是不将TES09/16 23:51
44F：→ zxp9505007: T固定 并分train:Val:test 然後跑fold 这边Val可以用 09/16 23:51
45F：→ zxp9505007: 於earlystop 但依然不能成为训练集 09/16 23:51
46F：→ zxp9505007: TEST会被固定的场景大概就数据竞赛或kaggle 09/16 23:52
请问若官方有切分好train val test
先将train val 合并
并且固定random seed 跑5-fold
这样是比较严谨的做法吗
※ 编辑: jack1218 (114.136.235.174 台湾), 09/17/2022 02:53:33
※ 编辑: jack1218 (114.136.235.174 台湾), 09/17/2022 02:58:02
47F：推 zxp9505007: 这样说吧 因为你开头说是论文 所以我说明论文该怎麽设 09/17 04:42
48F：→ zxp9505007: 计实验 如果是竞赛设计好的train val test 当然以大 09/17 04:42
49F：→ zxp9505007: 赛规定为主09/17 04:42
是论文
我说官方提供是发dataset的人有切分好了
50F：→ Mchord: 你跑5fold出来就5个model拿去测test一样5笔没意义啊09/17 08:38
51F：→ Mchord: 切了train val test情况，标准做法是挑val高的测test09/17 08:39
52F：→ Mchord: 要发paper的话直接无脑测test挑最高的也大有人在09/17 08:40
我就是看有人的是这样做的
所以才问这个问题~
但总觉得哪里怪怪的
※ 编辑: jack1218 (114.136.235.174 台湾), 09/17/2022 09:47:23
53F：→ DLHZ: 答案是没有 只要足以说明你提出的方法就好 09/17 09:48
54F：→ Mchord: 你要用5fold挑weight去测那你test result就要用范围表示09/17 10:23
55F：→ Mchord: 跟要对比的文献采用一样做法就可以了09/17 10:23
56F：→ Mchord: 但现在实paper跑kfold的人很少了，因为耗时又不能偷鸡09/17 10:25
57F：推 zxp9505007: 所以其实要发paper 不做k fold可以 不要被我审到就好X09/17 11:28
58F：→ zxp9505007: D09/17 11:28
59F：推 zxp9505007: 总之没有正确答案 只有更严谨的做法而已09/17 11:30
真是太感谢你了
请受小弟一拜
60F：推 tommytyc: 多看几篇顶级会议的做法吧 09/17 12:25
61F：推 jacksoncsie: 感谢上面讨论 09/17 17:06
※ 编辑: jack1218 (114.136.235.174 台湾), 09/17/2022 23:12:34
62F：推 a26833765: train valid test 三个彼此要独立 09/19 00:00
63F：推 Informatik: 选最好的那次 09/19 08:33
64F：推 charliebitme: 论文的话选最好的那次 记得设seed到时发表才可符合r 09/22 02:29
65F：→ charliebitme: eproducibility 09/22 02:29