作者outrunner (ot)
看板DataScience
标题Re: [问题] Validation set 到底在做什麽?
时间Wed Mar 28 00:19:08 2018
※ 引述《lucien0410 (lucein)》之铭言：
: 可是可是我的问题没有回答到 (是我一开始没问对问题)
不如你来回答问题, 你怎麽知道模型要训练到什麽时候(epoch size)?
: 换个方式讲
: 假设我有两份已知资料(AB两份资料）
: A拿来训练
: B拿来测试
: B的测试结果告诉我们成果到底怎样 公平的验证
: B就是终极测试
这样做当然很好, 但代价也很昂贵.
回到上面的问题, 你需要验证多少次? 每个epoch验证一次?
更别提很多时候是没办法这样做的.
(ex. B没有答案. 有的话我会拿来做训练)
: 但其实训练A之前 可以调整很多hyperparameter
: 所以就先把A切成 a b
: 拿a 训练 b 测试 找寻最佳的hyperparameter
: 找到後 再依这样的设定训练A (期待B的测试会最好)
: 但是OpenNMT要求在训练小写a时也必须提供val set
: 这就是我的问题了
他就是边训练边测试啊, 不然你怎麽知道训练得如何了?
其实就是把你想手动做的事情自动化啦.
如果你有看他的说明书:
Validation files are required and used to evaluate
the convergence of the training.
It usually contains no more than 5000 sentences.
第一句就是前面讲的.
第二句的意思是做这个很浪费时间. (别误会, 是学问很大的意思)
然後"找寻最佳的hyperparameter"也不是很重要,
想太多不如先train下去, train久了就有fu了.
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 1.160.95.100
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1522167550.A.382.html
1F：推 lucien0410: 推 03/28 00:39
2F：推 Murasaki0110: 海豹大大 03/28 00:42
3F：推 Rprogramming: 推数海豹大神 03/28 02:50
4F：推 ACMANIAC: 推海豹大 03/28 02:56
5F：推 lucien0410: 感谢o大 这样我就懂了 这个val set 的作用就是专门来 03/28 07:51
6F：→ lucien0410: 调 epoch size 03/28 07:51
7F：推 wilson85771: 是数海狮大神！ 03/28 16:11
8F：推 goldflower: 你还是没懂R... 03/28 17:21
9F：推 lucien0410: 哈 gold大 谢谢你特别关心我 我明天再来发文 03/28 17:30
10F：推 walkwall: 推推XD 03/28 17:30
11F：→ lucien0410: 说我懂了什麽 要是再说错了 你再来帮我打脸 03/28 17:31
12F：→ lucien0410: gold你就是我的validation set阿 ！！！ 03/28 17:31
13F：推 goldflower: 打脸不敢XD 03/28 17:46
14F：推 lucien0410: g大 ML/DL你懂的一定比我多很多 我就来练功 打脸不痛 03/28 18:02
15F：→ lucien0410: 我脸皮弄厚一点 学到了就是我的 03/28 18:04
16F：→ lucien0410: 这样应该算gradient descent 的学法吧 03/28 18:05
17F：→ lucien0410: 摇摇晃晃犯了很多错 不是用一次到位的方式 03/28 18:07
18F：推 goldflower: 哈哈多问很好啊 有问还能钓到田神 说不定之後李宏毅 03/28 21:40
19F：→ goldflower: 老师也来驻版XD 03/28 21:40