作者CharlieL (心平气和)
看板DataScience
标题Re: [问题] Validation set 到底在做什麽?
时间Wed Mar 28 00:11:52 2018
这篇很早期的有关 CV 与 holdout (single validation) 的比较可以给大家参考。
http://robotics.stanford.edu/~ronnyk/accEst.pdf
而就我个人粗浅的观点，高维度的机器学习固然是个困难的问题，
但 cross-validation 被统计学家发明出来的时候，可还没有高维度的机器学习呢。:-)
所以把 cross-validation 讲成是解决高维度中 train/validation 分割困难
的方式，也许有一些 human overfitting 的误解。
我的看法是：cross-validation 是一种统计工具，用来协助我们估计模型的表现。
在模型的表现较不稳定的时候(可能因为维度、演算法、资料分布等原因)，它
通常能用更多的计算量达成比 holdout 更稳定的估计。
另外一提的是：前文中所提到的 normalization/scaling 的技巧，在机器学习中
的确非常有用，但它们也不见得是为了解决高维度机器学习的困难而产生的。
我的浅见是，scaling 并不会让 train/validation splitting 变得更容易或
更困难，因为大部份的 splitting 方法都只对 data 的 index 做 splitting，
而跟 data 的 numerical range 无关。有机会的话我再跟大家聊聊 scaling 为什麽
会有用，不过我想这不是这篇讨论的重点。
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 1.171.61.194
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1522167114.A.3A7.html
1F：推 syc0924: 大家好 打给後 03/28 00:31
2F：推 leoloveivy: wow 田神出来啦 大家麻烦排队跪 03/28 00:35
3F：推 goldflower: 喔喔喔喔喔喔田神来啦~~~~~ 03/28 00:38
4F：推 howardwu: 推! <(_ _)> 03/28 00:40
5F：推 goldflower: 目前最常见的理由似乎是gradient based的方法有好处 03/28 00:45
6F：→ goldflower: 另一个就是算error比较不会炸掉 不知道还有什麽解释@@ 03/28 00:46
7F：→ goldflower: 之前校园博览会经过摊位 但是太废了不敢投XD 03/28 00:46
8F：推 m3xup6: 脸书看到，朝圣推一下 03/28 00:55
9F：推 p23637100phi: 推田神心平气和xd 03/28 00:55
10F：推 patrick2dot0: 推田神 03/28 00:57
11F：推 seasa2016: 朝圣XD 03/28 01:01
12F：推 empennage98: 推田神！ 03/28 01:06
13F：推 pipidog: 除重看了cv,确实觉得前文有些观念不对了！得再好好想想 03/28 01:26
14F：推 skgg: 朝圣！ 03/28 01:35
15F：推 lucien0410: 朝圣！ 03/28 01:38
16F：推 tay2510: 朝圣推!!! 03/28 01:58
17F：推 liang1230: 推 上篇文看的头好痛 03/28 02:15
18F：推 Rprogramming: \朝圣田神/ 03/28 02:53
19F：推 ACMANIAC: 推 03/28 03:03
20F：推 del680202: 朝圣推 03/28 07:41
21F：推 yuyusica: 朝圣推 m(_ _)m 03/28 08:07
22F：推 shaform: <(_ _)>!!!!! 03/28 08:17
23F：推 walkwall: 朝圣推 03/28 08:42
24F：推 st1009: 朝圣推！ 03/28 08:52
25F：推 jojojen: 朝圣!!! 03/28 09:03
26F：推 warex14: 朝圣！ 03/28 09:36
27F：推 a127000555: 推田神 03/28 10:07
28F：推 dragon31536: 朝圣推！ 03/28 10:12
29F：推 championship: 田神先拜 03/28 10:14
30F：推 ballislife: 田神 !! 03/28 10:33
31F：推 fatlizard: 朝圣推 03/28 11:01
32F：推 Plot3D: 有神快拜 03/28 12:10
33F：推 eatpupu: 膝盖碎裂 03/28 12:58
34F：推 moonoftree: 跪了 03/28 13:27
35F：推 f0958425316: 朝圣推 03/28 13:30
36F：推 sunhextfn: 朝圣推 03/28 14:19
37F：推 kokolotl: ! 03/28 14:21
38F：推 mazz: 朝圣 03/28 14:57
39F：推 chadcooper: 推田神~~~~~~~~~~~~~~ 03/28 15:41
40F：推 wilson85771: 朝圣推 03/28 16:04
41F：推 normaldistr: 以跪 03/28 17:25
42F：推 chris810314: 朝圣～～～ 03/28 18:01
43F：推 tritonight: 推 03/28 21:57
44F：推 Radler: 推 03/28 21:58
45F：推 ricknfts: 跪着推 03/28 22:42
46F：推 jbwwwopa: 朝圣 03/29 21:43
47F：推 liualt: 推田神 ! 03/30 11:38
48F：推 musicmilif: >//////< 03/30 11:50
49F：推 vvind: 推 03/31 21:21
50F：推 mcps5601: 朝圣田神>//< 04/01 10:53
51F：→ HYDE1986: 朝圣 04/03 19:16
52F：推 w181496: 朝圣 04/12 16:06