作者CharlieL (心平氣和)
看板DataScience
標題Re: [問題] Validation set 到底在做什麼?
時間Wed Mar 28 00:11:52 2018
這篇很早期的有關 CV 與 holdout (single validation) 的比較可以給大家參考。
http://robotics.stanford.edu/~ronnyk/accEst.pdf
而就我個人粗淺的觀點，高維度的機器學習固然是個困難的問題，
但 cross-validation 被統計學家發明出來的時候，可還沒有高維度的機器學習呢。:-)
所以把 cross-validation 講成是解決高維度中 train/validation 分割困難
的方式，也許有一些 human overfitting 的誤解。
我的看法是：cross-validation 是一種統計工具，用來協助我們估計模型的表現。
在模型的表現較不穩定的時候(可能因為維度、演算法、資料分佈等原因)，它
通常能用更多的計算量達成比 holdout 更穩定的估計。
另外一提的是：前文中所提到的 normalization/scaling 的技巧，在機器學習中
的確非常有用，但它們也不見得是為了解決高維度機器學習的困難而產生的。
我的淺見是，scaling 並不會讓 train/validation splitting 變得更容易或
更困難，因為大部份的 splitting 方法都只對 data 的 index 做 splitting，
而跟 data 的 numerical range 無關。有機會的話我再跟大家聊聊 scaling 為什麼
會有用，不過我想這不是這篇討論的重點。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.171.61.194
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1522167114.A.3A7.html
1F：推 syc0924: 大家好 打給後 03/28 00:31
2F：推 leoloveivy: wow 田神出來啦 大家麻煩排隊跪 03/28 00:35
3F：推 goldflower: 喔喔喔喔喔喔田神來啦~~~~~ 03/28 00:38
4F：推 howardwu: 推! <(_ _)> 03/28 00:40
5F：推 goldflower: 目前最常見的理由似乎是gradient based的方法有好處 03/28 00:45
6F：→ goldflower: 另一個就是算error比較不會炸掉 不知道還有什麼解釋@@ 03/28 00:46
7F：→ goldflower: 之前校園博覽會經過攤位 但是太廢了不敢投XD 03/28 00:46
8F：推 m3xup6: 臉書看到，朝聖推一下 03/28 00:55
9F：推 p23637100phi: 推田神心平氣和xd 03/28 00:55
10F：推 patrick2dot0: 推田神 03/28 00:57
11F：推 seasa2016: 朝聖XD 03/28 01:01
12F：推 empennage98: 推田神！ 03/28 01:06
13F：推 pipidog: 除重看了cv,確實覺得前文有些觀念不對了！得再好好想想 03/28 01:26
14F：推 skgg: 朝聖！ 03/28 01:35
15F：推 lucien0410: 朝聖！ 03/28 01:38
16F：推 tay2510: 朝聖推!!! 03/28 01:58
17F：推 liang1230: 推 上篇文看的頭好痛 03/28 02:15
18F：推 Rprogramming: \朝聖田神/ 03/28 02:53
19F：推 ACMANIAC: 推 03/28 03:03
20F：推 del680202: 朝聖推 03/28 07:41
21F：推 yuyusica: 朝聖推 m(_ _)m 03/28 08:07
22F：推 shaform: <(_ _)>!!!!! 03/28 08:17
23F：推 walkwall: 朝聖推 03/28 08:42
24F：推 st1009: 朝聖推！ 03/28 08:52
25F：推 jojojen: 朝聖!!! 03/28 09:03
26F：推 warex14: 朝聖！ 03/28 09:36
27F：推 a127000555: 推田神 03/28 10:07
28F：推 dragon31536: 朝聖推！ 03/28 10:12
29F：推 championship: 田神先拜 03/28 10:14
30F：推 ballislife: 田神 !! 03/28 10:33
31F：推 fatlizard: 朝聖推 03/28 11:01
32F：推 Plot3D: 有神快拜 03/28 12:10
33F：推 eatpupu: 膝蓋碎裂 03/28 12:58
34F：推 moonoftree: 跪了 03/28 13:27
35F：推 f0958425316: 朝聖推 03/28 13:30
36F：推 sunhextfn: 朝聖推 03/28 14:19
37F：推 kokolotl: ! 03/28 14:21
38F：推 mazz: 朝聖 03/28 14:57
39F：推 chadcooper: 推田神~~~~~~~~~~~~~~ 03/28 15:41
40F：推 wilson85771: 朝聖推 03/28 16:04
41F：推 normaldistr: 以跪 03/28 17:25
42F：推 chris810314: 朝聖～～～ 03/28 18:01
43F：推 tritonight: 推 03/28 21:57
44F：推 Radler: 推 03/28 21:58
45F：推 ricknfts: 跪著推 03/28 22:42
46F：推 jbwwwopa: 朝聖 03/29 21:43
47F：推 liualt: 推田神 ! 03/30 11:38
48F：推 musicmilif: >//////< 03/30 11:50
49F：推 vvind: 推 03/31 21:21
50F：推 mcps5601: 朝聖田神>//< 04/01 10:53
51F：→ HYDE1986: 朝聖 04/03 19:16
52F：推 w181496: 朝聖 04/12 16:06