作者Activation ('selu')
看板DataScience
标题[问题] batch size过大时，为什麽容易overfittin
时间Wed Aug 29 11:38:36 2018
如题
为什麽batch size过大时即使没有卡在saddle point
仍比小batch size容易overfitting?
有没有科学的解释?
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 223.140.75.126
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1535513919.A.2C6.html
1F：推 OnePiecePR: 我以为 batch size 小，因为train得快，所有反而会提 08/29 13:02
2F：→ OnePiecePR: 早 overfitting 也许我错了，期待各位神人解惑 08/29 13:02
3F：→ Activation: batch size小，random的成分比较大，反而会在外面绕圈 08/29 13:39
4F：→ Activation: 圈，不必然收敛快吧 08/29 13:39
5F：→ cc9i: 哪里有这说法 batch大小通常只是因为记忆体不够才要特别调 08/29 15:41
6F：推 cc9i: 这边的size过大是什麽意思 例如占整体50%吗? 08/29 15:43
7F：推 OnePiecePR: mini batch 的极致算是一个sample 做一次Gradient Dec 08/29 16:36
8F：→ OnePiecePR: ent，虽然每一步都是Randomly , 但是效果比标准GD好， 08/29 16:36
9F：→ OnePiecePR: 自己参考SGD。 08/29 16:36
10F：推 OnePiecePR: 一个模型太复杂，多训练下去，终究会overfitting, min 08/29 16:40
11F：→ OnePiecePR: i batch 比较早收敛所以也应该是比较早发生overfittin 08/29 16:40
12F：→ OnePiecePR: g 08/29 16:40
13F：推 OnePiecePR: mb 收敛这一块我是比较这麽认为，但是否mb 会容易 ove 08/29 16:48
14F：→ OnePiecePR: rfitting 我比较不确定 08/29 16:48
16F：→ OnePiecePR: 一致 08/29 16:59
17F：推 goldflower: 我想原po是想问更新一样多次数下而非经过相同epoch数 08/29 18:55
18F：→ red0210: 你应该先给这个说法的来源吧？ 08/30 03:02
19F：→ Activation: paper找一下应该有, 这方面的paper还蛮多的 08/30 14:15
20F：→ yiefaung: 那你怎麽不去看paper== 08/30 19:02
21F：→ galapous: 应该是 batch size 太大容易走到 local minimum 吧 08/31 13:03