作者Bondrewd (The Novel)
看板DataScience
标题[问题] 请教关於Stochastic gradient descent
时间Tue Apr 3 23:54:53 2018
请教关於stochastic gradient descent
是不是batch size设越大越好？ (只要在计算量 , 记忆体可负荷下）？
我有时候mini-batch SGD train的起来
有时候train不起来
我在猜是不是因为我batch size设太小的原因？
还是有可能是iteration (epoch) 次数不够才会造成这种情况呢？
我还是新手 有google过资料 但还是不太明白这种有时候train的起来(accuration有上来
有时候train不起来 (acc上不来）
的现象的原因
先谢谢各位前辈了
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 36.238.128.32
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1522770899.A.E47.html
1F：推 lucien0410: mini batch size 会影响acc 04/04 00:11
谢谢你的回覆
请问是batch size越大越好吗？ 我尝试过把batch size加大
仍会有这种有时候train得起来 有时候train不起来的情况
※ 编辑: Bondrewd (36.238.128.32), 04/04/2018 00:14:21
2F：推 lucien0410: 我的实验 batch size128的时候 表现极差 但换成64後 04/04 00:14
3F：→ lucien0410: 表现好超多 04/04 00:14
你的例子是batch size比较小比较好？
我以为batch size 越小越不容易收敛？ random的成分越大？
是我误会了吗？
4F：推 lucien0410: 我是新手小孬孬 很可能讲错 我说看看我的理解 你再跟 04/04 00:20
5F：→ lucien0410: 别人的说法交互比较 04/04 00:20
别这麽说 , 大家都是互相讨论求进步 我也是新手 谢谢你愿意分享
※ 编辑: Bondrewd (36.238.128.32), 04/04/2018 00:24:56
6F：推 lucien0410: batch size n 就是一口气抓n个样本 然後根据这n个样 04/04 00:24
7F：→ lucien0410: 本调参数 让参数最适合这组样本 04/04 00:24
对, 所以如果n越小 那n个样本就比较难代表整体, 我想是这样？
8F：推 hl4: batchsize越小随机的成分越大，适当的随机性质可以让model不 04/04 00:27
9F：→ hl4: 容易困在平缓的地区，让整体收敛速度快一点。印象中是这样， 04/04 00:27
10F：→ hl4: 有错麻烦纠正一下XD 04/04 00:27
h大的想法跟我的一样（握手
※ 编辑: Bondrewd (36.238.128.32), 04/04/2018 00:30:14
11F：推 lucien0410: 感觉就像图片的画素一样 大batch =低画素 04/04 00:30
12F：推 lucien0410: 所以n越大 越像母体 但牺牲掉随机性质 04/04 00:38
13F：推 lucien0410: 但我们想要 像母体 又有适当的随机性质 两个相斥的愿 04/04 00:40
14F：→ lucien0410: 望 04/04 00:40
15F：推 lucien0410: 有一招oversample 你可以试试 04/04 00:42
16F：推 lucien0410: 就是暴力的把所有样本重复 我的实验oversampling 後 04/04 00:45
17F：→ lucien0410: 模组的表现也提高很多 04/04 00:45
感谢l大的撇步分享！ 我试试看
※ 编辑: Bondrewd (36.238.128.32), 04/04/2018 00:53:03
18F：推 sean50301: batch size 设小一点可以避掉local minima trap 04/04 02:43
20F：→ followwar: 这篇有说一下batch size 04/04 02:59
21F：推 lucien0410: 推f大的好文分享 04/04 03:11
22F：推 hl4: 喔喔 好文好文 04/04 04:10
24F：→ lucien0410: 白话文图解backpropagation 和stochastic gradient 04/04 11:37
25F：→ lucien0410: descent 推荐给入门的版友 (可是是英文讲解) 04/04 11:38
26F：→ ssd860505da: 不同的问题适合不一样的batch size大小 04/05 02:00
27F：推 geminitw: 你有在每个epoch 重新随机重排你的batch 吗? 04/05 07:07
28F：→ Bondrewd: 有 04/05 13:44