作者lunashining (asdfgh)
看板DataScience
标题[问题] batchsize 怎麽调?
时间Tue May 1 01:35:33 2018
问题类别:(ex：ML,SVM,RL,DL,RNN,CNN,NLP,BD,Vis,etc...)
CNN
问题内容:
最近看到一篇group normalization
说是batchsize小的时候会比batch normalization error rate小
但是看他图画的都是小於32以下
想到以前经验都是增加 batchsize来快一点
想问什麽时候会要将 batchsize调小? 什麽时候要调大?
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 140.112.25.217
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1525109735.A.3EB.html
1F：→ chchan1111: 可以去看李弘毅老师的这个课程中Gradient Descent 05/01 02:11
2F：→ chchan1111: 的部分，里面对batch size的概念说明的蛮清楚的 05/01 02:12
3F：→ chchan1111: 补充 Machine Learning的课程 05/01 02:12
4F：→ TOEFLiBT100: 决的train acc有上升但太慢=>加大batch size 05/01 02:58
5F：→ TOEFLiBT100: 发现train acc卡住=>减小batch size 05/01 02:59
6F：→ TOEFLiBT100: 我昰这样做的 05/01 02:59
7F：→ ykjiang: 我想跟喂的资料也有关，如资料都类似，batchsize可小些 05/01 13:17
8F：→ AmibaGelos: BN虽然好用但BP时所有FP资料都得要存在同一个GPU上 05/01 14:40
9F：→ AmibaGelos: 模型太大的话根本做不到,GN可以让模型大小继续变大的 05/01 14:42
10F：→ AmibaGelos: 同时继续享受BN带来的好处 batch大小其实跟BN彼此可以 05/01 14:42
11F：→ AmibaGelos: 互相独立的,可以开1024的batch拆成8组丢到8颗GPU上各 05/01 14:43
12F：→ AmibaGelos: 自做BN 05/01 14:43