作者lunashining (asdfgh)
看板DataScience
標題[問題] batchsize 怎麼調?
時間Tue May 1 01:35:33 2018
問題類別:(ex：ML,SVM,RL,DL,RNN,CNN,NLP,BD,Vis,etc...)
CNN
問題內容:
最近看到一篇group normalization
說是batchsize小的時候會比batch normalization error rate小
但是看他圖畫的都是小於32以下
想到以前經驗都是增加 batchsize來快一點
想問什麼時候會要將 batchsize調小? 什麼時候要調大?
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.112.25.217
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1525109735.A.3EB.html
1F：→ chchan1111: 可以去看李弘毅老師的這個課程中Gradient Descent 05/01 02:11
2F：→ chchan1111: 的部分，裡面對batch size的概念說明的蠻清楚的 05/01 02:12
3F：→ chchan1111: 補充 Machine Learning的課程 05/01 02:12
4F：→ TOEFLiBT100: 決的train acc有上升但太慢=>加大batch size 05/01 02:58
5F：→ TOEFLiBT100: 發現train acc卡住=>減小batch size 05/01 02:59
6F：→ TOEFLiBT100: 我昰這樣做的 05/01 02:59
7F：→ ykjiang: 我想跟餵的資料也有關，如資料都類似，batchsize可小些 05/01 13:17
8F：→ AmibaGelos: BN雖然好用但BP時所有FP資料都得要存在同一個GPU上 05/01 14:40
9F：→ AmibaGelos: 模型太大的話根本做不到,GN可以讓模型大小繼續變大的 05/01 14:42
10F：→ AmibaGelos: 同時繼續享受BN帶來的好處 batch大小其實跟BN彼此可以 05/01 14:42
11F：→ AmibaGelos: 互相獨立的,可以開1024的batch拆成8組丟到8顆GPU上各 05/01 14:43
12F：→ AmibaGelos: 自做BN 05/01 14:43