作者Rprogramming (Matlab是盤子在用的)
看板DataScience
標題[問題] 請問CNN網路的dropout問題
時間Thu Apr 19 02:38:11 2018
問題類別:(ex：ML,SVM,RL,DL,RNN,CNN,NLP,BD,Vis,etc...)
CNN
問題內容:
想請問在CNN類別的架構中
就是前面convolution層接個幾層 然後後面接DNN接個幾層
這種架構下
如果要dropout來避免overfitting
應該是在DNN層做dropout比較好
還是CNN層做dropout比較好?
我自己嘗試了半天
實在是沒有甚麼好結論
請教各位前輩能否給點建議
謝謝了
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 119.14.42.199
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1524076693.A.64A.html
1F：推 EGsux: VGG我印象都有加 只是這兩年的paper大家有用 batch norm/gr 04/19 04:33
2F：→ EGsux: oup norm的大多都沒在用 dropout了 04/19 04:33
謝謝，我會去找VGG來看，想再請問batch normalization跟dropout會互相衝突嗎?
因為就我理解,dropout是處理overfitting, 而batch normalization是處理train不起來
兩者的應用應該是不一樣的?
3F：推 AmibaGelos: 最後一次bn/gn後面幾層可加(通常是fc) 但效果可忽略 04/19 07:44
謝謝，我自己是覺得加在FC比較合理，因為感覺靠近output比較快收斂不動,應該用
dropout來讓其收斂更好
※ 編輯: Rprogramming (119.14.42.199), 04/20/2018 01:44:30
4F：推 EGsux: 印象中單純是不加accuracy較好 個人做還是有加啦 你也不 04/20 06:29
5F：→ EGsux: 用一個一個model去試 先看一下 這幾年流行的CNN再拿來改 04/20 06:29
6F：推 AmibaGelos: dropout隨機砍會讓bn無法正規化性能下降 最近有篇有 04/20 07:32
7F：→ AmibaGelos: 解但相較於純bn只是補回損失 建議先觀望後續發展 04/20 07:32