作者Rprogramming (Matlab是盘子在用的)
看板DataScience
标题[问题] 请问CNN网路的dropout问题
时间Thu Apr 19 02:38:11 2018
问题类别:(ex：ML,SVM,RL,DL,RNN,CNN,NLP,BD,Vis,etc...)
CNN
问题内容:
想请问在CNN类别的架构中
就是前面convolution层接个几层 然後後面接DNN接个几层
这种架构下
如果要dropout来避免overfitting
应该是在DNN层做dropout比较好
还是CNN层做dropout比较好?
我自己尝试了半天
实在是没有甚麽好结论
请教各位前辈能否给点建议
谢谢了
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 119.14.42.199
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1524076693.A.64A.html
1F：推 EGsux: VGG我印象都有加 只是这两年的paper大家有用 batch norm/gr 04/19 04:33
2F：→ EGsux: oup norm的大多都没在用 dropout了 04/19 04:33
谢谢，我会去找VGG来看，想再请问batch normalization跟dropout会互相冲突吗?
因为就我理解,dropout是处理overfitting, 而batch normalization是处理train不起来
两者的应用应该是不一样的?
3F：推 AmibaGelos: 最後一次bn/gn後面几层可加(通常是fc) 但效果可忽略 04/19 07:44
谢谢，我自己是觉得加在FC比较合理，因为感觉靠近output比较快收敛不动,应该用
dropout来让其收敛更好
※ 编辑: Rprogramming (119.14.42.199), 04/20/2018 01:44:30
4F：推 EGsux: 印象中单纯是不加accuracy较好 个人做还是有加啦 你也不 04/20 06:29
5F：→ EGsux: 用一个一个model去试 先看一下 这几年流行的CNN再拿来改 04/20 06:29
6F：推 AmibaGelos: dropout随机砍会让bn无法正规化性能下降 最近有篇有 04/20 07:32
7F：→ AmibaGelos: 解但相较於纯bn只是补回损失 建议先观望後续发展 04/20 07:32