作者PyTorch (PY火炬)
看板DataScience
标题Re: [徵文] Self-Normalizing Neural Networks
时间Wed Sep 19 10:03:52 2018
弱弱问一下，
selu可以搭配batch normalization吗?
我试了一下结果有点诡异，
不太确定是我code写错还是selu不能加BN?
再顺便确认下selu放在residual networks是可以的吗?
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 111.71.105.53
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1537322634.A.032.html
1F：推 thefattiger: 1.可以是可以,但为什麽要？09/19 11:44
train到一段时间後，前面的layer gradient vanish了，想加BN看能不能改善
刚刚我仔细检查两者发现selu要求initialization是Xavier
可是BN的initialization好像是variance固定是1,
好像互相冲突了，
不知道我结果怪是不是这原因
2F：→ thefattiger: 2.我没试过,但这两个概念应该没有冲突 09/19 11:44
※ 编辑: PyTorch (114.136.227.153), 09/19/2018 14:39:40
3F：→ PyTorch: 谢谢楼上回答 09/19 14:40