作者PyTorch (PY火炬)
看板DataScience
標題Re: [徵文] Self-Normalizing Neural Networks
時間Wed Sep 19 10:03:52 2018
弱弱問一下，
selu可以搭配batch normalization嗎?
我試了一下結果有點詭異，
不太確定是我code寫錯還是selu不能加BN?
再順便確認下selu放在residual networks是可以的嗎?
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.71.105.53
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1537322634.A.032.html
1F：推 thefattiger: 1.可以是可以,但為什麼要？09/19 11:44
train到一段時間後，前面的layer gradient vanish了，想加BN看能不能改善
剛剛我仔細檢查兩者發現selu要求initialization是Xavier
可是BN的initialization好像是variance固定是1,
好像互相衝突了，
不知道我結果怪是不是這原因
2F：→ thefattiger: 2.我沒試過,但這兩個概念應該沒有衝突 09/19 11:44
※ 編輯: PyTorch (114.136.227.153), 09/19/2018 14:39:40
3F：→ PyTorch: 謝謝樓上回答 09/19 14:40