作者bokxko1023 (bokxko1023)
看板DataScience
标题Rnn使用batch/layer normalization
时间Fri Apr 27 17:56:51 2018
大家好，我最近用tensorflow做RNN，时间序列资料的预测时，想要加入batch normaliza
tion，但又在网路上看到有些观点是RNN不适合使用BN，不知道大家的看法是什麽呢？
至於在做batch normalization时，是应该在input之後马上做吗？如果想要放在rnn cell
的水平方向或是垂直方向，要怎麽写呢？
另外发现tensorflow有做好的layer normalization，但是只有lstm的(tf.contrib.rnn.L
ayerNormBasicLSTMCell)，如果我没有要用lstm，而是要用gru或是一般的rnn的话应该要
怎麽写呢？
感谢各位!
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 140.113.136.219
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1524823014.A.BD5.html
1F：→ bibo9901: 我记得有几篇文章都表示RNN+BN只会疯狂overfit 05/10 08:41