作者KirimaSyaro (心怀感谢不以物喜不以己)
看板DataScience
标题[问题] 关於neural network某层加gaus noise的
时间Wed Dec 11 08:08:44 2019
很多paper (尤其是GAN相关）
都有在ＮＮ某层加noise的情况
这个在数学上的意义是什麽？
我可以理解说 这是要对generator产生的结果更有乱数性
不过实际上在做gradient descent进行back propagation时
这项noise存在在计算gradient中吧？
例如最简单的MSE loss来看 算gradient时 2*(X-X')*(...)
如果加了gaussian noise N在最後一层
2*(X+N- X') *(....)
会影响反向传播 等於是在做gradient descent时 会有一定机率是乱走的分量
而这乱走的gradient就是加noise贡献的
同理 若是加在中间层也会有这样的情况 (因为chain rule)
就我理解是 他在做gradient descent的optimization是让他走到
一个不容易跳开的平坦低点 这样就算加noise还是最佳的
大家若有觉得更好的数学意义 还请各位不吝分享
谢谢
--
:I clean the house and wash the bathroom and toilet and make the cake for my
roommate. The ones she allows I might be capable of doing.
:And do you go out with friends?
:Well, a boy's best friend is his roommate.
<No Angels>
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 140.112.16.173 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1576022931.A.97A.html
1F：→ hsnuyi: Dither? 12/11 15:27
2F：推 BrowningZen: 因为是gaussian, 平均做够多次还是会互消converge 12/11 16:57
3F：推 abc53: 假如input没noise 会是one to one的mapping 12/12 02:15
6F：推 abc53: conditional gan 想得到one to many的mapping 所以需要nois 12/12 02:22
7F：→ abc53: e 不确定是不是你想要的答案XD 12/12 02:22
9F：→ patrick2dot0: 这不知道是不是你要的答案 12/15 01:25
10F：→ KirimaSyaro: 谢谢楼上诸位 12/18 21:45