作者wang19980531 (中立评论员)
看板DataScience
标题[讨论] BatchNorm vs InstanceNorm
时间Fri Nov 13 01:10:25 2020
MoCo论文当中 有提到BN 可能会藉由计算batch分布 以快速达到很好的训练效果 而非真正
从资料特徵来学习
我把ResNet18每个bn换成instance norm
结果训练的loss确实有逐步下降，
但evaluation的结果显示很震荡
想知道这样直接换 是合理的吗
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 101.10.31.131 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1605201027.A.ECF.html
1F：推 min86615: 如果要做style transfer 是合理的，若是分类问题则不建 11/13 17:37
2F：→ min86615: 议，分类因记忆体限制建议使用GN，说明网路上查都有就不 11/13 17:37
3F：→ min86615: 献丑了 11/13 17:37
4F：→ wang19980531: 我用GN测试 效果也太好了吧 谢谢你 11/14 15:17
5F：→ wang19980531: 对了像我要改一个既有的网络框架 像是Resnet18 11/14 15:17
6F：→ wang19980531: 除了一行一行改之外，有没有其他办法 11/14 15:17
7F：推 jameschiou: 一般是回圈的方式建resnet 应该不用单行单行改 11/16 20:53
9F：推 janus7799: 如果是Tensoflow，1.x版可以建好静态图再抽换，2.x版可 11/23 14:24
10F：→ janus7799: 以用clone_model的clone_function直接把layer换掉。其 11/23 14:24
11F：→ janus7799: 他框架应该也能做到，毕竟BN或LN都是简单的sequential 11/23 14:24
12F：→ janus7799: 连结。 11/23 14:24