作者clansoda (小笨)
看板DataScience
标题[问题] Conv layer的bias项
时间Sat Feb 29 16:06:39 2020
不好意思又来打扰各位了
我目前正在用搭建几个经典模型来练习pytorch
我突然发现torchvision 他们自己的实践里头
所有的conv layer的bias 都设为False
就我自己念过GoogLeNet的paper 作者似乎没有提到这个想法
我也去找了Resnet的实践，他们一样都把conv layer的bias设为False
这是他们实践的网址
https://reurl.cc/9zdK78
我上网查了一下，有人用实验证明有没有bias项不影响准确度
也有人提到说当模型比较大的时候，bias项是可有可无的
这是我找到的reference
https://reurl.cc/drdMn2
那我的问题就是 什麽叫做模型比较大
是比较深还是参数的数量比较多呢
不知道各位在实践CNN系列的模型的时候也会设Bias项为False吗
除了减少参数的数量之外，有其他更显着的好处吗
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 73.189.185.80 (美国)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1582963602.A.87A.html
1F：推 st1009: 个人经验，较大指的是参数量 02/29 19:46
2F：→ truehero: 直观来说，bias增加拟合能力，宽或深的网路都会增加拟合 02/29 22:51
3F：→ truehero: 能力，bias自然就不重要了 02/29 22:51
4F：→ clansoda: 了解了，对我来说算是一个新理解 03/01 01:51
5F：推 banyhong: 後面接batchnorm时，bn会重设bias，所以conv bias多余 03/01 11:43
6F：推 HsieHsieH: 因为BatchNorn 03/01 14:59
7F：推 sxy67230: 楼上正解，主要的原因还是在深度模型都有使用batch norm 03/01 15:15
8F：→ sxy67230: alize，BatchNorm 会使mean values偏移，导致所有常数 03/01 15:15
9F：→ sxy67230: 项归零，所以说没有必要去设置bias。 03/01 15:15