: 推 youmehim: L1, L2 regularization跟引入noise的关系该怎麽理解? 12/02 15:26 : → youmehim: 我的理解是 regularization可以使得学习的机制分散在各 12/02 15:28 : → youmehim: neuron 不会押宝特定neuron 所以不容易被noise影响 12/02 15:29 不敢说自己的理解完全正确,就单纯地分享一下想法. 其实在loss function引入L1,L2,或各种regularization可以看成是对模型的参数假设 了某种先验分布. 对神经网路中的某一层添加L1,可以看成对该层的参数做了Lapalce分 布的先验,而添加L2,可以看成是做了Gaussian分布的假设. 这些推导都很容易找到,就 不多说了. 这意味着当我在训练模型时,在最极端的情况,如果我们使用GD做训练,优化的路径应该是 没有随机性的,一路奔向邻近的local min. 然而因为加上了正规化,所以当参数偏离了我 的先验分布时,就会得到一个penality cost. 所以我们重新把这个N维空间的loss曲面 画出来就会发现原本奔向local min的路径现在因为这个penality cost变得充满了微小 起伏. 但如果网路参数的修正只由输出的结果决定,纵然有penality,这个loss function 的曲面的长相在每一次迭代中应该是固定的,仍然谈不上噪音.而现在网路中的参数跑 进了loss中,而这些参数本身又是要被BP算法给修正的,所以每一次 迭代後,曲面上的的那些因为正规化导致的起伏都跟上一次长的不同了,因为 参数被修正了,而那些新的参数决定了新的loss function长怎样.所以原本通往local min的道路在GD下应该是确定的,唯一的,现在每一次神经网路的参数修正完後,都给了 你一个长得不太一样的loss,有着不同的微小起伏.这就相当於在通往local min的道 路上引入了噪音,又变得充满随机性了. 以上是从正规化联系到噪音的观点. 但其实我们也可以从噪音联系到正规化. 从数学看,当我们在训练过程中,对每个输入都加上一个噪音,x -> x + x',假设x'是个 微小的量,原本的从输入到输出的映射关系就会从y = f(x)变成了 y= f(x+x'),因为x' 是个小量,我们总是可以对f做泰勒展开,表示成x'的幂次,考虑到噪音本身的平均值是0, 你把这些关系写下来,代回去常见的loss function,例如MSE中,你也会发现噪音的效果 就相当於在loss function上引入了一个正规化项,这个项的大小就取决於噪音的方差 具体的形式则与噪音的表达式有关,但理论上各种正规化大致上都可以看成是对噪音的 分布做了一种先验的假设. (类似文献其实满多的,你可以看看这篇 https://goo.gl/eRta2D 内容相对简单) 所以regularization虽然不像dropout, SGD这样明目张胆的引入噪音,但本质上(至少 我的理解),各种regularization都可以看做是在训练过程中引入了某种噪音,而各种 噪音也都可以看成是引入了某种regularization. (注意,我的理解是,把要被BP修正的参数丢进loss才可称为一种正规化,不是随便一个 loss我们都可以称作引入了正规化) 所以除了L1,L2之外,还有很多各式各样基於讯息熵的正规化被提出来,大致上我也都 觉得可以跟噪音产生关连. 其他有助於提升优化的方法,例如batch normalization,其出发点是为了解决internal covariate shift的问题,但在实现的过程中,因为均值跟方差都是根据mini batch算出 来的,而每个mini batch又是随机选出来的,换言之这些均值跟方差的参数也变得带有 随机性了. 虽然这不是BN想要的,但BN也还是引入了随机性. 另外一些BN的变体,例如layer normalization, weight normalization等等,其实都有 类似的行为. 所以在训练中用各种方式引入各式各样的噪音似乎是走向泛化的必要之恶. 不过这也是可理解的,我们面对的问题是,数据本身就存在了噪音,为了避免模型去迎合 数据上的噪音,我们用其他可控制的,无偏好的噪音去掩盖掉那些数据上自身的噪音,似 乎是个可想像的选择. 不过当然啦,这只是自己的一点想法,是对是错还有待各位自己检验了. --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 67.161.8.79 ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1543744957.A.E22.html ※ 编辑: pipidog (67.161.8.79), 12/02/2018 18:40:42