作者acctouhou (acctouhou)
看板DataScience
标题[讨论] Dense layer 的特性
时间Sun Dec 13 21:43:25 2020
最近在研究Similarity of Neural Network Representations Revisited，主要是通过比
较layers的output是否正交，用以确定每个layer使否确实都有作用。
读完以後我想说是否权重也存在方法可以得出哪个network学习的比较出色之类，所以我
想先从dense layer出发，想说他的weight是否有存在一些假设，例如训练完後权重仍接
近均匀分布是否有对应的性质之类的?
在网路上搜寻一圈好像没看到再讲这一块比较基础的，想请问各位是否有相关资讯。
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.137.147.127 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1607867007.A.B65.html
1F：推 wtchen: regularization?12/14 00:00
有点没get到这跟正则有甚麽关系
2F：推 goldflower: 应该没啥假设吧 大多用orthogonal initialization加12/14 17:41
3F：→ goldflower: 上loss constraint去达成你想要的正交效果 但我有用12/14 17:41
4F：→ goldflower: 的都是去要求layer内的weight正交 output间正交或许12/14 17:41
5F：→ goldflower: 可以参考看看orthogonal low rank embedding这篇？12/14 17:41
理想的output是正交，但是weight也适用的文章我还没看过。 当前dense layer的大多预
设是采用uniform distribution，然後train好後大部分都会变成高斯分布，主要是卡在
这个分布的转换有没有相关的研究。像你提到的ole就透过修改loss迫使网路呈现出这特
定性质。
6F：推 wtchen: 若你是用NN做回归，想看各输入参数(x1, x2, ...)是否正交12/14 20:34
7F：→ wtchen: 那你应该是在做NN前就该确定了12/14 20:35
8F：→ wtchen: 把X形成的矩阵做特徵分解不就行了？12/14 20:36
不是讨论feature的问题，而是单纯讨论information在layer之间传递的变化。
9F：推 goldflower: 跟输入正交没啥关系12/15 09:52
起因是我发现有些Network在well-train後weight仍是uniform，这个现象我认为有点反常
，毕竟normal比较符合少数资讯决定结果的假设。
※ 编辑: acctouhou (42.72.241.212 台湾), 12/15/2020 17:28:28
10F：推 yiefaung: over-parameterization的话很正常吧 不然哪来这麽多prun 12/16 17:45
11F：→ yiefaung: ing空间 12/16 17:45
12F：→ yiefaung: regularization可以看作是对weight分布的假设 可以跟MLE 12/16 17:49
13F：→ yiefaung: MAP等关键字一起搜索看看 12/16 17:49