作者acctouhou (acctouhou)
看板DataScience
標題[討論] Dense layer 的特性
時間Sun Dec 13 21:43:25 2020
最近在研究Similarity of Neural Network Representations Revisited，主要是通過比
較layers的output是否正交，用以確定每個layer使否確實都有作用。
讀完以後我想說是否權重也存在方法可以得出哪個network學習的比較出色之類，所以我
想先從dense layer出發，想說他的weight是否有存在一些假設，例如訓練完後權重仍接
近均勻分布是否有對應的性質之類的?
在網路上搜尋一圈好像沒看到再講這一塊比較基礎的，想請問各位是否有相關資訊。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.137.147.127 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1607867007.A.B65.html
1F：推 wtchen: regularization?12/14 00:00
有點沒get到這跟正則有甚麼關係
2F：推 goldflower: 應該沒啥假設吧 大多用orthogonal initialization加12/14 17:41
3F：→ goldflower: 上loss constraint去達成你想要的正交效果 但我有用12/14 17:41
4F：→ goldflower: 的都是去要求layer內的weight正交 output間正交或許12/14 17:41
5F：→ goldflower: 可以參考看看orthogonal low rank embedding這篇？12/14 17:41
理想的output是正交，但是weight也適用的文章我還沒看過。 當前dense layer的大多預
設是採用uniform distribution，然後train好後大部分都會變成高斯分佈，主要是卡在
這個分佈的轉換有沒有相關的研究。像你提到的ole就透過修改loss迫使網路呈現出這特
定性質。
6F：推 wtchen: 若你是用NN做迴歸，想看各輸入參數(x1, x2, ...)是否正交12/14 20:34
7F：→ wtchen: 那你應該是在做NN前就該確定了12/14 20:35
8F：→ wtchen: 把X形成的矩陣做特徵分解不就行了？12/14 20:36
不是討論feature的問題，而是單純討論information在layer之間傳遞的變化。
9F：推 goldflower: 跟輸入正交沒啥關係12/15 09:52
起因是我發現有些Network在well-train後weight仍是uniform，這個現象我認為有點反常
，畢竟normal比較符合少數資訊決定結果的假設。
※ 編輯: acctouhou (42.72.241.212 臺灣), 12/15/2020 17:28:28
10F：推 yiefaung: over-parameterization的話很正常吧 不然哪來這麼多prun 12/16 17:45
11F：→ yiefaung: ing空間 12/16 17:45
12F：→ yiefaung: regularization可以看作是對weight分佈的假設 可以跟MLE 12/16 17:49
13F：→ yiefaung: MAP等關鍵字一起搜索看看 12/16 17:49