作者tigerbojo (強哥)
看板DataScience
標題[問題] 類神經網路權重設定
時間Tue Mar 26 17:12:27 2019
作業系統: Win10
問題類別: ANN
使用工具: MATLAB
問題內容:
自己在利用MATLAB工具箱做ANN模擬分類時， 參考書籍有提到權重值不應該無限制，
建議是設定在 [-2.4/Fi,2.4/Fi]區間內，對於這個2.4的值覺得很好奇是怎麼訂出來的?
網路上查不到相關資料、查了文獻說出處是在 Philip D. Wasserman的
Neural computing:theory and practice(1989)書中，但翻閱整本書也沒有找到，
想說上來請教各位先進，是否可以指引出處或是教導小弟怎麼推導這個值?
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.9.35.68
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1553591567.A.1A2.html
※ 編輯: tigerbojo (101.9.35.68), 03/26/2019 17:13:29
1F：推 st1009: 依照經驗這個值應該是試出來的，現在NN感覺真的很沒有規範 03/26 20:40
2F：→ Mchord: 經驗法則 03/26 22:12
3F：推 sma1033: 有規範啊，只是都嘛結果導向，誰結果好誰就是規範 03/27 13:14
4F：→ sxy67230: 試出來的，不過一般來說，我們期望初始權重最好mean接 03/27 13:17
5F：→ sxy67230: 近或是等於0，var不要太大，大部分會試驗的方向就是用 03/27 13:17
6F：→ sxy67230: 高斯隨機或是均勻分佈隨機出來，剩下的就是試試看大概會 03/27 13:17
7F：→ sxy67230: 到哪裡，cost會比較好。就像為什麼cnn大部分初始會推薦 03/27 13:17
8F：→ sxy67230: 人家無腦使用xavier一樣，就是經驗法則。不過你也可以 03/27 13:17
9F：→ sxy67230: 試試看其他的方式初始權重，也許有驚喜 03/27 13:17
10F：→ tigerbojo: 感謝各位先進的回覆，小弟知道了!感恩!!! 03/27 17:30
11F：→ followwar: xavier init人家是有數學證明的...哪有經驗法則.. 03/31 09:45
12F：推 sxy67230: 我說的是上面那個2.4是試出來的，Xavier 我當然知道是 04/01 10:38
13F：→ sxy67230: 推導出來的，我要舉的例子是選擇Xavier 還是你想用Gauss 04/01 10:39
14F：→ sxy67230: ian init是經驗法則，沒有說Xavier就一定比截斷Gaussian 04/01 10:39
15F：→ sxy67230: 好的道理，哪種初始方式好要看你的網路架構 04/01 10:39
16F：推 sma1033: 本來用哪種init方式就跟資料的分布有相關，哪有數學能夠 04/01 10:56
17F：→ sma1033: 證明某一種init方式在所有狀況都一定能適用 04/01 10:57
18F：→ sma1033: 都嘛是看資料長什麼樣子，再見招拆招 04/01 10:58
19F：→ sma1033: 所以說是「試出來的」也完全不為過... 04/01 10:59
20F：推 thefattiger: DL相關的證明通常都對data做了很多假設 04/01 12:44
21F：→ thefattiger: 所以是經驗法則沒錯 04/01 12:45