作者tigerbojo (强哥)
看板DataScience
标题[问题] 类神经网路权重设定
时间Tue Mar 26 17:12:27 2019
作业系统: Win10
问题类别: ANN
使用工具: MATLAB
问题内容:
自己在利用MATLAB工具箱做ANN模拟分类时， 参考书籍有提到权重值不应该无限制，
建议是设定在 [-2.4/Fi,2.4/Fi]区间内，对於这个2.4的值觉得很好奇是怎麽订出来的?
网路上查不到相关资料、查了文献说出处是在 Philip D. Wasserman的
Neural computing:theory and practice(1989)书中，但翻阅整本书也没有找到，
想说上来请教各位先进，是否可以指引出处或是教导小弟怎麽推导这个值?
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 101.9.35.68
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1553591567.A.1A2.html
※ 编辑: tigerbojo (101.9.35.68), 03/26/2019 17:13:29
1F：推 st1009: 依照经验这个值应该是试出来的，现在NN感觉真的很没有规范 03/26 20:40
2F：→ Mchord: 经验法则 03/26 22:12
3F：推 sma1033: 有规范啊，只是都嘛结果导向，谁结果好谁就是规范 03/27 13:14
4F：→ sxy67230: 试出来的，不过一般来说，我们期望初始权重最好mean接 03/27 13:17
5F：→ sxy67230: 近或是等於0，var不要太大，大部分会试验的方向就是用 03/27 13:17
6F：→ sxy67230: 高斯随机或是均匀分布随机出来，剩下的就是试试看大概会 03/27 13:17
7F：→ sxy67230: 到哪里，cost会比较好。就像为什麽cnn大部分初始会推荐 03/27 13:17
8F：→ sxy67230: 人家无脑使用xavier一样，就是经验法则。不过你也可以 03/27 13:17
9F：→ sxy67230: 试试看其他的方式初始权重，也许有惊喜 03/27 13:17
10F：→ tigerbojo: 感谢各位先进的回覆，小弟知道了!感恩!!! 03/27 17:30
11F：→ followwar: xavier init人家是有数学证明的...哪有经验法则.. 03/31 09:45
12F：推 sxy67230: 我说的是上面那个2.4是试出来的，Xavier 我当然知道是 04/01 10:38
13F：→ sxy67230: 推导出来的，我要举的例子是选择Xavier 还是你想用Gauss 04/01 10:39
14F：→ sxy67230: ian init是经验法则，没有说Xavier就一定比截断Gaussian 04/01 10:39
15F：→ sxy67230: 好的道理，哪种初始方式好要看你的网路架构 04/01 10:39
16F：推 sma1033: 本来用哪种init方式就跟资料的分布有相关，哪有数学能够 04/01 10:56
17F：→ sma1033: 证明某一种init方式在所有状况都一定能适用 04/01 10:57
18F：→ sma1033: 都嘛是看资料长什麽样子，再见招拆招 04/01 10:58
19F：→ sma1033: 所以说是「试出来的」也完全不为过... 04/01 10:59
20F：推 thefattiger: DL相关的证明通常都对data做了很多假设 04/01 12:44
21F：→ thefattiger: 所以是经验法则没错 04/01 12:45