作者clansoda (小笨)
看板DataScience
标题Re: [问题] 深度学习实践问题
时间Tue Nov 13 06:13:34 2018
各位前辈好，我蒐罗了各位的建议之後对learning rate做了调整
确实就是learning rate太大，导致没办法学习的问题
我也对我的code做了修改，避免使用vectorize
想请问为什麽层数太低不能用relu呢
还有为什麽weights initialization要用N(0, 0.01)呢?
我现在还有一个新问题是我发现我的squred error会随着hidden layer nodes
越多，他的error就越大。随着我一直把node的数量减低，我发现降到一的时候
，error的值是最低的，请问这种情况象徵什麽问题呢?
这是我的training set跟training label
https://goo.gl/GRUrS8
https://goo.gl/auz1xt
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 128.153.164.187
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1542060819.A.611.html
※ 编辑: clansoda (128.153.164.187), 11/13/2018 06:20:51
1F：推 st1009: 权重应该是担心随机分布选择不当吧，这会让你每次实验结果 11/13 11:55
2F：→ st1009: 不稳定，可能gradient太小之类的，我是用Xavier initializ 11/13 11:57
3F：推 yoyololicon: 因为relu有一半的部份gradient是0 11/13 12:05
4F：→ yoyololicon: 如果 1) model不够复杂，例如只有一层 2) 资料不够多 11/13 12:06
5F：→ yoyololicon: 多样性不足 3) learning rate太大，例如你的0.5 11/13 12:07
6F：→ yoyololicon: 如果不小心让hidden layer都输出0，gradient就无法传 11/13 12:07
7F：→ yoyololicon: 递回去，然後model就卡住惹 11/13 12:08
8F：→ yoyololicon: 这是我之前自己写back propagation的经验喇 11/13 12:09
9F：→ yoyololicon: 当然用relu也不是不可能，只是weight initialize要做 11/13 12:10
10F：→ yoyololicon: 好，然後用很小的learning rate避免冲过头 11/13 12:10