作者clansoda (小笨)
看板DataScience
标题[问题] 深度学习实践问题
时间Sat Nov 10 12:07:32 2018
各位资料科学的先进好，我目前正在学校里面学习深度学习相关的知识
目前是想自己写出一个简单的MLP来检验自己的学习
运用的架构是一层input layer，一层的hidden layer
最後一层是只有一个node的output layer
hidden layer的activation function是relu
output lyayer的activation function是sigmoid
除了output layer之外都有bias
跑起来程式上没有问题，我的问题在於error收敛的很慢
error虽然一直往0在下降，但是幅度低的让人难以接受
就我所知learning rate大概就是0.1 ~ 0.3这样的值
因为这只是简单的实践，所以没有使用learning rate decay的技巧
我已经将learning rate设为0.5了，error下降的速度还是很难让人接受
想请问我的写法是不是有哪边错了才导致这样的结果呢?
这是我的code，最下面附上100个epoch训练的error结果
https://pastebin.com/CTz4AkN5
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 108.12.49.245
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1541822859.A.5BF.html
1F：推 st1009: 学习率过大容易超过的说，我都设0.00001之类的，epoch 2w 11/10 12:26
2F：推 EGsux: 能说一下你的lable 跟dataset吗？ 11/10 12:29
3F：推 Kazimir: 你需要调整权重的初始值 一般会用N(0,0.01) 11/10 13:57
4F：→ Kazimir: 如果还是有问题在调整LR到0.01 11/10 13:57
5F：→ yoyololicon: learning rate太大+1 11/10 13:58
6F：→ yoyololicon: 别用vectorize, numpy好好的broadcasting特性为何不 11/10 14:03
7F：→ yoyololicon: 用(扶额 11/10 14:03
8F：→ yoyololicon: 然後hidden layer的activation换别的看看(非relu类 11/10 14:06
9F：→ yoyololicon: 的)，这麽浅用relu可能会GG 11/10 14:06
10F：推 bessgaga: 一层隐藏层的效能本来就不好了吧，我觉得很快收敛是意 11/10 15:29
11F：→ bessgaga: 料之中耶 11/10 15:29
13F：→ EGsux: e/master/01_mysteries_of_neural_networks/03_numpy_neu 11/10 15:51
14F：→ EGsux: ral_net 11/10 15:51
15F：推 yiefaung: 把每一层output印出来看看符不符合你的预期 11/10 17:34
16F：→ yiefaung: 通常印出来就知道问题出在哪 不用乱试 11/10 17:34
17F：推 Sfly: 你对learning rate的认知是错的 11/18 14:52