作者ruthertw (督人无数就是我)
看板DataScience
标题[讨论] 练习backpropagation产生疑惑(附图)
时间Sat Aug 3 22:37:59 2019
- 讨论: 当你自己已经有答案，但是也想听听版友意见时。
练习简单的backpropagation:
dataset只是个很小的多维矩阵.
sigmoid function
syn0 and syn1: synapse matrices for weights
L1:first layer
L1_error, L2_error: backpropagation of errors - the chain rule.
L1_delta, L1_delta:error rate of prediction on each iteraterations
L2:second layer
iteraterations: 600 6000 60000
以下皆取mean值:
600:
https://reurl.cc/xnEMb
6000:
https://reurl.cc/LR7ke
60000:
https://reurl.cc/NVZ7e
1.
最终结果是正确的 - calculate the gradient
但是mean值在iteraterations:
0~20区间
180~250区间
会有奇怪的震荡和转折,
不知道怎麽说明解释.
2.
L1_delta, L2_delta差异极大,
要怎麽说明其正确性.
3.
整体最终是正确,
但个别区间和折线看上去不太正常,
应该怎麽理解?
会是因为dataset太小的关系吗?
谢谢~
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 111.71.213.235 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1564843081.A.86C.html
※ 编辑: ruthertw (111.71.213.235 台湾), 08/03/2019 22:48:43
1F：推 yoyololicon: 我觉得正常欸 之前自己写BP的经验也是到中间会乱震 08/03 23:42
2F：→ yoyololicon: 一下，但还是会收敛 08/03 23:42
3F：推 sxy67230: 假设不考虑程式错误，会产生震荡是因为你的梯度下降收 08/04 10:23
4F：→ sxy67230: 敛一直在local optimum来回摆荡，通常这种细微震荡都会 08/04 10:23
5F：→ sxy67230: 因为你的learning rate可以跳出去，可以试着加入momentu 08/04 10:23
6F：→ sxy67230: m 项次改善震荡的情形 08/04 10:23