作者sssh (叫我松高魂 ~~)
看板DataScience
标题[问题] Loss 大震荡的原因 ?
时间Mon Dec 16 02:09:50 2019
最近想用看看 Ranger optimizer
就用书上的一个比较简单的例子来试试看
资料使用的是 Kaggle 的猫狗辨识然後简单只使用猫狗前面各 2000 笔来做
( 1000笔 training 500笔 validation 500笔 testing )
利用简单的 CNN 作为 model
详细 code 如下
http://bit.ly/2PR5nSh
我的问题是,最後做出来的 Loss 震荡超级大,完全没有收敛的现象
但是在 accuracy 上表现还算正常
我尝试过调整 LR 到 0.000001 、也改过 optimizer ( adam 或是 rmsprop)
但都会是类似的现象
想请教前辈们,这样的状况可以怎麽做改善 ?
--
◤ ◤ ◣
● Ο ο ◤ ◣ ◣
◣ ◤ 。 ο ○ 。 ○ °●
◣ ≡ ◤ ° ο Ο ◣ ◤
◤ ◣ ≡ ◤
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 220.136.149.147 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1576433393.A.510.html
※ 编辑: sssh (220.136.149.147 台湾), 12/16/2019 02:10:25
1F:→ CaptPlanet: 看起来是overfitting 12/17 10:31
2F:推 acctouhou: 加个batch normalize 我相信会好很多 12/17 11:38