作者jagerwu (JW)
看板DataScience
标题[问题] loss 一直降不下来
时间Sat Sep 14 16:29:15 2019
之前在自己尝试 Adam 跟 RAdam 的差异时，
有时候会遇到一个状况是使用 Adam 的时候，model 一直 train 不起来
我所谓的train 不起来是 train loss 从第一个 epoch 开始就不太会动
怪的是，我换成 RAdam 时好了。
更怪的是，再换回去 Adam时也可以正常 train 了
这中间我没有变更 model 及其他超参数。
原本我自己觉得这大概是一开始的随机初始值影响，
可能在训练的时候要拚一下人品(?)
然而这几天再尝试一个高维度的资料降维，想说试着使用 AutoEncoder 来降维
loss 尝试了 binary_catgoricalentropy 以及 mse
optimizer 也尝试了 Adam 或 RAdam
依旧是 train 不太起来的状况
跟朋友讨论时怀疑是否是维度太高 (大约五六百维)造成，
但这几天想想不太可能啊，从李宏毅之前的课看起来
700多维的应该也是可以 trian 得起来
难道训练真的要拚人品吗 ?
但总觉得这样好像有点太凭运气，
因此想请问一下大家
训练过程是否还有其他因素会导致这样完全 train 不起来 ?
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 220.129.5.37 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1568449757.A.928.html
1F：→ y956403: train了多久发现都没在动呢？ 有时候看了一下变化不大就 09/14 16:47
2F：→ y956403: 会以为没在动然後停掉 跑一阵子看看 09/14 16:47
3F：→ jagerwu: 我有用reducelronplateau降两三次都没在动就会停掉了 09/14 17:54
4F：推 sxy67230: 维度太高的情况下确实有可能会存在一定的训练时间下loss 09/14 18:36
5F：→ sxy67230: 降不下来的问题，你可以试着降维或是观察长期的变化。也 09/14 18:36
6F：→ sxy67230: 有可能是模型结构跟初始值要调整。 09/14 18:36
7F：→ kriswu8021: 未看先猜没有调lr 09/15 02:23
8F：推 is2586537: 固定seed试试? 09/15 10:15
9F：推 chobit199685: 用VAE试试看 09/15 16:16
10F：推 tipsofwarren: 你先检查资料吧！ 09/15 23:45
11F：推 luli0034: lr 09/18 12:39
12F：推 zxp9505007: Learning rate再调整一下？太高或太低都可能会导致降 09/20 10:42
13F：→ zxp9505007: 不下来 09/20 10:42