作者jagerwu (JW)
看板DataScience
標題[問題] loss 一直降不下來
時間Sat Sep 14 16:29:15 2019
之前在自己嘗試 Adam 跟 RAdam 的差異時，
有時候會遇到一個狀況是使用 Adam 的時候，model 一直 train 不起來
我所謂的train 不起來是 train loss 從第一個 epoch 開始就不太會動
怪的是，我換成 RAdam 時好了。
更怪的是，再換回去 Adam時也可以正常 train 了
這中間我沒有變更 model 及其他超參數。
原本我自己覺得這大概是一開始的隨機初始值影響，
可能在訓練的時候要拚一下人品(?)
然而這幾天再嘗試一個高維度的資料降維，想說試著使用 AutoEncoder 來降維
loss 嘗試了 binary_catgoricalentropy 以及 mse
optimizer 也嘗試了 Adam 或 RAdam
依舊是 train 不太起來的狀況
跟朋友討論時懷疑是否是維度太高 (大約五六百維)造成，
但這幾天想想不太可能啊，從李宏毅之前的課看起來
700多維的應該也是可以 trian 得起來
難道訓練真的要拚人品嗎 ?
但總覺得這樣好像有點太憑運氣，
因此想請問一下大家
訓練過程是否還有其他因素會導致這樣完全 train 不起來 ?
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.129.5.37 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1568449757.A.928.html
1F：→ y956403: train了多久發現都沒在動呢？ 有時候看了一下變化不大就 09/14 16:47
2F：→ y956403: 會以為沒在動然後停掉 跑一陣子看看 09/14 16:47
3F：→ jagerwu: 我有用reducelronplateau降兩三次都沒在動就會停掉了 09/14 17:54
4F：推 sxy67230: 維度太高的情況下確實有可能會存在一定的訓練時間下loss 09/14 18:36
5F：→ sxy67230: 降不下來的問題，你可以試著降維或是觀察長期的變化。也 09/14 18:36
6F：→ sxy67230: 有可能是模型結構跟初始值要調整。 09/14 18:36
7F：→ kriswu8021: 未看先猜沒有調lr 09/15 02:23
8F：推 is2586537: 固定seed試試? 09/15 10:15
9F：推 chobit199685: 用VAE試試看 09/15 16:16
10F：推 tipsofwarren: 你先檢查資料吧！ 09/15 23:45
11F：推 luli0034: lr 09/18 12:39
12F：推 zxp9505007: Learning rate再調整一下？太高或太低都可能會導致降 09/20 10:42
13F：→ zxp9505007: 不下來 09/20 10:42