作者Rprogramming (Matlab是盤子在用的)
看板DataScience
標題Re: [問題] cnn訓練時的問題
時間Mon Apr 30 20:30:53 2018
※ 引述《bg784533 (bg784533)》之銘言：
: 作業系統:win10
: 問題類別:CNN
: 使用工具:keras
: 問題內容:
: 大家好
: 小弟超新手剛接觸深度學習這塊
: 做訓練自己的數據時 原本acc最後收斂在0.9多
: 但是一樣的DATA和程式碼給別台電腦重跑的時候
: acc卻卡在0.5
: 檢查的時候發現多了這個警告 https://imgur.com/a/7NqpCuj
: 不知無法收斂的原因是不是跟這個有關
: 請問該如何處理這個情況?
嗨 你好
我也是機器學習萌新
一點意見供你參考
keras裡的kernel initializer預設是mean=0且variance跟input數目相關
來產生的一個亂數
這個亂數有時候產生的好
你訓練時就可能一路順利
可是有時候運氣不好weight initialize在奇怪的點
然後gradient卡在saddle point 那你的training可能就上不去
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 219.68.100.173
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1525091456.A.9D1.html
1F：推 bg784533: 感謝指點 04/30 21:09
2F：推 lunashining: 請問有什麼辦法改善亂數不會卡在奇怪的地方 04/30 23:42
3F：→ Rprogramming: 縮小batch size 這樣gradient descent有機率跳出gra 05/01 04:47
4F：→ Rprogramming: dient很平的地方 05/01 04:47
5F：→ BogiHsu: 試試用有momentum 的optimizer? 05/01 20:29