作者Activation ('selu')
看板DataScience
標題[問題] 小的model在training時收斂會比較快嗎?
時間Wed Aug 22 00:54:02 2018
好奇一個問題
小的model在training時的收斂會比較快嗎?
自己train比較小的model比較常遇到是training上不去...
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.136.64.27
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1534870444.A.D43.html
1F：推 sma1033: 已經收斂了所以停止上升？ 08/22 01:00
2F：→ Activation: 有沒有可能train的上去又收斂快? 我才疏學淺 08/22 01:05
3F：→ yoyololicon: 多小？參數量？ 08/22 07:18
4F：推 sma1033: 如果連training的performance都差，可能資料或是model本 08/22 12:22
5F：→ sma1033: 來就有問題，比方說 「Model太小」或是「model太大」都算 08/22 12:23
6F：→ p193202: model capacity 小，要找的最佳 function 不在 model 裡 08/22 19:27
7F：→ p193202: 面 08/22 19:27
8F：→ atrix: 舉個例來說:若有個vgg模型只有一層卷積， 08/25 23:13
9F：→ atrix: 分類imagenet的準確率不會高到哪去。 08/25 23:13
10F：→ atrix: 但拿比vgg19要小的vgg16來比較， 08/25 23:13
11F：→ atrix: 收斂的有比較快，準確率也差不多。 08/25 23:13
12F：→ atrix: 所以得先確定小模型能收斂到什麼程度再比較 08/26 00:05
13F：→ Activation: 了解 謝謝各位 08/28 02:31