作者Activation ('selu')
看板DataScience
标题[问题] 小的model在training时收敛会比较快吗?
时间Wed Aug 22 00:54:02 2018
好奇一个问题
小的model在training时的收敛会比较快吗?
自己train比较小的model比较常遇到是training上不去...
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 223.136.64.27
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1534870444.A.D43.html
1F：推 sma1033: 已经收敛了所以停止上升？ 08/22 01:00
2F：→ Activation: 有没有可能train的上去又收敛快? 我才疏学浅 08/22 01:05
3F：→ yoyololicon: 多小？参数量？ 08/22 07:18
4F：推 sma1033: 如果连training的performance都差，可能资料或是model本 08/22 12:22
5F：→ sma1033: 来就有问题，比方说 「Model太小」或是「model太大」都算 08/22 12:23
6F：→ p193202: model capacity 小，要找的最佳 function 不在 model 里 08/22 19:27
7F：→ p193202: 面 08/22 19:27
8F：→ atrix: 举个例来说:若有个vgg模型只有一层卷积， 08/25 23:13
9F：→ atrix: 分类imagenet的准确率不会高到哪去。 08/25 23:13
10F：→ atrix: 但拿比vgg19要小的vgg16来比较， 08/25 23:13
11F：→ atrix: 收敛的有比较快，准确率也差不多。 08/25 23:13
12F：→ atrix: 所以得先确定小模型能收敛到什麽程度再比较 08/26 00:05
13F：→ Activation: 了解 谢谢各位 08/28 02:31