作者xxkevin (x_x)
看板DataScience
标题[问题] tensorflow Adam 学习率 decay ?
时间Thu Aug 9 16:11:12 2018
作业系统:win10
问题类别:DL optimizer
使用工具:tensorflow
问题内容:
在做训练时有点在意learning rate的问题
所以特别去看了一下Adam到底有没有做decay
原本paper上演算法上是有的
https://arxiv.org/pdf/1412.6980.pdf
Theorem 4.1
但是网路上的讨论区写到
在tensorflow里似乎是没有做decay的
或着说,只是做moment的调整而已
https://goo.gl/Z75bWK
想请教各位大神
在tensorflow里的adam有没有具备decay的功能?
还是须要自己弄个learning rate scheduling?
本版首PO
感谢各位解惑
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 61.220.183.232
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1533802279.A.8F3.html
1F：→ yoyololicon: 都这样讲了应该是没有 08/09 22:32
2F：→ yoyololicon: 自己写ㄅ 08/09 22:32
3F：推 ZuiYang: 小弟用Pytorch的Adam是自己写scheduling, tf可能也要但 08/11 19:35
4F：→ ZuiYang: 应该有func可用 08/11 19:35
5F：推 goldflower: keras好像就不用 不过只有照step递减的实作 08/11 23:12
6F：推 uloyoy: 指数衰减可以用tf.train.exponential_decay，不喜欢的话， 08/20 08:45
7F：→ uloyoy: 自己写也不会太难 08/20 08:45