作者clansoda (小笨)
看板DataScience
标题[问题] tensorflow gradients无法计算
时间Thu Oct 29 22:40:52 2020
不确定这能不能发在这边，如果不行麻烦告知我一下
我最近刚从pytorch试着转换到tensorflow
目前的问题是我使用tape的时候无法顺利地计算gradients
with tf.GradientTape() as tape:
predictions = model(features,training = True)
loss = loss_func(labels, predictions)
gradients = tape.gradient(loss, model.trainable_variables)
optimizer.apply_gradients(zip(gradients, model.trainable_variables))
这是我目前使用的code，缩牌可能会因为贴上的关系有点问题
主要是走到第三行用tape.gradient计算gradient时，返还的都是None
我已经确认过loss有被正确地计算出来
搜寻过可能的原因
(1) 使用model.predict造成 return的是一个numpy array而不是tensorflow tensor
而使得gradienttape无法正确计算gradient。但这个问题不成立，因为我是直接使用
class的__call__来计算prediction
(2) 要使用 tape.watch来计算gradients，这个做法我也加过，但是返还的gradients
一样是None
不晓得还有甚麽可能会导致这样的结果呢?
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 124.218.7.190 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1603982455.A.4E5.html
1F：推 min86615: 有加watch吗？ 10/29 22:53
2F：→ min86615: 抱歉没看到 10/29 22:57
3F：推 baby0326sky: 感觉问题出在loss_func，确定labels跟predictions有 10/29 22:59
4F：→ baby0326sky: 正确运算到吗？ 10/29 22:59
5F：推 min86615: 话说你gradient是放在同一层吗，後面两行要放在和with同 10/29 23:07
6F：→ min86615: 一层哦 10/29 23:07
7F：推 acctouhou: 你要先检查你的model里面真的有可以train的参数吗？或 10/30 02:56
8F：→ acctouhou: 是你在建完model後有clear 10/30 02:56
9F：推 qwe85158: gradients跟optimizer多缩排了 10/30 14:56
10F：→ clansoda: 请问baby大，如何确定有正确算到呢? loss这个物件是一个 10/30 22:02
11F：→ clansoda: tensor，里头是一个实数的scalar，应该算是有正确算到吧 10/30 22:02
12F：→ clansoda: min大，後面两行有放在同一个缩排了 10/30 22:03
13F：→ clansoda: acc大，我有print过model.trainable_varaibles 10/30 22:04
14F：→ clansoda: 里头确实是有一个长度为10的list，元素都是tensor 10/30 22:04
15F：→ clansoda: qwe大，请问什麽是多缩排呢? 10/30 22:05
16F：推 PhysiAndMath: tape计算gradient的时候要离开with 10/30 22:17
17F：→ clansoda: 我只能周一再贴图了，code在公司电脑 10/30 23:57
18F：→ clansoda: 我目前应该是前两行在with下 而後两行在外面的缩排 10/30 23:57
19F：推 baby0326sky: 之前也遇过这个问题，那时候我是的损失函数没写好， 10/31 01:10
20F：→ baby0326sky: 导致损失并不是透过labels跟predictions运算出来的， 10/31 01:10
21F：→ baby0326sky: 所以才无法反向传播得到gradients，所以建议可以检查 10/31 01:10
22F：→ baby0326sky: 一下 10/31 01:10
23F：推 art1: 看线上文件都有用到 watch，有可能是这个原因吗？ 10/31 13:45
24F：→ art1: 似乎不是... 10/31 13:47
25F：推 nj882033: 有一些lib函数返还的数值会没有梯度喔 11/05 12:21
26F：→ nj882033: 你确认下到哪一步突然没有梯度，换掉那就可以了 11/05 12:22
27F：→ clansoda: 我自己回自己一下，如同nj大所说 这边的问题就是函数 11/07 08:48
28F：→ clansoda: 我使用的cross entropy是来自於tensorflow.keras.metric 11/07 08:49
29F：→ clansoda: 实际上要使用tensorflow.keras.lossess同一名字的函数 11/07 08:49
30F：→ clansoda: 他才会正确的追踪梯度，但实际上你完全可以print出 11/07 08:49
31F：→ clansoda: 正确的loss，导致很难理解为什麽没办法回传梯度 11/07 08:50
32F：→ clansoda: 这点跟pytorch不太一样，pytorch没有metrics跟loss之分 11/07 08:50
33F：→ clansoda: watch的话，我自己看得tutorial是没有加上去的 11/07 08:51
34F：→ clansoda: 但我自己写的code我有补上，这点再请其他人补充 11/07 08:51
35F：→ chang1248w: 一个是tensorflow operation function，return numpy 11/15 19:31
36F：→ chang1248w: 另外一个是keras layer object 11/15 19:31
37F：→ chang1248w: metrics那一类是用来监测模型训练的指标，不能算梯度 11/15 19:34
38F：→ chang1248w: 合情合理 11/15 19:34