作者tipsofwarren (tipsofwarren)
看板DataScience
标题[问题] Tutorial on VAE 的问题
时间Thu Jun 6 21:19:28 2019
各位前辈, 小的最近在读
"Tutorial on Variational Autoencoders"
https://arxiv.org/pdf/1606.05908.pdf
在 Page 9 末:
Hence, as is standard in stochastic gradient descent,
we take one sample of z and treat P(X|z) for that z as an
approximation of E [log P(X|z)]. (E 是 以 Q(Z) 为分配的期望值)
我的问题是 treat P(X|z) for that z 是不是应该为
treat logP(X|z) for that z 才对?
或者我的思路哪儿错了? 感谢指导.
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 1.162.161.249 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1559827172.A.979.html
1F：→ sxy67230: 我的理解是作者说明that z as a proximation是在描述我 06/07 08:54
2F：→ sxy67230: 们p(X|z)采样出来的z，这个采样点z可以视为是E［p(X|z] 06/07 08:54
3F：→ sxy67230: 的近似...这比较像是文章的理解啦。 06/07 08:54
非常感谢 sxy 大, 端午节快乐!
4F：推 bulc381: 是logP没错 就是Monte Carlo 06/07 21:19
5F：→ bulc381: 刚好今天VAE作者传了一篇Introduction to VAE上arXiv 也 06/07 21:24
拍谢我根本不是数统背景, Monte Carlo 没学过...
所以您的意思是 原文应该改为 treat log P(X|z) for that z?
很感谢您提醒 Kingma 有推出 introduction, 我光看 VAE 的原理
来来回回 (包含私信请教 sxy) 花了快一个月, 台湾的 youtube 相关原理教学
几乎没有(李教授很简单的带过), 即使 Stanford 的 ML Generative Model 那片
(Serena Yeung 讲得多一些, 但是也是点到而已... 有学生问她为何 latent variable
Z 要用 Normal distribution, 她卡住... 一开始我也觉得, 当然是高斯呀, 後来
突然看到 Bishop 有提到, Normal Distribution 的 Entropy 最大,
突然有被点到的感觉)
很感恩两位大大...
※ 编辑: tipsofwarren (118.160.84.85 台湾), 06/07/2019 22:25:03
7F：→ bulc381: 对 其实就是常常看paper会看到有一步推导 会把期望值变成 06/07 23:31
8F：→ bulc381: = 1/N Σ(...) 这样的作法，只是这边简单取N=1 06/07 23:32
9F：推 bulc381: 我还没仔细看那篇introduction，但看起来第三章有提到你 06/07 23:41
10F：→ bulc381: 上面讲的：为什麽要用Gaussian 06/07 23:42
11F：→ bulc381: 还有要怎麽放宽让它也可以是非Gaussian 06/07 23:42
12F：→ sxy67230: Monte Carlo EM取期望值E[log(p(y,x|theta))] 近似於 1/ 06/08 12:02
13F：→ sxy67230: N summation(log(P(x,y|theta)))，当考虑只采样一个z的 06/08 12:02
14F：→ sxy67230: 采样点的时候就是log(P(X|z^)，z^为采样点z。我觉得个人 06/08 12:02
15F：→ sxy67230: 理解是原作者表达也没错，只是换一个方式说，然後想说 06/08 12:03
16F：→ sxy67230: 明取样z就是期望值的近似，等同於後话就是log(P(X|z^)这 06/08 12:03
17F：→ sxy67230: 件事情。 06/08 12:03
18F：推 disney82231: 关於VAE我也有问题，就是他的output是机率值，还是就 06/08 18:17
19F：→ disney82231: 像AE是预测自己的值 06/08 18:17
20F：→ youngman77: 如果理解没有错, 用RMSE Loss, output是gaussian mu 06/08 20:15
21F：→ youngman77: 而且std=1, 所以你可以代回gaussian得到你要的机率 06/08 20:16
22F：→ youngman77: posterior选择gaussian approximation应该是个conven 06/08 20:51
23F：→ youngman77: ient choice, 选择gaussian除了可以进一步用ICLR14 K 06/08 20:51
24F：→ youngman77: ingma提出的reparameterization trick进一步降低stoc 06/08 20:51
25F：→ youngman77: hastic gradient of ELBO的variation以外, ELBO拆解 06/08 20:51
26F：→ youngman77: 出来的KL divergence那一项也可以直接得到论文中推 06/08 20:52
27F：→ youngman77: 导的解析解。 06/08 20:52