作者tipsofwarren (tipsofwarren)
看板DataScience
標題[問題] Tutorial on VAE 的問題
時間Thu Jun 6 21:19:28 2019
各位前輩, 小的最近在讀
"Tutorial on Variational Autoencoders"
https://arxiv.org/pdf/1606.05908.pdf
在 Page 9 末:
Hence, as is standard in stochastic gradient descent,
we take one sample of z and treat P(X|z) for that z as an
approximation of E [log P(X|z)]. (E 是 以 Q(Z) 為分配的期望值)
我的問題是 treat P(X|z) for that z 是不是應該為
treat logP(X|z) for that z 才對?
或者我的思路哪兒錯了? 感謝指導.
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.162.161.249 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1559827172.A.979.html
1F：→ sxy67230: 我的理解是作者說明that z as a proximation是在描述我 06/07 08:54
2F：→ sxy67230: 們p(X|z)採樣出來的z，這個採樣點z可以視為是E［p(X|z] 06/07 08:54
3F：→ sxy67230: 的近似...這比較像是文章的理解啦。 06/07 08:54
非常感謝 sxy 大, 端午節快樂!
4F：推 bulc381: 是logP沒錯 就是Monte Carlo 06/07 21:19
5F：→ bulc381: 剛好今天VAE作者傳了一篇Introduction to VAE上arXiv 也 06/07 21:24
拍謝我根本不是數統背景, Monte Carlo 沒學過...
所以您的意思是 原文應該改為 treat log P(X|z) for that z?
很感謝您提醒 Kingma 有推出 introduction, 我光看 VAE 的原理
來來回回 (包含私信請教 sxy) 花了快一個月, 台灣的 youtube 相關原理教學
幾乎沒有(李教授很簡單的帶過), 即使 Stanford 的 ML Generative Model 那片
(Serena Yeung 講得多一些, 但是也是點到而已... 有學生問她為何 latent variable
Z 要用 Normal distribution, 她卡住... 一開始我也覺得, 當然是高斯呀, 後來
突然看到 Bishop 有提到, Normal Distribution 的 Entropy 最大,
突然有被點到的感覺)
很感恩兩位大大...
※ 編輯: tipsofwarren (118.160.84.85 臺灣), 06/07/2019 22:25:03
7F：→ bulc381: 對 其實就是常常看paper會看到有一步推導 會把期望值變成 06/07 23:31
8F：→ bulc381: = 1/N Σ(...) 這樣的作法，只是這邊簡單取N=1 06/07 23:32
9F：推 bulc381: 我還沒仔細看那篇introduction，但看起來第三章有提到你 06/07 23:41
10F：→ bulc381: 上面講的：為什麼要用Gaussian 06/07 23:42
11F：→ bulc381: 還有要怎麼放寬讓它也可以是非Gaussian 06/07 23:42
12F：→ sxy67230: Monte Carlo EM取期望值E[log(p(y,x|theta))] 近似於 1/ 06/08 12:02
13F：→ sxy67230: N summation(log(P(x,y|theta)))，當考慮只採樣一個z的 06/08 12:02
14F：→ sxy67230: 採樣點的時候就是log(P(X|z^)，z^為採樣點z。我覺得個人 06/08 12:02
15F：→ sxy67230: 理解是原作者表達也沒錯，只是換一個方式說，然後想說 06/08 12:03
16F：→ sxy67230: 明取樣z就是期望值的近似，等同於後話就是log(P(X|z^)這 06/08 12:03
17F：→ sxy67230: 件事情。 06/08 12:03
18F：推 disney82231: 關於VAE我也有問題，就是他的output是機率值，還是就 06/08 18:17
19F：→ disney82231: 像AE是預測自己的值 06/08 18:17
20F：→ youngman77: 如果理解沒有錯, 用RMSE Loss, output是gaussian mu 06/08 20:15
21F：→ youngman77: 而且std=1, 所以你可以代回gaussian得到你要的機率 06/08 20:16
22F：→ youngman77: posterior選擇gaussian approximation應該是個conven 06/08 20:51
23F：→ youngman77: ient choice, 選擇gaussian除了可以進一步用ICLR14 K 06/08 20:51
24F：→ youngman77: ingma提出的reparameterization trick進一步降低stoc 06/08 20:51
25F：→ youngman77: hastic gradient of ELBO的variation以外, ELBO拆解 06/08 20:51
26F：→ youngman77: 出來的KL divergence那一項也可以直接得到論文中推 06/08 20:52
27F：→ youngman77: 導的解析解。 06/08 20:52