作者somoskylin (八七booboo)
看板DataScience
標題[問題] VAE在text generation的問題
時間Wed Jul 1 01:13:20 2020
各位前輩好：
有些paper說VAE在image generation的缺點是不夠 realistic且生成的圖片會有點模糊
李宏毅教授的教學影片中也說VAE其實是模仿database的資料，而不是真正的去創造新的圖片，甚至生成的圖片是database的linear combination (我上課沒理解錯的話)，所以才需要GAN
請問前輩們，VAE在text generation也有類似的問題嗎?
也就是VAE並不會真正的生產句子，而是從training set的distribution space中給
因為我想知道 VAE在text generation的缺點
我找了一些paper都沒有在談論這個問題，基本上都是談論VAE有 KL vanishing問題
可以的話能給我paper title，感恩
-----
Sent from JPTT on my Xiaomi Redmi 5 Plus.
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.216.102.36 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1593537202.A.ACF.html
1F：推 seasa2016: 那就用sequence gan如何 07/01 02:19
2F：→ somoskylin: 主要是想知道VAE的缺點，看來我文章寫的不清楚 07/01 02:26
3F：→ somoskylin: VAE有什麼樣的問題，才會用GAN之類的 07/01 02:28
4F：推 sxy67230: VAE主要是他的approximately上界就是整個資料的分佈， 07/01 09:42
5F：→ sxy67230: 等同於對整個模型做了一個限制，而GAN初始採用隨機噪聲 07/01 09:42
6F：→ sxy67230: ，分佈上界就只是當Discriminator無法分辨真假來源的時 07/01 09:42
7F：→ sxy67230: 候，所以GAN會難train就是這個原因。 07/01 09:42
8F：推 sxy67230: 關鍵字應該是explicit density 跟 implicit density模 07/01 09:44
9F：→ sxy67230: 型的差異 07/01 09:44
10F：→ sxy67230: 更正一下：整個訓練資料的分佈 07/01 09:45
11F：→ seasa2016: 可是gan也沒辦法保證不再資料分布中的樣本能不能有好結 07/01 11:08
12F：→ seasa2016: 果吧，這點可能跟vae差不多？ 07/01 11:08
13F：推 king22649: 這只能做出失智老人吧 還是玩影像比較有趣 07/01 13:32
14F：推 kokolotl: gan感覺也是吃training set的分佈吧 07/01 14:46
15F：→ kokolotl: 最近歐巴馬馬賽克轉成白人爭議應該是這樣來的 07/01 14:46
16F：→ somoskylin: 謝謝s大，我找找看 07/01 16:41
17F：→ somoskylin: 整樓下來，我又confuse了 07/01 16:41
18F：→ seasa2016: 我覺得只是vae的 loss設計的不夠好而已，所以才用gan 07/01 18:04
19F：推 acctouhou: 我認為不是loss不夠好 而是這些error不等價 07/01 21:48
20F：推 acctouhou: 舉個例子 數字辨識的1 同樣誤差20個pixel，你會去找筆 07/01 21:50
21F：→ acctouhou: 畫筆直的而不是在乎1長度多少，這導致了明明loss很低， 07/01 21:50
22F：→ acctouhou: 卻還是騙不過眼睛 07/01 21:50
23F：→ acctouhou: 所以藉由另一個network來判斷之間的差異 07/01 21:51
24F：→ acctouhou: 另外NN本來就是data-driven 所以基本上都是跟資料有關 07/01 21:52
25F：→ acctouhou: ，除非你的dataset已經跟母體空間夠相似 07/01 21:52
26F：→ acctouhou: s大分析精闢 07/01 21:52
27F：→ seasa2016: 第二第三句不就是loss不夠好不能反映真正的lossㄇ 07/01 22:01
28F：→ fr75: Obama轉白人可以貼一下連結嗎 07/02 05:56
30F：→ somoskylin: a大圖片方面我是知道的，但是文字沒有什麼1pixel差異 07/02 12:26
31F：→ somoskylin: ，我就不知道差異處了 07/02 12:26
32F：→ somoskylin: 請問各位前輩我這樣理解不知道對不對： 07/02 16:24
33F：→ somoskylin: VAE是找尋並符合database的特徵分佈 07/02 16:24
34F：→ somoskylin: GAN可以突破database產生以外的結果，只是比較難 07/02 16:24
35F：推 geminitw: VAE 的 loss 不是 "設計" 出來的吧? 是推導而來的 07/02 23:55
36F：→ geminitw: VAE 是在找出 latent variable 的機率分佈, 可以用高斯 07/02 23:56
37F：→ geminitw: 也可以用其他的分佈, 也許 text 不適合用高斯 07/02 23:57
38F：→ seasa2016: 用高斯或其他的分佈和怎麼評估reconstruct這兩個不都可 07/03 01:06
39F：→ seasa2016: 以自己設計嗎？ 07/03 01:06
40F：→ seasa2016: 推倒的機率式並沒有定義 07/03 01:07
41F：推 world4jason: 歐巴馬那個我覺得難免…NBA那個curry都是黑人了 而且 07/06 18:29
42F：→ world4jason: 他們自己人也會認錯 07/06 18:29
43F：推 goldflower: 歐巴馬事件鬥到yann lecun都說要退出twitter了XD 07/11 22:18