作者somoskylin (八七booboo)
看板DataScience
标题[问题] VAE在text generation的问题
时间Wed Jul 1 01:13:20 2020
各位前辈好：
有些paper说VAE在image generation的缺点是不够 realistic且生成的图片会有点模糊
李宏毅教授的教学影片中也说VAE其实是模仿database的资料，而不是真正的去创造新的图片，甚至生成的图片是database的linear combination (我上课没理解错的话)，所以才需要GAN
请问前辈们，VAE在text generation也有类似的问题吗?
也就是VAE并不会真正的生产句子，而是从training set的distribution space中给
因为我想知道 VAE在text generation的缺点
我找了一些paper都没有在谈论这个问题，基本上都是谈论VAE有 KL vanishing问题
可以的话能给我paper title，感恩
-----
Sent from JPTT on my Xiaomi Redmi 5 Plus.
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 49.216.102.36 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1593537202.A.ACF.html
1F：推 seasa2016: 那就用sequence gan如何 07/01 02:19
2F：→ somoskylin: 主要是想知道VAE的缺点，看来我文章写的不清楚 07/01 02:26
3F：→ somoskylin: VAE有什麽样的问题，才会用GAN之类的 07/01 02:28
4F：推 sxy67230: VAE主要是他的approximately上界就是整个资料的分布， 07/01 09:42
5F：→ sxy67230: 等同於对整个模型做了一个限制，而GAN初始采用随机噪声 07/01 09:42
6F：→ sxy67230: ，分布上界就只是当Discriminator无法分辨真假来源的时 07/01 09:42
7F：→ sxy67230: 候，所以GAN会难train就是这个原因。 07/01 09:42
8F：推 sxy67230: 关键字应该是explicit density 跟 implicit density模 07/01 09:44
9F：→ sxy67230: 型的差异 07/01 09:44
10F：→ sxy67230: 更正一下：整个训练资料的分布 07/01 09:45
11F：→ seasa2016: 可是gan也没办法保证不再资料分布中的样本能不能有好结 07/01 11:08
12F：→ seasa2016: 果吧，这点可能跟vae差不多？ 07/01 11:08
13F：推 king22649: 这只能做出失智老人吧 还是玩影像比较有趣 07/01 13:32
14F：推 kokolotl: gan感觉也是吃training set的分布吧 07/01 14:46
15F：→ kokolotl: 最近欧巴马马赛克转成白人争议应该是这样来的 07/01 14:46
16F：→ somoskylin: 谢谢s大，我找找看 07/01 16:41
17F：→ somoskylin: 整楼下来，我又confuse了 07/01 16:41
18F：→ seasa2016: 我觉得只是vae的 loss设计的不够好而已，所以才用gan 07/01 18:04
19F：推 acctouhou: 我认为不是loss不够好 而是这些error不等价 07/01 21:48
20F：推 acctouhou: 举个例子 数字辨识的1 同样误差20个pixel，你会去找笔 07/01 21:50
21F：→ acctouhou: 画笔直的而不是在乎1长度多少，这导致了明明loss很低， 07/01 21:50
22F：→ acctouhou: 却还是骗不过眼睛 07/01 21:50
23F：→ acctouhou: 所以藉由另一个network来判断之间的差异 07/01 21:51
24F：→ acctouhou: 另外NN本来就是data-driven 所以基本上都是跟资料有关 07/01 21:52
25F：→ acctouhou: ，除非你的dataset已经跟母体空间够相似 07/01 21:52
26F：→ acctouhou: s大分析精辟 07/01 21:52
27F：→ seasa2016: 第二第三句不就是loss不够好不能反映真正的lossㄇ 07/01 22:01
28F：→ fr75: Obama转白人可以贴一下连结吗 07/02 05:56
30F：→ somoskylin: a大图片方面我是知道的，但是文字没有什麽1pixel差异 07/02 12:26
31F：→ somoskylin: ，我就不知道差异处了 07/02 12:26
32F：→ somoskylin: 请问各位前辈我这样理解不知道对不对： 07/02 16:24
33F：→ somoskylin: VAE是找寻并符合database的特徵分布 07/02 16:24
34F：→ somoskylin: GAN可以突破database产生以外的结果，只是比较难 07/02 16:24
35F：推 geminitw: VAE 的 loss 不是 "设计" 出来的吧? 是推导而来的 07/02 23:55
36F：→ geminitw: VAE 是在找出 latent variable 的机率分布, 可以用高斯 07/02 23:56
37F：→ geminitw: 也可以用其他的分布, 也许 text 不适合用高斯 07/02 23:57
38F：→ seasa2016: 用高斯或其他的分布和怎麽评估reconstruct这两个不都可 07/03 01:06
39F：→ seasa2016: 以自己设计吗？ 07/03 01:06
40F：→ seasa2016: 推倒的机率式并没有定义 07/03 01:07
41F：推 world4jason: 欧巴马那个我觉得难免…NBA那个curry都是黑人了 而且 07/06 18:29
42F：→ world4jason: 他们自己人也会认错 07/06 18:29
43F：推 goldflower: 欧巴马事件斗到yann lecun都说要退出twitter了XD 07/11 22:18