作者liang1230 (小良)
看板DataScience
标题Re: [问题] vae生成的概念
时间Thu May 3 02:09:06 2018
详细的数学网路上有很多啦，自己去查我就不多叙述
我来秀个下限，给个比较直观的看法（电脑送修手机排版请见谅）
基本上目前的生成模型都是这样
假设你的input data x有个不知道的机率分布
Encoder要想办法把你的机率分布打到一个分布上
在vae里面就用了KL divergence打到guassian的分布上(这边用个z代表）
而Decoder的工作就是把z凹回x
而在Gan中比较不一样的是直接就用generator把z(通常还是guassian)打回x
而让generator学会怎麽打回去就是利用discriminator
（所以说discriminator不能太强 因为generator要做的事困难太多了）
至於原po问的应该是GMM的形式的话，这个疑问还蛮值得思考的
或许用多个guassian来sample的话可以容易sample出所要的domain
毕竟在没有这些东西前GMM可以做的不错。
但刚刚查了一下，是有人在做这些研究的，但似乎效果没很好
小弟对unsupervised learning不太熟，有错还请多指教
小弟对unsupervised learning不太熟，有错还请多指教
另外我也想问个问题，为毛gan sample from uniform会比sample from guassian难train啊
※ 引述《seasa2016 (文慧)》之铭言：
: 大家好，小弟近来在研究vae时想到一个问题，我们都知道vae是一个unsupervise的问题，他最大的特点在於他利用了一个gaussian distribution来model embedding layer的行为。
: 在训练的时候，透过encoder的机制 可以提供不同的mean 和 variance，因此实际上他embedding layer的gaussian 或许应该说是一个GMM的形式。
: 我想请问的是，为何最後在做生成使用之时，他可以单单使用一个N(0,I)的gaussian来做生成呢？
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 223.140.231.193
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1525284548.A.2F3.html
1F：推 lucien0410: 推05/03 03:46
2F：推 goldflower: 因为比较不好sample到能产生好图的分布区域吧?05/03 12:06
我的问题是为什麽啊.....
3F：推 tsoahans: 我想是因为图之间形变的过程也会被encode进去，但那不05/03 13:33
4F：→ tsoahans: 是我们要的 用uniform等於是sample到正常图和中间图的05/03 13:34
5F：→ tsoahans: 机率都一样05/03 13:34
6F：→ tsoahans: 机率都一样05/03 13:34
9F：→ tsoahans: 数字叠再一起的部分05/03 13:35
10F：→ tsoahans: 数字叠再一起的部分05/03 13:35
11F：→ tsoahans: 数字叠再一起的部分05/03 13:35
没道理啊 我们这边用的其实比较像是空间对空间 跟机率的关系已经比较小了
※ 编辑: liang1230 (140.112.25.100), 05/03/2018 13:43:23
12F：推 tsoahans: 那个机率是code的分布，code和图像是能一一对应的05/03 16:21
13F：推 goldflower: 你可以反过来想啊 你写个auto encoder先 把encoder05/03 16:49
14F：→ goldflower: 後的结果拿出来 你去看看用uniform还是gaussian比较05/03 16:49
15F：→ goldflower: 好描述你的资料分布05/03 16:50
16F：→ goldflower: 你当然理论上可以用uniform去训练 但是没道理放个05/03 16:50
17F：→ goldflower: 不直觉的prior进去吧05/03 16:51
18F：→ goldflower: 当然我是没做过 说不定encode出来还真的是uniform XD05/03 16:51
19F：推 goldflower: 不过你112我觉得直接去敲门问李宏毅大大较能让你信服05/03 16:54
20F：推 goldflower: 然後要理论的解我真不知道 有人有的话我也想知道@@05/03 17:02
21F：→ goldflower: 我是偏向这是经验法则05/03 17:02
宏毅哥我老板....... uniform并没有不直觉啊
※ 编辑: liang1230 (223.137.212.212), 05/03/2018 21:53:52
※ 编辑: liang1230 (223.137.212.212), 05/03/2018 21:55:08
22F：推 goldflower: 那你有问宏毅哥吗XD 我也想知道他说法05/03 22:19
23F：→ goldflower: 但是我觉得用autoencoder跑出来不会接近uniform才对05/03 22:20
24F：→ goldflower: 应该拿gaussian去拟合的error会比uniform低吧05/03 22:21
VAE的KL loss就强制让他变guassian啊
※ 编辑: liang1230 (140.112.253.211), 05/03/2018 22:32:50
25F：推 goldflower: 噢对耶...QQ" 05/03 23:37
26F：→ goldflower: 不过uniform的话你好图的边界很难确定吧 05/04 17:40
27F：→ Rprogramming: 给一点我个人的看法 用高斯应该是统计那边来的原因 05/06 05:00
28F：→ Rprogramming: 不过GAN的数学也是很难，可以去看看丘成桐那篇论文 05/06 05:17