作者liang1230 (小良)
看板DataScience
標題Re: [問題] vae生成的概念
時間Thu May 3 02:09:06 2018
詳細的數學網路上有很多啦，自己去查我就不多敘述
我來秀個下限，給個比較直觀的看法（電腦送修手機排版請見諒）
基本上目前的生成模型都是這樣
假設你的input data x有個不知道的機率分佈
Encoder要想辦法把你的機率分佈打到一個分佈上
在vae裡面就用了KL divergence打到guassian的分佈上(這邊用個z代表）
而Decoder的工作就是把z凹回x
而在Gan中比較不一樣的是直接就用generator把z(通常還是guassian)打回x
而讓generator學會怎麼打回去就是利用discriminator
（所以說discriminator不能太強 因為generator要做的事困難太多了）
至於原po問的應該是GMM的形式的話，這個疑問還蠻值得思考的
或許用多個guassian來sample的話可以容易sample出所要的domain
畢竟在沒有這些東西前GMM可以做的不錯。
但剛剛查了一下，是有人在做這些研究的，但似乎效果沒很好
小弟對unsupervised learning不太熟，有錯還請多指教
小弟對unsupervised learning不太熟，有錯還請多指教
另外我也想問個問題，為毛gan sample from uniform會比sample from guassian難train啊
※ 引述《seasa2016 (文慧)》之銘言：
: 大家好，小弟近來在研究vae時想到一個問題，我們都知道vae是一個unsupervise的問題，他最大的特點在於他利用了一個gaussian distribution來model embedding layer的行為。
: 在訓練的時候，透過encoder的機制 可以提供不同的mean 和 variance，因此實際上他embedding layer的gaussian 或許應該說是一個GMM的形式。
: 我想請問的是，為何最後在做生成使用之時，他可以單單使用一個N(0,I)的gaussian來做生成呢？
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.140.231.193
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1525284548.A.2F3.html
1F：推 lucien0410: 推05/03 03:46
2F：推 goldflower: 因為比較不好sample到能產生好圖的分佈區域吧?05/03 12:06
我的問題是為什麼啊.....
3F：推 tsoahans: 我想是因為圖之間形變的過程也會被encode進去，但那不05/03 13:33
4F：→ tsoahans: 是我們要的 用uniform等於是sample到正常圖和中間圖的05/03 13:34
5F：→ tsoahans: 機率都一樣05/03 13:34
6F：→ tsoahans: 機率都一樣05/03 13:34
9F：→ tsoahans: 數字疊再一起的部分05/03 13:35
10F：→ tsoahans: 數字疊再一起的部分05/03 13:35
11F：→ tsoahans: 數字疊再一起的部分05/03 13:35
沒道理啊 我們這邊用的其實比較像是空間對空間 跟機率的關係已經比較小了
※ 編輯: liang1230 (140.112.25.100), 05/03/2018 13:43:23
12F：推 tsoahans: 那個機率是code的分布，code和圖像是能一一對應的05/03 16:21
13F：推 goldflower: 你可以反過來想啊 你寫個auto encoder先 把encoder05/03 16:49
14F：→ goldflower: 後的結果拿出來 你去看看用uniform還是gaussian比較05/03 16:49
15F：→ goldflower: 好描述你的資料分布05/03 16:50
16F：→ goldflower: 你當然理論上可以用uniform去訓練 但是沒道理放個05/03 16:50
17F：→ goldflower: 不直覺的prior進去吧05/03 16:51
18F：→ goldflower: 當然我是沒做過 說不定encode出來還真的是uniform XD05/03 16:51
19F：推 goldflower: 不過你112我覺得直接去敲門問李宏毅大大較能讓你信服05/03 16:54
20F：推 goldflower: 然後要理論的解我真不知道 有人有的話我也想知道@@05/03 17:02
21F：→ goldflower: 我是偏向這是經驗法則05/03 17:02
宏毅哥我老闆....... uniform並沒有不直覺啊
※ 編輯: liang1230 (223.137.212.212), 05/03/2018 21:53:52
※ 編輯: liang1230 (223.137.212.212), 05/03/2018 21:55:08
22F：推 goldflower: 那你有問宏毅哥嗎XD 我也想知道他說法05/03 22:19
23F：→ goldflower: 但是我覺得用autoencoder跑出來不會接近uniform才對05/03 22:20
24F：→ goldflower: 應該拿gaussian去擬合的error會比uniform低吧05/03 22:21
VAE的KL loss就強制讓他變guassian啊
※ 編輯: liang1230 (140.112.253.211), 05/03/2018 22:32:50
25F：推 goldflower: 噢對耶...QQ" 05/03 23:37
26F：→ goldflower: 不過uniform的話你好圖的邊界很難確定吧 05/04 17:40
27F：→ Rprogramming: 給一點我個人的看法 用高斯應該是統計那邊來的原因 05/06 05:00
28F：→ Rprogramming: 不過GAN的數學也是很難，可以去看看丘成桐那篇論文 05/06 05:17