作者CVPR (硬train一發)
看板DataScience
標題[問題] DCGAN的generator使用relu而非leaky的原因
時間Sat May 19 17:56:18 2018
DCGAN的Discriminator用leaky ReLU
而Generator用ReLU
我想不懂為何Generator不用LeakyReLU?
自己測試人臉產生，使用Leaky在generator產生的人臉會有點糊糊的
不知道有沒有辦法解釋這種現象?
補充] 也有可能是我leakyReLu的alpha沒有調好， 我也有看到有人用selu得到不錯的結果
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.136.41.69
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1526723780.A.7AC.html
※ 編輯: CVPR (223.136.41.69), 05/19/2018 17:59:13
1F：推 sma1033: 也許使用LReLU能夠得到的Model非線性程度較低，所以Model05/20 02:03
2F：→ sma1033: 在生產類似"邊界"的東西時對比會差一點?05/20 02:04
感謝回應，我也是這樣猜，不過需要更多實驗證實
3F：推 leoloveivy: soumith 那個tricky不是盡量都用leaky嗎 avoid sparse 05/20 17:36
4F：→ leoloveivy: gradient05/20 17:36
5F：→ CVPR: 對 我也是看那個trick, 可是我自己試generator也是效果不太05/21 08:03
6F：→ CVPR: 好 05/21 08:03
7F：→ CVPR: DCGAN原本paper就有寫用ReLU在generator效果好 05/21 08:04
8F：→ CVPR: 不過我generator沒有加dropout ，不知道leaky加了會怎樣 05/21 08:05
※ 編輯: CVPR (223.137.38.91), 05/21/2018 08:07:10
9F：→ Kazimir: 我自己試了一下 沒感覺relu有比leaky清楚 05/21 14:16
10F：→ catxfish: 以前試是覺得都差不多 都不夠清晰 05/21 17:51
11F：→ catxfish: 而且training set的品質影響很大 要花時間篩選 05/21 17:52
※ 編輯: CVPR (223.140.117.142), 05/22/2018 06:21:27