作者CVPR (硬train一发)
看板DataScience
标题[问题] DCGAN的generator使用relu而非leaky的原因
时间Sat May 19 17:56:18 2018
DCGAN的Discriminator用leaky ReLU
而Generator用ReLU
我想不懂为何Generator不用LeakyReLU?
自己测试人脸产生，使用Leaky在generator产生的人脸会有点糊糊的
不知道有没有办法解释这种现象?
补充] 也有可能是我leakyReLu的alpha没有调好， 我也有看到有人用selu得到不错的结果
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 223.136.41.69
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1526723780.A.7AC.html
※ 编辑: CVPR (223.136.41.69), 05/19/2018 17:59:13
1F：推 sma1033: 也许使用LReLU能够得到的Model非线性程度较低，所以Model05/20 02:03
2F：→ sma1033: 在生产类似"边界"的东西时对比会差一点?05/20 02:04
感谢回应，我也是这样猜，不过需要更多实验证实
3F：推 leoloveivy: soumith 那个tricky不是尽量都用leaky吗 avoid sparse 05/20 17:36
4F：→ leoloveivy: gradient05/20 17:36
5F：→ CVPR: 对 我也是看那个trick, 可是我自己试generator也是效果不太05/21 08:03
6F：→ CVPR: 好 05/21 08:03
7F：→ CVPR: DCGAN原本paper就有写用ReLU在generator效果好 05/21 08:04
8F：→ CVPR: 不过我generator没有加dropout ，不知道leaky加了会怎样 05/21 08:05
※ 编辑: CVPR (223.137.38.91), 05/21/2018 08:07:10
9F：→ Kazimir: 我自己试了一下 没感觉relu有比leaky清楚 05/21 14:16
10F：→ catxfish: 以前试是觉得都差不多 都不够清晰 05/21 17:51
11F：→ catxfish: 而且training set的品质影响很大 要花时间筛选 05/21 17:52
※ 编辑: CVPR (223.140.117.142), 05/22/2018 06:21:27