作者arch2453 (玖月)
看板DataScience
标题[问题] 关於CNN架构设计及GAN的epoch设计
时间Sun Jun 10 16:22:03 2018
系统：win10
问题：CNN，GAN
环境：python+jupyter notebook+Keras
各位前辈们好
因为没在学校修过正规课
平常是看网路教学影片和看书实作
所以有一些不懂的地方想在这里向前辈们请教
1.
关於GAN实作
我是参考CycleGAN的论文及程式
实现图片的转换
较有名的例子是风景变画或是斑马变马
想请问的是Epoch该如何设定会比较好
我目前是固定设定epoch 200
但怎麽确定前面就已经能产生很好的图片
或是在训练更多次效果会更好
想请问除了用人眼观测外
还有其他比较好说服人的方法吗？
因为不像普通的分类可以使用early stop的方式
2.
在实作CNN的时候
我做的是辨识128x128大小图片
架构放了三层的convolution 层
但老师质疑为什麽不放更多层
我回答我有尝试了四层但效果下降
老师却继续质疑那可以在放更多到四五层看看
或是乾脆直接用别人现有VGG的19层
而不该使用最简单的范例model
想请问的是像这些参数：
如层数，filter大小，neuron数的设计
有一定的合理理由吗
还是只能try & error
比如老师问我FC为什麽要放1000
像这种问题我都觉得很难回答QQ
这些变数的组合实在是太多了Orz
谢谢大家
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 140.113.148.68
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1528618925.A.94F.html
※ 编辑: arch2453 (140.113.148.68), 06/10/2018 16:26:52
※ 编辑: arch2453 (140.113.148.68), 06/10/2018 16:27:39
1F：推 siscon: 好像没啥理由耶 就全部试一遍看哪个最好06/10 17:25
真的能尝试的东西组合太多了QQ
2F：推 jameszhan: 严格来说越多层 网路能描述的状况一定比少层的多种06/10 17:38
3F：→ jameszhan: 所以牵扯到的就是资料量跟训练时间的问题06/10 17:39
4F：→ jameszhan: 你可以试着证明因为资料量不够参数量变多反而辨识率下06/10 17:40
5F：→ jameszhan: 降 不然单单只是层数变多导致辨识率下降 这个结论是不06/10 17:41
6F：→ jameszhan: 合理的06/10 17:42
7F：→ christinlove: 你只放三层? 那被钉活该...06/10 18:00
8F：→ christinlove: 通常都是现有的架构试个一轮再尝试自己改06/10 18:01
9F：→ christinlove: 除了 trail and error 之外可以多看 paper06/10 18:04
10F：→ christinlove: 连推竟然要 30 秒，懒得讲了...06/10 18:05
您好
感谢愿意回了这麽多
我知道越多层或越多参数理论上会更好
我的训练量是五万多笔资料
但该怎麽证明是资料量不够的问题？
因为我图片数量比较小想说三层还好
我有尝试兜一个完全一样的现有架构vgg19
但推测可能是因为pool层数未更动
导致最後图片降到太小而辨识率低到4%
理论上大小128*128大概会需要用几层呢
Paper的话我有google学术网站上
找过所有用到这个DATASET的论文
全部只有一篇使用CNN的方法
但Input不知为何要压缩成32*32
然後只兜两层conv就发论文了
谢谢（汗
※ 编辑: arch2453 (140.113.148.68), 06/10/2018 19:29:15
11F：→ chchan1111: 请问你是用哪个资料集呢? 其实这也是蛮重要的 06/10 21:12
12F：→ chchan1111: 用几层通常是考量任务难度 影像大小反而不一定 06/10 21:13
13F：→ chchan1111: 话说推文限30秒会不会太夸张 这样是要怎麽讨论啦06/10 21:14
您好
所使用的是2011年的ASL dataset
做24个字母的手势辨识
※ 编辑: arch2453 (140.113.148.68), 06/10/2018 21:32:11
14F：→ TOEFLiBT100: 你的字可不可以不要那麽亮QQ06/10 22:05
抱歉没注意到改到颜色QQ
15F：推 st1009: chchan1111很抱歉之前好像不小心动到了设定，目前已经改掉06/10 22:44
16F：推 st1009: 请您再试看看，下次遇到问题时，欢迎来信谘询板主，谢谢您06/10 22:45
17F：→ st1009: 的热心分享m(_ _)m06/10 22:45
18F：→ Wush978: 我没听过越多层辨识率会越高的说法06/10 23:28
20F：→ Wush978: Deeper usually does not imply better06/10 23:33
21F：→ Wush978: (p87)06/10 23:34
您好
越多层因为参数越多理应能表示更多种不同的情况
87页中的多层反而下降应该是後面所提到的
Vanish gradient problem 所造成的影响
因此激活函数使用ReLU 可解决此问题
96页的投影片因此才实作9层的结果
获得良好的正确率
我的架构也有使用了ReLU
也谢谢您的意见
目前还在各种交错尝试
今天意外发现cov层後叠了dropout 层的效果反而是变差的w
※ 编辑: arch2453 (1.169.138.106), 06/11/2018 00:16:23
22F：推 siscon: 多层理论上会比较好 但gradient descent又不保证能找到那 06/11 01:24
23F：→ siscon: 最好的参数组合06/11 01:24
24F：→ siscon: 至於要证明资料量不足 我个人觉得可以随机把比如说5%的资 06/11 01:25
25F：→ siscon: 料删掉再拿去train 如果metric变烂代表资料不足 06/11 01:26
26F：→ siscon: 这个拿掉5%再重train的动作要做很多次 每次拿掉不同的5% 06/11 01:26
27F：→ siscon: 会觉得这样可以证明资料量不足是因为 通常资料量很够的时 06/11 01:27
28F：→ siscon: 候 train到一半 metric就上不去了 後面再train也只是model 06/11 01:27
29F：→ siscon: 极限 06/11 01:27
30F：→ siscon: 所以理论上资料量很够的时候 拿掉5% metric也不会降才对 06/11 01:29
原来如此！
我第一次知道这种方法
感谢！
31F：→ christinlove: 越多层越好 => residual network06/11 05:16
还没实做过不太熟QQ
32F：推 Wush978: 不是，参数多只是比较有弹性，不是比较好06/11 14:55
33F：→ Wush978: 二十年前统计理论就可以告诉你当参数超过需要的参数时，06/11 14:56
34F：→ Wush978: 会以什麽样的方式来伤害模型06/11 14:56
35F：推 Wush978: 层数变深的进步主要是针对计算上的问题克服，但是基本统06/11 15:03
36F：→ Wush978: 计的定理是针对「利用数据建模」这件事情去给予限制，这06/11 15:03
37F：→ Wush978: 部分并没有被突破。06/11 15:03
38F：推 Wush978: 而我们也只能说在影像等应用领域，似乎越深层的模型结构06/11 15:05
39F：→ Wush978: 越接近真理，但是直接下结论越深越好是很危险的。我研究06/11 15:05
40F：→ Wush978: 的广告领域，深度学习的表现并没有特别突破，反而是另一06/11 15:05
41F：→ Wush978: 类模型在比赛中是常胜军。06/11 15:05
42F：推 Wush978: 我今年投稿kdd的实验中，在处理censoring 的问题时，甚06/11 15:08
43F：→ Wush978: 至没有证据显示深度学习一定比linear好...是个很难做的06/11 15:08
44F：→ Wush978: 问题。 06/11 15:08
了解
感谢回答
因为有看过说法是深会变广来得好
我才三层好像也不深XDDD
只是只能各种调整try&error来希望正确率上升有点不知道该怎麽做Q
※ 编辑: arch2453 (1.169.138.106), 06/11/2018 23:23:15
45F：→ Wush978: 看别人成功的经验是没错的，但是目前在这行，关键在实验 06/12 09:40
46F：→ Wush978: 设计：如何建立有效率的环境让你快速验证方法是否适用於 06/12 09:40
47F：→ Wush978: 你的问题 06/12 09:40
48F：→ Wush978: 没办法，目前这个领域处於实验、方法都不太reproducible 06/12 09:41
49F：→ Wush978: 简单来说，别人觉得有用的方法，在你的问题上不一定有用 06/12 09:41
50F：→ Wush978: 所以就是看别人怎麽做，但是自己要仔细检验... 06/12 09:41
51F：→ Wush978: 话说这行目前paper的可信度也不如传统科学领域，所以验证 06/12 09:42
52F：→ Wush978: 与怀疑非常非常重要... 06/12 09:42