作者PyTorch (背後肮脏的PY火炬)
看板DataScience
标题Re: [问题] autoencoder一定要对称吗
时间Thu Aug 1 12:02:08 2019
※ 引述《disney82231 (小刀会序曲)》之铭言：
: 如题，网路看到的教学基本上都是对称的，但理论上好像没有强制一定要对称，但是如果
: 不对称，对於重建资料又好像不太合理？
: 另外，我隐藏层神经元个数一定要小於输入层吗？可以先大於输入层，最後在缩减成小於
: 输入层吗？
: 举例如下
: 对称：784>256>256>784
: 非对称784>1024>256>256>784
如果是非对称 哪边要比较复杂？
这是个很有趣的问题
encoder一般是把高维map到低维
decoder一般是把低维map到高维
哪一边要比较复杂？
今天假设我有1000张宝可梦图片 每张512*512 pixel
如果用encoder压到2*2 这4个pexel错一个pixel影响多大？
如果我再用decoder映回512*512 错一个pixel影响多大？
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 140.112.77.172 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1564632130.A.378.html
1F：推 acctouhou: 这也有问题吧 高维降到低维比低维升到高维相对不容易出 08/01 12:49
2F：→ acctouhou: 错啊 08/01 12:49
3F：推 acctouhou: 影响大 逞罚也大 问题是资讯的复杂度在决定到底谁需 08/01 12:55
4F：→ acctouhou: 要比较复杂吧？ 08/01 12:55
我是这样认为 高维的资讯 存在冗余
要从低维扩展到高维是比较简单的
但是从高维压缩成低维是比较难的
当然跟资料怎麽分布也有关系 这可以当信仰看看就好
※ 编辑: PyTorch (140.112.73.11 台湾), 08/01/2019 13:53:12