作者disney82231 (小刀会序曲)
看板DataScience
标题[问题] autoencoder一定要对称吗
时间Wed Jul 24 12:55:27 2019
如题，网路看到的教学基本上都是对称的，但理论上好像没有强制一定要对称，但是如果
不对称，对於重建资料又好像不太合理？
另外，我隐藏层神经元个数一定要小於输入层吗？可以先大於输入层，最後在缩减成小於
输入层吗？
举例如下
对称：784>256>256>784
非对称784>1024>256>256>784
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 111.241.12.114 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1563944129.A.927.html
1F：推 st1009: 我想这种事没有一定，只要你实验结果好，并且提出一个合理07/24 13:27
2F：→ st1009: 造成这个结果的推论就好。07/24 13:28
但其实很多都是试误法，没有办法解释为什麽要这样，只是刚好这样做能提高模型表现，
那样该怎麽办呢
4F：→ st1009: 隐藏层都是大於输入层阿... 这一定有甚麽误会(歪头07/24 13:31
谢谢各位回覆，如果要进行特徵选取，但隐藏层大於输入层就会变的很矛盾，所以才会上
来询问
5F：推 sssh: 李宏毅有说不必要对称，其实如果知道只是一个encoder跟一个07/24 14:35
6F：→ sssh: decoder，我想就没有非得要对称了吧07/24 14:35
谢谢你的回覆，我了解了
※ 编辑: disney82231 (111.241.12.114 台湾), 07/24/2019 15:13:12
7F：推 sxy67230: 没有说一定要对称啊，真的会需要对称是很古早上古年代 07/24 16:34
8F：→ sxy67230: 的事情，那个时候大家还说共享两个的权重，但是後来发现 07/24 16:34
9F：→ sxy67230: 真的没必要。 07/24 16:34
10F：推 st1009: 没法解释就用更多数据和实验证明他是好的吧 07/24 19:44
11F：推 tipsofwarren: 对称应为：784>256>784 07/25 08:02
12F：推 leo0519: 我都直接用PCA 07/25 12:41
13F：推 zxp9505007: Pca快又准 07/27 11:10
14F：推 tipsofwarren: 时间序列可以用PCA? 07/29 08:28
15F：推 sxy67230: 其实是可以，但是不是直接喂序列进去，可能要做一些转 07/29 12:41
16F：→ sxy67230: 秩成周期的矩阵，在用矩阵来做svd分解 07/29 12:41
17F：推 sxy67230: 这样理论上是能分出成份波 07/29 12:42
18F：推 tipsofwarren: PCA 精神上就是找出Variance 大的features,序列来 07/29 23:57
19F：→ tipsofwarren: 看，有可能Variance 忽大忽小，这是我的疑惑。 07/29 23:57
20F：→ WengeKong: PCA是线性的，压缩率比不上NN 07/30 03:48
21F：推 sxy67230: 所以说这个周期矩阵应该是要covariance的矩阵，理论上 07/30 09:38
22F：→ sxy67230: 来说转换出来的应该是要频谱资讯在来做svd这样才能确保v 07/30 09:38
23F：→ sxy67230: ariance的一致性。 07/30 09:38