作者disney82231 (小刀會序曲)
看板DataScience
標題[問題] autoencoder一定要對稱嗎
時間Wed Jul 24 12:55:27 2019
如題，網路看到的教學基本上都是對稱的，但理論上好像沒有強制一定要對稱，但是如果
不對稱，對於重建資料又好像不太合理？
另外，我隱藏層神經元個數一定要小於輸入層嗎？可以先大於輸入層，最後在縮減成小於
輸入層嗎？
舉例如下
對稱：784>256>256>784
非對稱784>1024>256>256>784
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.241.12.114 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1563944129.A.927.html
1F：推 st1009: 我想這種事沒有一定，只要你實驗結果好，並且提出一個合理07/24 13:27
2F：→ st1009: 造成這個結果的推論就好。07/24 13:28
但其實很多都是試誤法，沒有辦法解釋為什麼要這樣，只是剛好這樣做能提高模型表現，
那樣該怎麼辦呢
4F：→ st1009: 隱藏層都是大於輸入層阿... 這一定有甚麼誤會(歪頭07/24 13:31
謝謝各位回覆，如果要進行特徵選取，但隱藏層大於輸入層就會變的很矛盾，所以才會上
來詢問
5F：推 sssh: 李宏毅有說不必要對稱，其實如果知道只是一個encoder跟一個07/24 14:35
6F：→ sssh: decoder，我想就沒有非得要對稱了吧07/24 14:35
謝謝你的回覆，我了解了
※ 編輯: disney82231 (111.241.12.114 臺灣), 07/24/2019 15:13:12
7F：推 sxy67230: 沒有說一定要對稱啊，真的會需要對稱是很古早上古年代 07/24 16:34
8F：→ sxy67230: 的事情，那個時候大家還說共享兩個的權重，但是後來發現 07/24 16:34
9F：→ sxy67230: 真的沒必要。 07/24 16:34
10F：推 st1009: 沒法解釋就用更多數據和實驗證明他是好的吧 07/24 19:44
11F：推 tipsofwarren: 對稱應為：784>256>784 07/25 08:02
12F：推 leo0519: 我都直接用PCA 07/25 12:41
13F：推 zxp9505007: Pca快又準 07/27 11:10
14F：推 tipsofwarren: 時間序列可以用PCA? 07/29 08:28
15F：推 sxy67230: 其實是可以，但是不是直接喂序列進去，可能要做一些轉 07/29 12:41
16F：→ sxy67230: 秩成週期的矩陣，在用矩陣來做svd分解 07/29 12:41
17F：推 sxy67230: 這樣理論上是能分出成份波 07/29 12:42
18F：推 tipsofwarren: PCA 精神上就是找出Variance 大的features,序列來 07/29 23:57
19F：→ tipsofwarren: 看，有可能Variance 忽大忽小，這是我的疑惑。 07/29 23:57
20F：→ WengeKong: PCA是線性的，壓縮率比不上NN 07/30 03:48
21F：推 sxy67230: 所以說這個週期矩陣應該是要covariance的矩陣，理論上 07/30 09:38
22F：→ sxy67230: 來說轉換出來的應該是要頻譜資訊在來做svd這樣才能確保v 07/30 09:38
23F：→ sxy67230: ariance的一致性。 07/30 09:38