作者fragmentwing (片翼碎夢)
看板DataScience
標題[問題] torch的backward是怎麼管理的？
時間Thu Apr 11 14:23:53 2024
考慮一個類似STN（Spatial Transform Network）搭配一個用上CNN層的Classfier的架構
只是STN這次是靠不同於Classifier，獨立的loss function去評價並產生loss餵給STN自己
這樣的話怎麼把兩個backward分開進行？
是靠各自弄一個optimizer來管理嗎？
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.77.107.182 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1712816645.A.764.html
1F：推 wuyiulin: 你要兩個同時訓練？不考慮遷移學習？ 04/12 19:45
2F：→ wuyiulin: 我有幹過類似的東西，但是那個時候是把Loss加起來，用 04/12 19:45
3F：→ wuyiulin: 一個 optimizer 04/12 19:45
4F：→ fragmentwing: 我後來梳理這次要建的結構 發現合在一起還是比較合 04/13 00:43
5F：→ fragmentwing: 適的 只不過這次的構思過程中確實激起我的好奇心 04/13 00:43
6F：→ fragmentwing: 用一個optimizer的話應該還是同一個更新 只是loss會 04/13 00:43
7F：→ fragmentwing: 像雙胞胎三胞胎網路那樣由多個網路輸出後合併計算吧 04/13 00:43
8F：→ fragmentwing: 直接loss相加很有趣的感覺 04/13 00:58
9F：推 DaOppaiLoli: 路過好奇，請問 STN 是 Spatial Transformer Networ 04/13 06:04
10F：→ DaOppaiLoli: k 嗎 04/13 06:04
12F：→ fragmentwing: 是的 我看到的方法是裝在分類器裡 實際上提供評價的 04/13 13:59
13F：→ fragmentwing: 還是分類器output後算出來的loss 04/13 13:59
14F：→ fragmentwing: STN算是間接跟著更新 04/13 13:59
15F：→ fragmentwing: 個人認為這其實會為模型帶來不穩定因素 04/13 13:59
16F：→ fragmentwing: 因為一個loss就要同時負責分類的準確度與映射的正確 04/13 13:59
17F：→ fragmentwing: 度 意義的解釋上存在衝突 04/13 14:00
18F：→ fragmentwing: 不過我實作上是有提升辨識準確度 04/13 14:00
19F：→ fragmentwing: 最有趣的是 STN可以推廣到一維和多維的調參上（非指 04/13 14:02
20F：→ fragmentwing: 超參） 04/13 14:02
21F：→ fragmentwing: 理論上你可以用STN的方式給一維資料做平滑處理的參 04/13 14:02
22F：→ fragmentwing: 數調整 像是多項式要幾次或窗口要多大 只要能確保這 04/13 14:03
23F：→ fragmentwing: 個平滑過程大致上存在能收斂的地方 04/13 14:03
24F：→ fragmentwing: 那STN就會在訓練過程中找出適合的調參 04/13 14:08
25F：→ fragmentwing: 等等我發現我原文就有把全名打出來了XD 04/13 14:13
26F：推 DaOppaiLoli: 因為原文是 Transform 想說會不會跟 Transformer 不 04/13 15:10
27F：→ DaOppaiLoli: 是同個東西 XD 04/13 15:10
28F：→ fragmentwing: 完全不一樣XD 04/13 17:05
29F：→ chang1248w: tensorflow要動這塊還挺簡單的 04/26 03:31