作者znmkhxrw (QQ)
看板Python
標題[問題] keras trainable 快速設定 500p
時間Tue Nov 20 04:52:33 2018
想請問一個型如以下的model：
input = Input(shape = (None, None, 3))
y = block_1(input)
y_1 = block_2(y)
y_2 = block_3(y)
y_3 = Concatenate()([y_1, y_2])
model = Model(input, y_3)
有沒有辦法
不用summary算層數在model build起來後
直接設定y_1 = block_2(y)的trainable為False
其中
block_1,2,3 都不是 Model class
會有這問題是因為當初因為block_1,2,3很複雜就沒逐一設name
原本想要硬算層數，但是summary出來發現因為
y_2, y_3都有吃到y，所以summary的layer
是平行對稱下來的，但是又有不對稱的地方，算完也不太確定是否正確
不知道是否有一勞永逸的方法？
雖然把block改寫成 Model class是一解，但是原本的架構已經train完了
嘗試改寫成 Model class就load不進去原本train好的weights....
因為 Model class會被當成一整大層的layer，整體變一層 就對不上了QQ
感謝幫忙~第一個解決的500p致謝
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 219.68.160.241
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1542660755.A.94C.html
※ 編輯: znmkhxrw (219.68.160.241), 11/20/2018 04:53:09
1F：→ jackwang01: 嗯...block2多加一個參數控制trainable? 11/21 01:32
這個我試過了，好像有BUG，應該說是keras自己的設定
當初我train時全部的layer都是True
而晚上我就故意建一個一模一樣的model，只是block_2裡面layer都給trainable = False
之後再load_weights應該就可以了
結果是
失敗的！
整個超不合理的，等於是說我用全部trainable = True的model下去train，
之後
建回來一樣的model時連trainable都要設定一樣才能load_weights...
但是明明毫無關係阿
後來上google找，有人有相同的問題：
https://goo.gl/1v8rYz
他是model = Res50 + self_layer, train時把Res50的trainable改成False
之後要load回來fine tune時，必須
建一個Res50的trainable = False的同model才能load
這個能解掉的話也是一個方法...
或是
#1Rz40vk6 (DataScience) 的問題如果有解也是一種方法
※ 編輯: znmkhxrw (219.68.160.241), 11/21/2018 01:42:02
2F：推 germun: trainable會影響model取weights的順序 11/21 04:10
3F：→ germun: 加name是最簡單啦...雖然我覺得改寫成model比較省事 11/21 04:19
4F：→ germun: 至育weights的問題你用model.weights檢查一下就知道了 11/21 04:20
5F：→ germun: 順序有變又不想重train的話,就list對照一下順序調整就好.. 11/21 04:21
原來順序會變....所以真的當時train前的default tranability setting是怎樣時
load_weights時所建的model也要跟當初save weights有相同的default tranability??
不過因為block_2涵蓋超多layer 逐個調weight順序好像有點血尿XDDD
學了一課 THX~
6F：→ germun: 因為不論存取weights都是照list的順序去擺的, 另外我記得 11/21 14:28
7F：→ germun: 即使你塞的是model也不影響你weights取出來的list, 應該是 11/21 14:29
8F：→ germun: tainable改順序的關係讓你誤以為是model的問題 11/21 14:29
9F：→ germun: 而順序會變是因為keras在取weights時會把能train跟不能 11/21 14:30
10F：→ germun: train的weights分開取出來再concat起來 11/21 14:30
所以，假設一個model有3個layer：
(1)trainable 分別為 T F T
(2)trainable 分別為 T T T
這兩個在save_weights時，存的順序順序是不一樣的
如果是在(1)的情況下存
之後要load_weights時，即便建同樣的model，trainable 一定也要先給 T F T 後
才能load成功？
※ 編輯: znmkhxrw (220.128.169.29), 11/21/2018 14:39:27