作者maple60107 (ntuics)
看板DataScience
標題[問題] 模型分批訓練
時間Sat May 9 16:53:51 2020
作業系統: win10
問題類別: ml
使用工具: keras,tensorflow,python
問題內容：
大家好
我有一個問題想問
我已經建立一個模型並用第一號訓練集訓練完成且用第一號測試集測試過，我覺得成果不錯。
所以我把此模型儲存起來。
那之後我可以再次載入模型，用第二號訓練集訓練這個模型嗎？
我已經把模型儲存起來了，要是第二號訓練集的效果不好，要怎麼改模型架構和參數。
因為我的檔案非常的多
有一百個csv檔
我光一個csv就必須拆成40個訓練集了
希望大家能幫我解答一下
謝謝
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.140.2.222 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1589014433.A.14A.html
1F：推 st1009: 可以用新資料繼續train 05/09 17:21
2F：→ st1009: 要改的話，可以選則重train或把以前的當pre-train model 05/09 17:22
3F：→ truehero: 如果你的訓練集都是一樣重要 應該把它視為一個訓練集 05/09 23:58
4F：→ truehero: 依次TRAIN好 , 之後如有新資料FINETUNE 當成另一件事 05/09 23:58
5F：→ truehero: 照你的做法, 如果不freeze weight ,二號會蓋掉一號 05/10 00:02
6F：推 world4jason: 我覺得你是不是有點不懂訓練還有fine tune 05/10 00:39
7F：→ maple60107: 感謝大家的回覆 05/10 09:18
8F：→ maple60107: 我確實不太懂 05/10 09:18
9F：→ maple60107: 我查了兩樣東西 05/10 09:18
10F：→ maple60107: 不知道是不是對的 05/10 09:18
11F：→ maple60107: train on batch 05/10 09:18
12F：→ maple60107: transfer learning 05/10 09:18
13F：推 st1009: batch跟你要做的比較接近 05/10 09:58
14F：推 st1009: transfer是用在目標資料太少，所以用非domain的資料輔助 05/10 09:59
15F：推 OnePiecePR: 聽三樓的話，一起 train 05/10 18:36
16F：推 OnePiecePR: 資料太多，有 min batch 擋住，其他乖乖耐心等。 05/10 18:37
17F：推 zxp9505007: 如果沒有把上一次最後的lr記下來 跑新資料會蓋掉 05/14 19:35
18F：→ zxp9505007: 丟在一起練是最好的 然後把train batch弄小 再來就是 05/14 19:36
19F：→ zxp9505007: 耐心 慢慢tune網路 05/14 19:36