作者maple60107 (ntuics)
看板DataScience
标题[问题] 模型分批训练
时间Sat May 9 16:53:51 2020
作业系统: win10
问题类别: ml
使用工具: keras,tensorflow,python
问题内容：
大家好
我有一个问题想问
我已经建立一个模型并用第一号训练集训练完成且用第一号测试集测试过，我觉得成果不错。
所以我把此模型储存起来。
那之後我可以再次载入模型，用第二号训练集训练这个模型吗？
我已经把模型储存起来了，要是第二号训练集的效果不好，要怎麽改模型架构和参数。
因为我的档案非常的多
有一百个csv档
我光一个csv就必须拆成40个训练集了
希望大家能帮我解答一下
谢谢
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 223.140.2.222 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1589014433.A.14A.html
1F：推 st1009: 可以用新资料继续train 05/09 17:21
2F：→ st1009: 要改的话，可以选则重train或把以前的当pre-train model 05/09 17:22
3F：→ truehero: 如果你的训练集都是一样重要 应该把它视为一个训练集 05/09 23:58
4F：→ truehero: 依次TRAIN好 , 之後如有新资料FINETUNE 当成另一件事 05/09 23:58
5F：→ truehero: 照你的做法, 如果不freeze weight ,二号会盖掉一号 05/10 00:02
6F：推 world4jason: 我觉得你是不是有点不懂训练还有fine tune 05/10 00:39
7F：→ maple60107: 感谢大家的回覆 05/10 09:18
8F：→ maple60107: 我确实不太懂 05/10 09:18
9F：→ maple60107: 我查了两样东西 05/10 09:18
10F：→ maple60107: 不知道是不是对的 05/10 09:18
11F：→ maple60107: train on batch 05/10 09:18
12F：→ maple60107: transfer learning 05/10 09:18
13F：推 st1009: batch跟你要做的比较接近 05/10 09:58
14F：推 st1009: transfer是用在目标资料太少，所以用非domain的资料辅助 05/10 09:59
15F：推 OnePiecePR: 听三楼的话，一起 train 05/10 18:36
16F：推 OnePiecePR: 资料太多，有 min batch 挡住，其他乖乖耐心等。 05/10 18:37
17F：推 zxp9505007: 如果没有把上一次最後的lr记下来 跑新资料会盖掉 05/14 19:35
18F：→ zxp9505007: 丢在一起练是最好的 然後把train batch弄小 再来就是 05/14 19:36
19F：→ zxp9505007: 耐心 慢慢tune网路 05/14 19:36