作者littleyuan (baby)
看板Soft_Job
标题[请益] 机器学习如何做好version control
时间Sat Apr 14 07:27:46 2018
大家好
我是ML新手 跟的前辈是很优秀的超强者
但是前辈很不organized 写的code总是不commit
主管希望下个项目之前我可以提出报告要如何改进并且希望前辈能跟进
我是觉得ML和其他写程式有点不同
因为不断测试参数 每次调参数都commit的话好像太繁杂 所以我一般是有了好结果才com
mit一次 不知道大家一般怎麽做的
另一个问题是资料库会更新 更新过程那原来的model 不变读到的数据就不一样了那出来
的结果也还是不一样
这样要怎麽reproduce做出和原来一样正确率??
大家会写个word档纪录每次Data的变化吗?
想知道大家实际工作上是如何管理的呢?
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 184.64.125.141
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1523662068.A.763.html
1F：→ Mchord: 测试出来的正确率只能对应到该次的model和dataset版本，04/14 07:47
2F：→ Mchord: 两者其一有变动就应该要重测一次数据04/14 07:47
3F：推 backprog: 每次都commit啊，因为你有可能下次调参就变差了。 资料04/14 07:54
4F：→ backprog: 变动的话，就另外add一个描述资料的文件一起commit04/14 07:54
5F：推 elements: 我比较好奇 jupyter 怎麽版控04/14 09:15
6F：→ janus7799: 写一份实验数据分析之类的04/14 09:46
7F：推 Murasaki0110: 你的问题只是要好好把实验config整理好04/14 10:09
8F：推 Murasaki0110: 包括dataset内容，augment用哪些这些细节都应该要记 04/14 10:11
9F：推 f496328mm: 就跟做实验一样啊04/14 10:13
10F：推 enthos: 我在家自用的script在dropbox目录下修改,自动备份所有存档04/14 10:39
11F：→ maxqq: 强者搞自己的？这样叫强者？强者若要搞自己的，干嘛找人？ 04/14 12:11
我们这个ML项目得奖 前辈有被邀请去英国Cambridge和今年是暑假会去美国MIT 前辈强在
知识和理论 还有几项和ML无关的发明 我们都不是写程式出身
※ 编辑: littleyuan (184.64.125.141), 04/14/2018 12:28:05
12F：推 cobrasgo: 如果db一直会更新就比较麻烦04/14 12:56
嗯db是每天都会大量新增 甚至旧数据会被改动。。
优点是我们有非常大量的数据 但是目前还在找好的方式去让这些大量数据能妥善被使用
。。并且在想如何去data version control是最好的方式。。
※ 编辑: littleyuan (184.64.125.141), 04/14/2018 13:01:52
13F：推 mraaa: 我以爲Machine Learning就是让机器去分析学会「调参数」，04/14 15:43
14F：→ mraaa: 而不是一直「手动」调参数。是我误会什麽了吗？04/14 15:43
15F：推 clairehuei: 原po说的调参数 指的应该是超参数吧 04/14 15:54
16F：推 SmallpTsai: 你没有提问题在那里? code不commit有什麽实际的影响? 04/14 18:36
17F：→ SmallpTsai: 长官对什麽地方不爽? 04/14 18:37
18F：推 chchan1111: 你那些超参数都是写死在程式里? 04/14 19:10
19F：→ chchan1111: 我的话会另外用个档案存超参数 程式一开始去取值 04/14 19:12
20F：→ chchan1111: 版控就只要做程式的部分就好了吧 04/14 19:12
21F：→ chchan1111: 另外数据一值更新 是不是可以先固定一组训练/测试集 04/14 19:13
22F：→ chchan1111: 这样新model才能做比较 有变好再上线使用 04/14 19:14
23F：→ chchan1111: 也比较方便记录不同组超参数在同样资料下的结果 04/14 19:15
24F：推 pwh17: Data version control is a new tool. You could check the 04/14 19:43
25F：→ pwh17: ir article on Medium 04/14 19:43
26F：推 poloball: 做影像的话 通常会测固定的dataset 每版commit model跟 04/14 20:18
27F：→ poloball: parameter 你的应用听起来input不固定比较复杂 04/14 20:19
28F：推 shietsd: 把每次跑的model存起来啊，这样资料集固定了04/14 21:09
29F：→ shietsd: 至於超参数，好像也只能另写config档来存做版控，看其他04/14 21:10
30F：→ shietsd: 高手有无较好的方法。 04/14 21:10
对我是说超参数hyperparameters不是一般参数><
先谢谢大家的意见!!我会参考大家的方式新project时应用希望不会那麽杂乱了
※ 编辑: littleyuan (184.64.125.141), 04/14/2018 22:04:35
31F：推 chedbens0729: 用config纪录hyperparamater和结果以及model档名称 04/15 16:43
32F：→ chedbens0729: 吧,不太懂你说db一直变动什麽意思,有人在commit db 04/15 16:43
33F：→ chedbens0729: 的吗… 04/15 16:43
34F：推 cory8249: 这确实是蛮困扰的问题 data 跟 code 同时在变的话 04/15 18:54
35F：→ Mchord: 除了刷数据投paper以外，现实中固定dataset然後狂调参数意 04/16 00:02
36F：→ Mchord: 义不大吧？ 04/16 00:02
37F：→ Wush978: 管理机器学习的程式码在几年前还是Open Problem, 没答案 04/16 02:21
38F：→ Wush978: 近年应该满多Talk在分享相关议题, 我自己是看Google的论 04/16 02:22
39F：→ Wush978: 文才注意到这个问题: 04/16 02:23