作者world1220 (gunhow)
看板DataScience
标题[问题] 资料拆分与资料前处理
时间Wed May 27 15:22:31 2020
大家好，最近开始入门 Kaggle 基本的竞赛，
在这些竞赛中都先分好训练跟测试资料集。
而在看过一些热门的kernel发现，
多数人在一开始就先将training跟testing资料集合并，
接着进入EDA(Exploratory Data Analysis)阶段。
其中在这个阶段中需要处理缺失值的问题。
小弟想问的是 先把两个资料集合并後，利用mean或median方式处理缺失值不会有偷看答案的问题吗？（因为使用包含testing的资料进行处理）
非常谢谢大家的回答～
-----
Sent from JPTT on my iPhone
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 140.115.70.106 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1590564153.A.465.html
※ 编辑: world1220 (140.115.70.106 台湾), 05/27/2020 15:25:18
※ 编辑: world1220 (140.115.70.106 台湾), 05/27/2020 15:26:46
1F：推 jigfopsda: 看使用的情境 比赛的情况下可以先拿到 test data 我觉 05/27 16:04
2F：→ jigfopsda: 得就可以用 05/27 16:04
3F：推 kokolotl: 为了分数就合在一起处理 05/27 16:30
4F：→ hit5180214: 不会 05/27 17:12
5F：→ world1220: 非常谢谢大家回答 05/27 17:52
6F：→ world1220: 想请问hit大大 为什麽这样不会有偷看答案的问题呢？ 05/27 17:52
7F：→ truehero: 这不是偷看答案，而是让你的mean更合理 05/27 19:35
8F：→ world1220: 谢谢truehero大大的回答。 05/27 21:27
9F：→ world1220: 对於让mean更加合理我想我可以理解。 05/27 21:27
10F：→ world1220: 那另外想问 若是使用scale的动作时，也能够将资料合并 05/27 21:27
11F：→ world1220: 在一起同时scale吗？因为我过去学到的是在scale时必须 05/27 21:27
12F：→ world1220: 将资料拆分後再做这个动作。 05/27 21:27
13F：推 st1009: 假设你今天在一家公司里，你们蒐集了很多资料，这些资料你 05/28 09:16
14F：→ st1009: 门雇用了工读生label了20%，你希望得到剩下80%的label,那 05/28 09:18
15F：→ st1009: 现在你对那些未知label的资料做你所说的处理合理吗? 05/28 09:19
16F：推 sxy67230: 就一起做scale啊，这是比赛，本来很多trick可以用就先 05/28 11:53
17F：→ sxy67230: 用上，尤其是连测试资料一起做分析，最後在训练train da 05/28 11:53
18F：→ sxy67230: ta来预测test data，说白了就是让特徵分布的尺度缩限在 05/28 11:53
19F：→ sxy67230: 一定范围内而已。 05/28 11:53
20F：→ world1220: 谢谢sxy大，所以在比赛时规则没有明订的前提下用尽身边 05/28 13:40
21F：→ world1220: 的资源以及手段去提高准确率是可以的。 05/28 13:40
22F：→ world1220: 那小弟我好奇如果是在实务或是在严谨研究上呢？也能够 05/28 13:40
23F：→ world1220: 这麽做吗？因为test data的定义不是只能拿来最後衡量模 05/28 13:40
24F：→ world1220: 型的表现吗？我们在建造model的时候是不能用到任何关於 05/28 13:40
25F：→ world1220: test data的资讯的吧？ 05/28 13:40
26F：推 aidansky0989: 我在info就补缺失值，mean用整体是比较准，只要训练 05/28 14:56
27F：→ aidansky0989: 时没用到test就好 05/28 14:56
28F：推 andy086: 我的经验啦，基本上在实务上不可能只会有一组test data， 05/28 15:53
29F：→ andy086: 通常会拆成train validation和test，而val是从train拆出 05/28 15:53
30F：→ andy086: 来的，而test则是真实的未来资料。所以模型建立时要像你 05/28 15:53
31F：→ andy086: 说的那样处理并不是不可以，因为val就是从train当中切出 05/28 15:53
32F：→ andy086: 来的一部分，但最後验证一定会需要一笔从来没看过的未来 05/28 15:53
33F：→ andy086: 资料验证才行 05/28 15:53
34F：→ andy086: 如果只是针对比赛就像前几楼所说的罗 05/28 15:54
35F：→ yoyololicon: 比赛最後评分的那个才是test data 05/28 18:52
36F：→ yoyololicon: 你拿不到的 05/28 18:52
37F：推 andy086: 对欸我都忘记了，感谢楼上提醒，所以其实还是一样的 05/28 19:23
38F：→ world1220: 了解了 谢谢上面各位的帮忙～ 05/28 20:03