作者loveu8 (RA1-推广)
看板Soft_Job
标题Re: [请益] 转行做资料数据分析
时间Fri Sep 8 07:53:08 2017
前文砍~
---
有幸，在自己公司有玩到资料分析(黑手)的部分
不过都是很简单的部分，大家参考即可!
我是一位Java後端工程师，是公司简单R的课程教导之後
我就自己开始针对我熟悉的部分，进行资料汇整
分成一个小组後，大家一起练习分析目前公司新会员订单的一些状况
这部分其实很多我还是很不熟悉，若语意或观念需要修正
请各位大方纠正我，感谢!!~
1.资料分析的第一步是整理资料，但你看着线上营运资料量达到一个数量时
我是用SQL，做一些基本资料表的关联之後，就捞出资料放着，要注意就是
一开始目标通常不太明确，可以先试着缩小议题，减少捞取资料的困难度。
2.整理资料开始，一定会遇到NULL，空值，极端值
开始剃除这些"脏东西"以利我们继续分析下去
当然这些"脏东西"特多的时後，那就要特别注意
是不是你第一个步骤捞取资料时，就发生问题
或者是你们的网站还是存在一些问题，导致脏东西特多
那麽这点，就是可以考虑研究的主题(如果有时间的话)
3.资料视觉化，这个是资料说诉说故事的好机会，不管
你前面两项做得多好，你资料视觉化无法顺利达成，那麽
资料分析的效果很有可能打折甚至不到。
实务情况上是因为视觉化的目的，除了让资料用更好懂得方式
呈现外，还有一个原因就是，你需要给营运单位看。
那麽这些人本身不懂你的资料能表达什麽，视觉化可以让
这些拥有决策能力的人，更快理解自己的网站发生什麽事情
需要进行什麽改变。
4.前面三项完成之後，那就是会检视完成整理的视觉化资料
进行各种议题的探讨，那里需要改善，那一些客群可以着力刺激消费
一直循环这个回圈，一直改善，达到"资料掏金"的目的
以上是我简单资料分析心得啦，给各位参考即可。不过後续我就没在参与
下去了，因为这本来是side project就是了，当做玩过就好~
谢谢各位观看~
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 42.73.68.5
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1504828394.A.FE7.html
1F：推 f496328mm: 针对第二点，即使有遗失值，尽量还是不要删除该笔data 09/08 07:56
2F：推 f496328mm: 如果未来会做到ML，ML是可以处理遗失值的 09/08 07:59
3F：推 a3236852: 对我很有帮助 谢谢你～ 09/08 08:37
4F：→ loveu8: 哦哦，原来是这样，ML介入的话可以处理这块 09/08 08:39
5F：→ loveu8: 还在想说，这些资料应该还是有用途的，应该还是有方式可以 09/08 08:40
6F：→ loveu8: 让这些资料发挥作用，来源是这样！哈。感谢～～ 09/08 08:40
7F：推 askia: 你说的1&2是资料分析最重要的部份 09/08 09:32
8F：→ askia: 不过视觉化应该是在分析资料以後才做的事吧 09/08 09:33
9F：推 f496328mm: 极端值也要看看，到底是错误，还是该顾客是VIP等级， 09/08 09:36
10F：→ f496328mm: 消费能力高 09/08 09:36
11F：推 f496328mm: 如果data是关於网路购物，那社会科学有一种叫，RFM mod 09/08 09:38
12F：→ f496328mm: el，可以参考看看 09/08 09:38
13F：推 sennacon: 怎麽觉得是我的前公司XD 09/08 10:16
14F：推 Ekmund: 可以让员工这样玩 真是好公司QQ 09/08 11:06
15F：推 firingmoon: 大学以前就在玩这个,出社会那麽久很想再回去玩 09/08 11:17
16F：推 y800122155: 这几步骤就是单纯做叙述统计啊 用ML之前 先简单分析看 09/08 12:43
17F：→ y800122155: 一看资料长怎样是很基本的事情 後面还有很多可以分析 09/08 12:44
18F：推 IhateOGC: 资料分析精髓就是整理资料 09/08 12:47
19F：→ IhateOGC: 套公式和决策真的是老板的事 09/08 12:47
20F：推 vfgce: 缺漏值不多时,可以选择删除或填补...但比例太高时,就要小心 09/08 14:22
21F：→ vfgce: 填补了太多"假资料",对於之後的应用可能会造成影响.... 09/08 14:23
22F：→ loveu8: to f496328mm 学到东西了，哈，回家来看看 09/08 15:23
23F：→ loveu8: to y800122155 , 是啊，很简单的分析，以前从没接触过 09/08 15:24
24F：→ loveu8: 觉得还蛮有趣的，只是後面还是有原本东西要用，就放着了 09/08 15:24
25F：→ loveu8: 剩下就交给公司内专职的资料分析师，处理後续了~ 09/08 15:25
26F：→ loveu8: to vfgce , 还好经手的资料，还没到这个程度，倒是 09/08 15:26
27F：→ loveu8: 有其他人遇到过，只好想办法处理了，哈 09/08 15:26
28F：→ loveu8: to askia , 是啊 , 只是有时候我们工程师没有决策能力 09/08 15:30
29F：→ loveu8: 又无法有效说明的时候，视觉化存在是加强你前面 09/08 15:30
30F：→ loveu8: 1跟2的注释一样，加强拥有决策的人，信任你做出 09/08 15:31
31F：→ loveu8: 的资料~ (无奈XD) 09/08 15:31
32F：推 f496328mm: ML处理遗失值，除了填补，还有一种是利用决策树的概念 09/08 15:42
33F：→ f496328mm: ，去进行预测 09/08 15:42
34F：推 askia: to loveu8: 但是这个文章的标题是「分析」啊 09/08 16:06
35F：推 subset: 视觉化在超过三维度的资料应该很难做到吧 09/08 16:50
36F：→ subset: 若是在N维的资料中 取出1~3维资料 又会看不到隐含的东西 09/08 16:51
37F：→ f496328mm: ㄜ....，视觉化不是指画画二维图三维图 09/08 17:20
38F：推 subset: 愿听楼上指导 09/08 17:56
39F：推 ray39620: 视觉化可以很丰富喔，多维资料也可透过各种方式去呈现观 09/08 18:27
42F：→ f496328mm: 连结中的图，我觉得也很不错 09/08 18:59
43F：推 vfgce: 决策树,KNN或是均值,都是补值,缺漏项一多,模型可信度就 09/08 19:18
44F：→ vfgce: 要再考虑一下... 09/08 19:19
45F：推 vfgce: 视觉化要小心处理,一堆初学者都以为决策平面一定画得出来.. 09/08 19:31
46F：→ y800122155: missing value handling方法很多 每个case适用的处理 09/08 21:39
47F：→ y800122155: 方式不一定一样 常常是需要做叙述统计去看一看状况 09/08 21:40
48F：→ y800122155: 有时候看用的Algo不同 有的不补值可能结果还比较好 09/08 21:41
49F：→ loveu8: 感谢各位回馈，果然要一群人讨论，进步最快阿~ 09/09 07:33
50F：→ loveu8: RFM 我有喵了一下，可惜没有完全实作 09/09 07:33
51F：→ loveu8: 主要是商品与捞取的会员资料范围区间才一年半 09/09 07:34
52F：→ loveu8: 还真的无法看出有效的回购时间，只好做出 09/09 07:35
53F：→ loveu8: 一张简单的消费次数与金额级距表，解释我们会员的消费能力 09/09 07:35
54F：→ loveu8: 不过等有机会在玩了(专案烧屁股中XD 09/09 07:36