作者keepingJBJ (keep)
看板Python
标题[问题]在资料处理与统计分析python or R?
时间Mon Jun 20 03:47:31 2016
各位前辈大家好
小弟本身是在做资料分析的工作
平常工作上使用的主要是SQL跟SAS
自己想学其他的 open source code 加强能力
不知道各位前辈对於做ETL or Data mining
比较推荐python还是R呢
小弟第一次发言
请大家提供小弟建议
谢谢
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 101.14.97.42
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1466365654.A.723.html
1F：→ bibo9901: Python已经够慢了, R更是慢到无以复加... 06/20 11:08
2F：→ shadowjohn: 资料得处理再处理再处理再处理再去喂工具XD 06/20 13:07
3F：→ Neisseria: 先评估函式库/套件有没有符合需求再来选语言 06/20 13:22
4F：→ Neisseria: 语法上是 Python 比 R 简单，但这往往不是最重要的点 06/20 13:23
5F：推 JackBaska: 单资料整理 R 赢 Python , 如果你的资料是型态很杂且 06/20 17:00
6F：→ JackBaska: 需要很前处理的话,我是推荐 R 06/20 17:01
7F：→ JackBaska: 如果你的资料是大量数值,或是结构性还有coding状况算好 06/20 17:01
8F：→ JackBaska: 的资料,Python在校能上可以让你做很多分析,而且速度非 06/20 17:02
9F：→ JackBaska: 常快,像是我之前要在R上面生出一亿个元素的乱数矩阵 06/20 17:03
10F：→ JackBaska: 等超久,Python只要几秒,看需求为主 06/20 17:03
11F：→ Wush978: R 的乱数产生器比较严谨。很多R 开发者的取舍，效能并不 06/20 17:19
12F：→ Wush978: 是最重要的。因为要说效能，python/R都呵呵 06/20 17:19
13F：推 JackBaska: 是阿...可惜....全用Cpp爆开开发速度会崩溃 06/20 17:34
14F：→ JackBaska: 我比较倾向先确定想法算法可以work,再考虑要不要刻 06/20 17:34
15F：→ keepingJBJ: 谢谢前辈们提供的建议，小弟就先从R开始学习，资料 06/20 17:59
16F：→ keepingJBJ: 整理的效能对统计分析真的很重要 06/20 18:00
17F：→ bibo9901: 用R就注定你的data大学永远只能是玩具等级 06/20 18:02
18F：→ bibo9901: 小 06/20 18:02
19F：→ bibo9901: 另外可以给个"R的乱数产生器比较严谨"的 reference 吗? 06/20 18:09
20F：→ Wush978: 我用R在企业中处理一天破亿笔的资料，并且架设推荐引擎 06/20 18:48
21F：→ Wush978: R的dplyr後面接一层就可以直接串sparkSQL 06/20 18:49
23F：→ Wush978: 不过说回来，处理大数据，和用R，用python比较没关系 06/20 18:51
24F：→ Wush978: 了解资料结构，演算法，作业系统等知识後，用什麽都一样 06/20 18:52
25F：→ Wush978: 恩... 应该说，语言还是有差，但是不会是在R vs Python这 06/20 18:52
26F：→ Wush978: 种问题，而是java hadoop-like 等工具集合 v.s. 其他等这 06/20 18:53
27F：→ Wush978: 种层面上 06/20 18:53
28F：推 gozule: 选python，需要速度就用cython加速 06/20 22:57
29F：推 gozule: 我用cython+numpy写算法，效能和纯c的程式效能差异可以压 06/20 23:01
30F：→ gozule: 在10%以内 06/20 23:01
31F：推 gogogogo3333: 请问楼上大大，cpython 该如何入门呢？有推荐的ide 06/21 07:05
32F：→ gogogogo3333: 吗？ 小弟目前是使用anaconda 下的spider ide 06/21 07:05
33F：推 JackBaska: go大。原po主需求是资料前处理还有ㄧ般统计分析，还有 06/21 09:06
34F：→ JackBaska: 对非cs背景的亲合度，整体来说R应该更适合，对非相关 06/21 09:06
35F：→ JackBaska: 领域来说dplyr比pandas还有re亲民许多 06/21 09:06
36F：→ JackBaska: 不过我也想问cython入门 06/21 09:06
37F：推 gozule: cython只是把python加上type後编译而已，重点是编译後可以 06/21 10:49
39F：→ gozule: 还有cython不是CPython，这是两种不同的东西 06/21 10:50
40F：→ gozule: cython的写法也很简单，先把python程式写好确定正确性後， 06/21 10:51
41F：→ gozule: 就可以开始替变数加type，加好後编译即可直接执行 06/21 10:51
42F：→ gozule: cython的IDE目前我只知pycharm pro有支援，学术用免费 06/21 10:52
45F：→ gozule: 如果R能够用llvm编译执行也能很快，只是相关套件不成熟 06/21 11:00
46F：→ Neisseria: 看了一下 g 大提供的 benchmark，觉得 Cython 蛮厉害的 06/21 11:07
47F：→ Neisseria: 可以接近 C 和 Julia，但是相对好写很多 06/21 11:08
48F：→ Wush978: (偏了) 要效能的话，试试看pypy吧，可能比cython更快 06/21 20:02
49F：→ Wush978: 而且不用改code，只是换interpreter 06/21 20:02
50F：推 os653: PyPy 是比 Python 快不少啦，但是跟 C 比... 06/21 20:54
51F：→ uranusjr: PyPy 一般被认为在可以和 C 在同一个数量级喔, 完全可比 06/21 21:10
52F：推 gozule: pypy也是一个选项，只是对於numpy为主的套件似乎支援不完 06/22 01:03
53F：→ gozule: pypy官网一直都有在募集资金做numpy for pypy的porting 06/22 01:06
55F：→ gozule: 主，建议用cython, 如是纯python的话，可以用pypy更省事。 06/22 01:06
57F：推 svin: 新手想请教gozule大, 请问cython code里可以使用python的其 06/22 01:15
58F：→ svin: 他package吗? 06/22 01:15
59F：推 CaptainH: pypy不能用scipy等package 太伤了 06/22 02:12
60F：推 CaptainH: 而且个人经验是：pypy 和 C/C++ 速度同个数量级的程式码 06/22 02:18
61F：→ CaptainH: ，此时Cpython也不会慢到哪去 06/22 02:18
62F：推 JackBaska: os大大 C很快但开发时间跟不上老板的心啊 06/22 07:58
63F：→ gozule: cython里面可以使用cpython的全部套件，也可以用c/c++开发 06/22 13:49
65F：→ gozule: 简单的说，只要cpython能够import的套件,cython通通能用 06/22 13:51