※ 引述《wudistan (wudistan)》之铭言： : 大家好，由於大学就读统计系,在网路上看了许多big data的资料与一些会用到的程式如java、Hadoop、mapreduce、NoSQL与R，由於在当替代役中，虽然想去上资策会课程又无法去，想说利用有空档时间学习相关知识，其中对R有基础认识，想从这里开始从头开始学，但由於大学所学的与big data所需貌似不是很有相关… : 小弟愚笨爬了很多文但还是想请问版大们R在学习上该如何与何时进入big data这块？ 谢谢版大们～ 想要玩大资料的人，目前的主流是资工出身的同学。统计出身的人相比之下，优势在於以 机率统计描述资料时，可以更深刻地理解模型背後代表的意义，进而在挖掘资料时找到更 深的资讯。 缺点则是对工具（电脑）的理解不够深入，所以在工具的运用能力上要花心思，或是避开 交给专家（和资工的人合作）。 R 可以处理较大的资料，但是你要比处理小资料多知道很多R 工作的原理，尤其是记忆体 相关的议题。如果不幸，你得直接处理真正很大很大的资料（TB+），请去学Java(Hadoop) 或Scala(Spark)把资料整理(弄小)之後再交给R 做。 我个人认为大资料中，分析部分的挑战和过去没什麽差异，但是在工具和效能上的要求更 严苛。现在看起来，硬体的突破比资料量的成长慢。 要分析大资料，使用工具的能力就是第一个门槛。很遗憾，我目前不知道学校方面有没有 提供相关的训练。所以我建议你如果在学的话，请务必把学校教的，一般的资料的分析学 好，这部分是你可以胜过其他竞争者的地方。 之後如果你一定要亲手做，那请务必自行补充资料结构和演算法的相关知识，否则会连工 具的说明都看不懂。在资料大的时候，O(N)和O(log N)是差异很大的。 # 怎麽读资料 1. 会用工具捞资料 2. 知道工具指令对应的复杂度 如果只是读中型大小的资料，可能到1.就够了。但是当资料大到某个规模，2.的重要性就 出来了。 抽样在这里应该很有帮助，但是也要理解抽样的计算复杂度。 ## 学习上的建议 如果是R 的话，就要知道捞资料的时候记忆体的运作机制，要学习Streaming或pipeline的 方式捞资料。 ps. 这里给你一些key word罗 这些和你的资料源有关，所以建议等到实际遇到再学吧。每种遇到的case可能不一样，所 以没必要先学。遇到的时候再请教前辈或是网路上找资源吧。 # 了解效能的频颈 1. 知道记忆体和硬体的差异。知道怎麽评估记忆体的消耗量。 2. 了解怎麽评估演算法复杂度，并且选择正确的资料结构。 统计所的学生，如果照着课本的方法来读取大资料，最常见的就是塞爆记忆体而不自知。 照着课本：`read.table("xxx.csv")` 然後记忆体就爆炸了，学生也不知道为什麽电脑死 在那边。 资料结构选得好不好，结果就是要等一天还是数分钟。拥有找到频颈的能力，才能了解自 己卡在拿里，或者是和工程师沟通。 ## 学习上的建议 找时间请自修演算法或资料结构，如果没时间的话也至少理解何谓时间复杂度和空间复杂 度。至少要能理解：http://en.wikipedia.org/wiki/Array_data_structure 中下面的 Efficiency comparison with other data structure。你不用会写，但是看工具说明书 的时候会用到这个知识。这我觉得是在学校可以先学的。 之後我建议直接找实际的资料来做练习，遇到瓶颈可以多和其他有兴趣处理大资料的人 交流，也很欢迎来我们社群。社群中许多在公司处理大资料的朋友。（如趋势科技） # 个人经验谈 以上是我目前处理30GB/日的资料的心得。目前的任务就是要从这些资料中做出一个好的 Logistic Regression Model。目前我是用R / C++ 作为主要的工具。 在Model Encoding上还满辛苦的，因为R 没有能用的工具，我要自己做。用R 做的好处是 对答案相对轻松，因为小资料上已经有现成工具可以做比较！ 实做上，效能往往最後都卡在Optimization上，这里我超级推台大资工林老师的libsvm和 Liblinear，他们的optimization的kernel 超猛，会C / C++ 的话可以自己抽出来用。 ps. 可以参考我之前写的AWS + pbdMPI的文章，里面有抽Liblinear的核心出来用。 最後Model 的调教和解释，则和以前统计所教的差不多，就是要努力让其他同仁可以理解 Variable Encoding 的意义，如何处理Missing Data，也常常会发现其他同仁不小心误 解模型的意义。 统计出身的，这才是优势，放掉的话不如念资工罗。 -- 欢迎到ptt R_Language版分享R 的相关知识 欢迎加入 Taiwan R User Group : http://www.facebook.com/Tw.R.User 聚会报名 http://www.meetup.com/Taiwan-R/ 聚会影片 https://www.youtube.com/user/TWuseRGroup --

※ 发信站: 批踢踢实业坊(ptt.cc) ◆ From: 1.34.138.85 ※ 编辑: Wush978 来自: 1.34.138.85 (11/05 22:26) ※ 编辑: Wush978 来自: 1.34.138.85 (11/05 22:29) ※ 编辑: Wush978 来自: 1.34.138.85 (11/05 22:30) ※ 编辑: Wush978 来自: 1.34.138.85 (11/05 22:30) ※ 编辑: Wush978 来自: 1.34.138.85 (11/05 22:31) ※ 编辑: Wush978 来自: 1.34.138.85 (11/05 22:37) ※ 编辑: Wush978 来自: 1.34.138.85 (11/05 22:38)