作者vity (逍遥盃-佛得)
看板studyabroad
标题Re: [问题] 想走Big Data的选系困扰
时间Mon Feb 2 06:32:40 2015
前面强者都说得很有道理，在下稍微从CS的角度补充
故事是这样的
1.量太多了
Google(Amazon、Yahoo!...)
每天所收到的查询量太多没办法存全部，只能存部分
(也可以是滑鼠点击、Session)
知道每天到底有多少不同的查询非常重要
(许多进阶的分析都需要Count distinct)
於是想办法"抽样来代表母体"
抽样的方法是Hash Function成010101的位元
Google在2005年就尝试解决这样的问题(Min-Count)
2.计算太复杂了
拿回归来说，统计学用的是Least Square
CS本来用Gradient Descent，因为资料太大改用Stochastic Gradient Descent
把演算法写成平行运算版本(Hadoop)，交给cluster跑
另外，实作时也可能会发生:
理论说，计算独立事件一起发生的机率，相乘所有事件发生的机率
实际写程式才发现事件太多，因电脑无法表示到该小数位，相乘机率全是0
所以取Math.log之後，把相乘变成相加，电脑就能表示了
讲了许多CS观点
在下也没有认为CS面对大量数据时比较先进
而是统计与CS发威在价值链不同的地方(前面强者有分享)
呼应前面强者所提，Stanford有很好的资源
它的开放课程Mining of Massive Datasets
教授许多关於资料太大，Memory不够用的演算法
https://www.coursera.org/course/mmds
Univ. of Washinton也是很好的选择
它的开放课程Data Science探讨许多的实作(MapReduce, Pregel)
https://www.coursera.org/course/datasci
也可以看看相关工作所要求的技能
http://www.kdnuggets.com/jobs/index.html
就选你所爱，爱你所选罗
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 79.197.209.160
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/studyabroad/M.1422829966.A.E01.html
1F：→ drajan: 推最後一句, 最近很多谘询的对象根本不知道自己喜不喜欢就 02/02 07:28
2F：→ drajan: 说想当data scientist, 连工作内容在干嘛都不知道.. 02/02 07:28
3F：→ drajan: 跟管院一窝蜂想挤IB consulting一个样= = 02/02 07:29
4F：→ lenux: 跟楼上看法一样 一窝蜂CS/Data Science 盲从 02/02 08:37
5F：推 yushiung: 推原po专业 02/02 10:41
6F：→ Lumice: data不够多又做不出东西来，唉 02/02 12:09
7F：推 frank11118: 推 谢分享 02/02 13:05
8F：推 aknr5566: 专业推 02/02 13:45
9F：→ aknr5566: 也推一楼 XD 02/02 13:46
10F：推 SatGod: 感谢CS角度的专业分享！ 02/02 15:31
11F：推 branburg: 原PO专业！的确许多技术很早就存在了。 02/02 15:47
12F：推 haley06: 专业分析推 03/18 11:48