作者chen1025 (小陈)
看板Soft_Job
标题Re: [请益] 值得花十万到巨匠 学大数据软体吗?
时间Mon Dec 26 21:41:28 2016
大数据如果简单的讲就是描述资料量非常的大,
这种大是无法在一台电脑储存或处理的,记忆体也许会爆掉。
通常要设计平行化的处理架构,
或是用一些框架来处理,像是熟知的Hadoop、Spark。
当然也不一定是资料量大,
而是有时候产生的复杂度过高,也可能尝试用此方式处理。
像是有些问题产生O(N^2)的计算空间,
就可以把计算空间分给不同电脑。(例如相似度计算问题)
然而所有问题的核心,都是要回归到基本的演算法。
也就是资料量比较小的情况,
单机版是怎麽做的,然後多机板又可能会是那样做。
(像是一台电脑怎麽做KNN群集计算,多台电脑又是怎麽做KNN群集计算?)
因此熟知每一种资料分析常见演算法是非常重要的。
虽然套件提供的算法可以直接马上用,
但是熟悉算法,对於优化算法有很大的重要性。
甚至是可以不用这些现成的套件,直接写自己量身订造的演算法,
这样效率更高。
并且,几乎所有的时间,都是资料前处理问题,
把资料整理需要的格式,放到演算法的程式套件去计算,
实际真正的处理时间通常都是非常快的。
因此你的程式能力的基本功,就会变得非常的重要。
当你程式的基本功(资料结构、OOP......)越能掌握得越好,
你处理资料分析的专案速度也就会越快,
(像是如何从档案或资料库把资料读出来,
如何使每笔资料占用的记忆体最小..诸如此类的)
也就是你能把各类资料玩弄於股掌之间。
并且Hadoop、Spark、R的相关说明,
只要有受过相关程式训练的,并且熟悉资料分析的算法的,都是非常好理解的。
你学的只是知道如何去用和呼叫。
然而,很多公司的资料,并没有达到BigData的层级,
大部分一台电脑就可以处理,
其实很多老板认为的Big Data = 单机资料分析。
因此只要把基本的程式能力学好,
并且去了解基本的算法,我想会是当务之急。
比你花十万去学还更有价值。
PS:
本身研究所主修为Big Data,
目前为资料分析师,有兴趣可以来信讨论。
※ 引述《s00771book (320)》之铭言:
: 想问问前辈们
: 目前小妹的工作只是个
: 用BI cognos 拉资料做数据分析的助理
: 再用Excel枢纽分析 写写函数
: 做报告给主管看的工作
: 薪水少之又少 也不算是一技之长
: 根本不足以与大数据相提并论
: 目前向往大数据工作的方向
: (也是很有未来的工作 大陆已经很成熟了)
: 查看了104人力银行
: 大数据分析工作需要的条件:
: MS SQL 资料探勘 R语言 Hedoop
: 所以我去巨匠谘询了一下
: 课程规划师说要学 MCSA MCSE
: 再考微软证照70-461.462.463.464.465
: 才算是完全学会这套软体
: 和证明给面试官看
: 但是学费竟然快要十万
: 想请问有在做这方面工作的朋友们
: 真的值得花这笔钱吗?
: P.S.我只是个国立科大 企管+金融的学士而已
: 没有漂亮的学历 只能学一技之长补足自己
: 也不是资工 资管的科系的
: 希望前辈们能给我建议 谢谢你们>////<
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 118.150.194.202
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1482759690.A.3F6.html
1F:推 glory5566: 研究所也是花十万去学啊 12/26 22:08
2F:→ beaprayguy: 文凭比速成班有效 12/26 22:16
3F:→ remmurds: 同意楼上 12/26 22:18
4F:推 NCUking: 研究所还有助教以及计画经费可以补贴啦 12/26 22:22
5F:→ NCUking: 读国立的话基本上学费都差不多抵销掉了 12/26 22:23
6F:→ InfinitySA: 硕博班 学中做(可以接计画)还是比较好 12/27 09:43
7F:→ InfinitySA: 另外很多企业所谓的big data 顶多资料库就处理完了吧 12/27 09:43
8F:→ InfinitySA: 根本不到那个层级 XD 12/27 09:44
9F:推 InfinitySA: btw 还蛮多国科会计画就是用到巨量资料分析的 12/27 09:46