Soft_Job 板


LINE

大数据如果简单的讲就是描述资料量非常的大, 这种大是无法在一台电脑储存或处理的,记忆体也许会爆掉。 通常要设计平行化的处理架构, 或是用一些框架来处理,像是熟知的Hadoop、Spark。 当然也不一定是资料量大, 而是有时候产生的复杂度过高,也可能尝试用此方式处理。 像是有些问题产生O(N^2)的计算空间, 就可以把计算空间分给不同电脑。(例如相似度计算问题) 然而所有问题的核心,都是要回归到基本的演算法。 也就是资料量比较小的情况, 单机版是怎麽做的,然後多机板又可能会是那样做。 (像是一台电脑怎麽做KNN群集计算,多台电脑又是怎麽做KNN群集计算?) 因此熟知每一种资料分析常见演算法是非常重要的。 虽然套件提供的算法可以直接马上用, 但是熟悉算法,对於优化算法有很大的重要性。 甚至是可以不用这些现成的套件,直接写自己量身订造的演算法, 这样效率更高。 并且,几乎所有的时间,都是资料前处理问题, 把资料整理需要的格式,放到演算法的程式套件去计算, 实际真正的处理时间通常都是非常快的。 因此你的程式能力的基本功,就会变得非常的重要。 当你程式的基本功(资料结构、OOP......)越能掌握得越好, 你处理资料分析的专案速度也就会越快, (像是如何从档案或资料库把资料读出来, 如何使每笔资料占用的记忆体最小..诸如此类的) 也就是你能把各类资料玩弄於股掌之间。 并且Hadoop、Spark、R的相关说明, 只要有受过相关程式训练的,并且熟悉资料分析的算法的,都是非常好理解的。 你学的只是知道如何去用和呼叫。 然而,很多公司的资料,并没有达到BigData的层级, 大部分一台电脑就可以处理, 其实很多老板认为的Big Data = 单机资料分析。 因此只要把基本的程式能力学好, 并且去了解基本的算法,我想会是当务之急。 比你花十万去学还更有价值。 PS: 本身研究所主修为Big Data, 目前为资料分析师,有兴趣可以来信讨论。 ※ 引述《s00771book (320)》之铭言: : 想问问前辈们 : 目前小妹的工作只是个 : 用BI cognos 拉资料做数据分析的助理 : 再用Excel枢纽分析 写写函数 : 做报告给主管看的工作 : 薪水少之又少 也不算是一技之长 : 根本不足以与大数据相提并论 : 目前向往大数据工作的方向 : (也是很有未来的工作 大陆已经很成熟了) : 查看了104人力银行 : 大数据分析工作需要的条件: : MS SQL 资料探勘 R语言 Hedoop : 所以我去巨匠谘询了一下 : 课程规划师说要学 MCSA MCSE : 再考微软证照70-461.462.463.464.465 : 才算是完全学会这套软体 : 和证明给面试官看 : 但是学费竟然快要十万 : 想请问有在做这方面工作的朋友们 : 真的值得花这笔钱吗? : P.S.我只是个国立科大 企管+金融的学士而已 : 没有漂亮的学历 只能学一技之长补足自己 : 也不是资工 资管的科系的 : 希望前辈们能给我建议 谢谢你们>////< --



※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 118.150.194.202
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1482759690.A.3F6.html
1F:推 glory5566: 研究所也是花十万去学啊 12/26 22:08
2F:→ beaprayguy: 文凭比速成班有效 12/26 22:16
3F:→ remmurds: 同意楼上 12/26 22:18
4F:推 NCUking: 研究所还有助教以及计画经费可以补贴啦 12/26 22:22
5F:→ NCUking: 读国立的话基本上学费都差不多抵销掉了 12/26 22:23
6F:→ InfinitySA: 硕博班 学中做(可以接计画)还是比较好 12/27 09:43
7F:→ InfinitySA: 另外很多企业所谓的big data 顶多资料库就处理完了吧 12/27 09:43
8F:→ InfinitySA: 根本不到那个层级 XD 12/27 09:44
9F:推 InfinitySA: btw 还蛮多国科会计画就是用到巨量资料分析的 12/27 09:46







like.gif 您可能会有兴趣的文章
icon.png[问题/行为] 猫晚上进房间会不会有憋尿问题
icon.pngRe: [闲聊] 选了错误的女孩成为魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一张
icon.png[心得] EMS高领长版毛衣.墨小楼MC1002
icon.png[分享] 丹龙隔热纸GE55+33+22
icon.png[问题] 清洗洗衣机
icon.png[寻物] 窗台下的空间
icon.png[闲聊] 双极の女神1 木魔爵
icon.png[售车] 新竹 1997 march 1297cc 白色 四门
icon.png[讨论] 能从照片感受到摄影者心情吗
icon.png[狂贺] 贺贺贺贺 贺!岛村卯月!总选举NO.1
icon.png[难过] 羡慕白皮肤的女生
icon.png阅读文章
icon.png[黑特]
icon.png[问题] SBK S1安装於安全帽位置
icon.png[分享] 旧woo100绝版开箱!!
icon.pngRe: [无言] 关於小包卫生纸
icon.png[开箱] E5-2683V3 RX480Strix 快睿C1 简单测试
icon.png[心得] 苍の海贼龙 地狱 执行者16PT
icon.png[售车] 1999年Virage iO 1.8EXi
icon.png[心得] 挑战33 LV10 狮子座pt solo
icon.png[闲聊] 手把手教你不被桶之新手主购教学
icon.png[分享] Civic Type R 量产版官方照无预警流出
icon.png[售车] Golf 4 2.0 银色 自排
icon.png[出售] Graco提篮汽座(有底座)2000元诚可议
icon.png[问题] 请问补牙材质掉了还能再补吗?(台中半年内
icon.png[问题] 44th 单曲 生写竟然都给重复的啊啊!
icon.png[心得] 华南红卡/icash 核卡
icon.png[问题] 拔牙矫正这样正常吗
icon.png[赠送] 老莫高业 初业 102年版
icon.png[情报] 三大行动支付 本季掀战火
icon.png[宝宝] 博客来Amos水蜡笔5/1特价五折
icon.pngRe: [心得] 新鲜人一些面试分享
icon.png[心得] 苍の海贼龙 地狱 麒麟25PT
icon.pngRe: [闲聊] (君の名は。雷慎入) 君名二创漫画翻译
icon.pngRe: [闲聊] OGN中场影片:失踪人口局 (英文字幕)
icon.png[问题] 台湾大哥大4G讯号差
icon.png[出售] [全国]全新千寻侘草LED灯, 水草

请输入看板名称,例如:BabyMother 或 站内搜寻

TOP