Soft_Job 板


LINE

大數據如果簡單的講就是描述資料量非常的大, 這種大是無法在一台電腦儲存或處理的,記憶體也許會爆掉。 通常要設計平行化的處理架構, 或是用一些框架來處理,像是熟知的Hadoop、Spark。 當然也不一定是資料量大, 而是有時候產生的複雜度過高,也可能嘗試用此方式處理。 像是有些問題產生O(N^2)的計算空間, 就可以把計算空間分給不同電腦。(例如相似度計算問題) 然而所有問題的核心,都是要回歸到基本的演算法。 也就是資料量比較小的情況, 單機版是怎麼做的,然後多機板又可能會是那樣做。 (像是一台電腦怎麼做KNN群集計算,多台電腦又是怎麼做KNN群集計算?) 因此熟知每一種資料分析常見演算法是非常重要的。 雖然套件提供的算法可以直接馬上用, 但是熟悉算法,對於優化算法有很大的重要性。 甚至是可以不用這些現成的套件,直接寫自己量身訂造的演算法, 這樣效率更高。 並且,幾乎所有的時間,都是資料前處理問題, 把資料整理需要的格式,放到演算法的程式套件去計算, 實際真正的處理時間通常都是非常快的。 因此你的程式能力的基本功,就會變得非常的重要。 當你程式的基本功(資料結構、OOP......)越能掌握得越好, 你處理資料分析的專案速度也就會越快, (像是如何從檔案或資料庫把資料讀出來, 如何使每筆資料占用的記憶體最小..諸如此類的) 也就是你能把各類資料玩弄於股掌之間。 並且Hadoop、Spark、R的相關說明, 只要有受過相關程式訓練的,並且熟悉資料分析的算法的,都是非常好理解的。 你學的只是知道如何去用和呼叫。 然而,很多公司的資料,並沒有達到BigData的層級, 大部分一台電腦就可以處理, 其實很多老闆認為的Big Data = 單機資料分析。 因此只要把基本的程式能力學好, 並且去了解基本的算法,我想會是當務之急。 比你花十萬去學還更有價值。 PS: 本身研究所主修為Big Data, 目前為資料分析師,有興趣可以來信討論。 ※ 引述《s00771book (320)》之銘言: : 想問問前輩們 : 目前小妹的工作只是個 : 用BI cognos 拉資料做數據分析的助理 : 再用Excel樞紐分析 寫寫函數 : 做報告給主管看的工作 : 薪水少之又少 也不算是一技之長 : 根本不足以與大數據相提並論 : 目前嚮往大數據工作的方向 : (也是很有未來的工作 大陸已經很成熟了) : 查看了104人力銀行 : 大數據分析工作需要的條件: : MS SQL 資料探勘 R語言 Hedoop : 所以我去巨匠諮詢了一下 : 課程規劃師說要學 MCSA MCSE : 再考微軟證照70-461.462.463.464.465 : 才算是完全學會這套軟體 : 和證明給面試官看 : 但是學費竟然快要十萬 : 想請問有在做這方面工作的朋友們 : 真的值得花這筆錢嗎? : P.S.我只是個國立科大 企管+金融的學士而已 : 沒有漂亮的學歷 只能學一技之長補足自己 : 也不是資工 資管的科系的 : 希望前輩們能給我建議 謝謝你們>////< --



※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.150.194.202
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Soft_Job/M.1482759690.A.3F6.html
1F:推 glory5566: 研究所也是花十萬去學啊 12/26 22:08
2F:→ beaprayguy: 文憑比速成班有效 12/26 22:16
3F:→ remmurds: 同意樓上 12/26 22:18
4F:推 NCUking: 研究所還有助教以及計畫經費可以補貼啦 12/26 22:22
5F:→ NCUking: 讀國立的話基本上學費都差不多抵銷掉了 12/26 22:23
6F:→ InfinitySA: 碩博班 學中做(可以接計畫)還是比較好 12/27 09:43
7F:→ InfinitySA: 另外很多企業所謂的big data 頂多資料庫就處理完了吧 12/27 09:43
8F:→ InfinitySA: 根本不到那個層級 XD 12/27 09:44
9F:推 InfinitySA: btw 還蠻多國科會計畫就是用到巨量資料分析的 12/27 09:46







like.gif 您可能會有興趣的文章
icon.png[問題/行為] 貓晚上進房間會不會有憋尿問題
icon.pngRe: [閒聊] 選了錯誤的女孩成為魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一張
icon.png[心得] EMS高領長版毛衣.墨小樓MC1002
icon.png[分享] 丹龍隔熱紙GE55+33+22
icon.png[問題] 清洗洗衣機
icon.png[尋物] 窗台下的空間
icon.png[閒聊] 双極の女神1 木魔爵
icon.png[售車] 新竹 1997 march 1297cc 白色 四門
icon.png[討論] 能從照片感受到攝影者心情嗎
icon.png[狂賀] 賀賀賀賀 賀!島村卯月!總選舉NO.1
icon.png[難過] 羨慕白皮膚的女生
icon.png閱讀文章
icon.png[黑特]
icon.png[問題] SBK S1安裝於安全帽位置
icon.png[分享] 舊woo100絕版開箱!!
icon.pngRe: [無言] 關於小包衛生紙
icon.png[開箱] E5-2683V3 RX480Strix 快睿C1 簡單測試
icon.png[心得] 蒼の海賊龍 地獄 執行者16PT
icon.png[售車] 1999年Virage iO 1.8EXi
icon.png[心得] 挑戰33 LV10 獅子座pt solo
icon.png[閒聊] 手把手教你不被桶之新手主購教學
icon.png[分享] Civic Type R 量產版官方照無預警流出
icon.png[售車] Golf 4 2.0 銀色 自排
icon.png[出售] Graco提籃汽座(有底座)2000元誠可議
icon.png[問題] 請問補牙材質掉了還能再補嗎?(台中半年內
icon.png[問題] 44th 單曲 生寫竟然都給重複的啊啊!
icon.png[心得] 華南紅卡/icash 核卡
icon.png[問題] 拔牙矯正這樣正常嗎
icon.png[贈送] 老莫高業 初業 102年版
icon.png[情報] 三大行動支付 本季掀戰火
icon.png[寶寶] 博客來Amos水蠟筆5/1特價五折
icon.pngRe: [心得] 新鮮人一些面試分享
icon.png[心得] 蒼の海賊龍 地獄 麒麟25PT
icon.pngRe: [閒聊] (君の名は。雷慎入) 君名二創漫畫翻譯
icon.pngRe: [閒聊] OGN中場影片:失蹤人口局 (英文字幕)
icon.png[問題] 台灣大哥大4G訊號差
icon.png[出售] [全國]全新千尋侘草LED燈, 水草

請輸入看板名稱,例如:BabyMother 或 站內搜尋

TOP