作者lin3835 (小小母牛)
看板Soft_Job
標題[請益] Web跟資料工程
時間Mon Apr 10 04:36:31 2023
各位好
小弟目前的工作是後端Web仔寫寫API
後來業務上有接觸到mapreduce Apache Flink 這種大數據運算框架
想請教一下各位前輩
如果為了下一份工作打算
會用這些框架 是有辦法往資料工程師當下一份工作嗎？
或者是說需要補足的知識工具其實更多？
靠刷題之後找Backend Engineer比較容易？
謝謝各位
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.243.30.197 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Soft_Job/M.1681072593.A.FEC.html
1F：推 ripple0129: Chatgpt問世後未來說不準了04/10 06:13
2F：推 kimoji: 很多資料工程都要值班維運喔04/10 08:35
3F：→ gpctv: ETL很可怕04/10 08:55
4F：推 BigCockman: 身兼backend和data 老闆最愛04/10 09:49
5F：推 hsuchengmath: 要轉data eng ，看他的JD啊，或是去linkedin敲data04/10 12:24
6F：→ hsuchengmath: eng 然後問04/10 12:24
7F：推 acgotaku: 這些都是高級excel 只是工具 沒啥優勢或門檻04/10 12:46
8F：推 acgotaku: AI 取代這種工具類的操作/分析者 是可預見的未來04/10 12:49
9F：推 samhsu: Data Engineer 炙手可熱，就算沒落也可以轉後端，沒道理04/10 12:56
10F：→ samhsu: 不選04/10 12:56
是怕資料工程這塊 是不是需要補很多東西 弄一弄反而沒刷題走後端高？
不然好像刷題走後端比較容易？
11F：→ alan5: 你可以試著取代看看啊 de的重點一直是人不是工具操作04/10 13:00
12F：→ acgotaku: 我沒有說取代de 是取代初級的分析操作者04/10 13:09
13F：→ acgotaku: 因為我認為原po敘述 離 de的能力需求還是差滿多04/10 13:12
14F：→ loadingN: 看你想清資料還是繼續當web仔04/10 13:39
15F：→ DrTech: 身為專業工程師，有時間可以拿實際證據與實作來說明吧。如04/10 13:39
16F：→ DrTech: 果DE可以被AI部分取代，真的歡迎拿實際例子來交流學習。04/10 13:39
17F：→ DrTech: 資料工程師養成，要實務一點，不要會一堆工具，然後什麼都04/10 13:48
18F：→ DrTech: 沒做過。舉例：有10億筆結構化資料，你要怎麼存與查詢，一04/10 13:48
19F：→ DrTech: 秒可以查到？ 朝這種很實務的角度去學，才是正軌。沒環境04/10 13:48
20F：→ DrTech: 就自己造垃圾資料，架虛擬環境來玩。04/10 13:48
21F：→ DrTech: 只是用過工具，然後一遇到實際問題就掛，可能很難找類似工04/10 13:50
22F：→ DrTech: 作。 04/10 13:50
23F：推 Hsins: DE 在處理的主要業務不是分析操作，樓上 DrTech 說的才是 D04/10 14:36
24F：→ Hsins: E 在關心的，需要根據業務需求規劃資料生命周期內的資料儲04/10 14:36
25F：→ Hsins: 存方式跟型態，說是高級 Excel 工具是在哈囉……04/10 14:36
26F：推 abc65379: 看起來你想走運算平台而不是倉儲？04/10 15:00
對應該是資料工程那塊 倉儲應該算是資料分析？
可能比較像Ｄ大跟Ｈ大說這樣 因為我也是自己摸索來用 但說是高級EXCEL工具是有點怪
啦
這些框架大方向應該都算是強調大數據資料可以更快速的吧
27F：推 Sunal: 原來現在DE只是專注工具的使用?那被AI取代剛剛好04/10 16:00
28F：推 cmcer: 大家都預設AI不能解決實務的問題也是挺值得討論的點04/10 16:22
29F：→ alan5: 解決老闆不想用rdb想用mongo存結構化資料的問題04/10 17:15
30F：→ alan5: ai應該會叫我解決老闆04/10 17:15
31F：推 breccia: 說mapreduce Apache Flink是高級excel是在搞笑嗎= =?先搞04/10 17:30
32F：→ breccia: 清楚資料分析和data engineer的區別好嗎04/10 17:30
33F：推 TAKADO: 好的DE跟日本原裝壓縮機一樣十分稀少，要對domain 的深入04/10 19:45
34F：→ TAKADO: 理解跟大量的技術與經驗積累。遇過那種高手就知道，本來只04/10 19:45
35F：→ TAKADO: 能等都更炸掉重改的中古垃圾屋，都能給你翻成漂漂亮亮的北04/10 19:45
36F：→ TAKADO: 歐風溫馨文青宅。04/10 19:45
37F：推 kero961240: 想詢問哪裡可以學到相關知識04/10 20:47
※ 編輯: lin3835 (111.243.30.197 臺灣), 04/10/2023 22:34:30
38F：→ Hsins: 倉儲是資料工程喔，經典著作 The Data Warehouse Toolkit 04/10 22:58
39F：→ Hsins: 有時間可以慢慢翻一下。會說是高級 Excel 工具應該是指看到 04/10 22:58
40F：→ Hsins: MapReduce 的部分，但這種操作並不是只能用在分析上…… 04/10 22:58
哦哦 謝謝Ｈ大 我想了一下 現在業務上是用hadoop Flink這類的大數據框架 去應用
似乎好像比較偏向資料分析這塊不是資料工程？
聽起來只會應該這類框架還是需要補足很多相關知識才能走這條路？
那感覺是後端那種單純刷題會容易一些？
我目前是因為剛好接觸到 所以才想說有沒有走這條路的可能這樣
※ 編輯: lin3835 (111.243.30.197 臺灣), 04/10/2023 23:11:48
41F：→ Hsins: 至於待遇跟薪水問題，去看 DrTech 寫過的某篇文吧，國家跟04/10 23:09
42F：→ Hsins: 產業的權重會比職稱和使用的技術要高，你說資料工程跟後端 04/10 23:10
43F：→ Hsins: 來比誰高，不提產業也無從比較起… 04/10 23:10
44F：→ Hsins: 框架的大方向未必是處理效率問題，有的是處理擴展性問題 04/10 23:13
45F：→ Hsins: Hadoop 生態系沒有偏向資料分析呀~ 至於 Flink 是是為了處 04/10 23:16
我感覺會用這個應該主要是想用分散式集群的功能運算吧 把那些資料套用個什麼規則 整
理出某個 人能參考依據 這樣聽一聽 跟我實際摸索 好像真的不是會用一點工具就能往這
行走
※ 編輯: lin3835 (111.243.30.197 臺灣), 04/10/2023 23:25:55
46F：→ Hsins: 理一些需要實時計算的資料的，當大量資料實時產生的同時需 04/10 23:18
47F：→ Hsins: 要分析計算會用到，要看一下你現在的業務到底接觸的是哪一 04/10 23:19
※ 編輯: lin3835 (111.243.30.197 臺灣), 04/10/2023 23:27:12
48F：→ Hsins: 越接近用戶端使用的部分，相較是比較簡單的，上面 D 大提到 04/10 23:29
49F：→ Hsins: 的，是偏向於提供資料使用人員（DS/DA）去做的 infra 04/10 23:30
50F：→ Hsins: 多數 DE 會在串接跟維護 Data Pipeline，你說的套用某個規 04/10 23:34
51F：→ Hsins: 則去整理出某人或是某個部門的資料，可能只是這條 pipeline 04/10 23:34
52F：→ Hsins: 上，某一個資料出水口需要做的事~ 要挖的東西是滿多的，有 04/10 23:35
53F：→ Hsins: 興趣可以從這個方向開始切進來~ 04/10 23:35
54F：→ Hsins: 的確在有些公司 DE 除了基礎服務設施和資料處理之外，還要 04/10 23:37
55F：→ luce: 現在有人在用mapreduce? 我還真的沒在商業產品上看到過 04/10 23:38
56F：→ Hsins: 包山包海去處理分析和視覺化… 04/10 23:38
57F：→ alihue: 公司資料量夠大都要靠 map reduce 來做分散式處理吧…幾 04/10 23:42
58F：→ alihue: 億筆資料的 indexing 難到你要一台機器做 04/10 23:42
59F：→ alihue: 還有大量 log 的 data pipeline，use case 很多 04/10 23:43
60F：→ Hsins: 還有不少用 Hive 的，背後做還是 MapReduce，現在的確 Spar 04/10 23:54
61F：→ Hsins: k 跟 Flink 居多 04/10 23:54
62F：→ alan5: 只是比較沒有純寫mapreduce 框架背後還是mr啊 04/11 12:17
63F：→ alan5: de會去服務使用flink分析的user de就要了解flink 04/11 12:19
64F：推 ab07275566: DE 是個坑，每家DE 要的技能點可能都有點些許不同，進 04/12 09:44
65F：→ ab07275566: 來會發現包山包海，什麼能力都要，可以多看看，再看要 04/12 09:44
66F：→ ab07275566: 不要走 DE 04/12 09:44
67F：推 weinine32: mapreduce早被淘汰了，居然還有人在用Zzzz 04/12 10:00
68F：推 daydream772: 分散式運算被後概念就是mr啊，還是你以為跑spark就 04/12 14:54
69F：→ daydream772: 不是MR 04/12 14:54
70F：→ weinine32: 那你應該先學Java，順便把原始碼、論文看一看，加油 Zz 04/12 18:18
71F：→ weinine32: zz 04/12 18:18