作者lin3835 (小小母牛)
看板Soft_Job
标题[请益] Web跟资料工程
时间Mon Apr 10 04:36:31 2023
各位好
小弟目前的工作是後端Web仔写写API
後来业务上有接触到mapreduce Apache Flink 这种大数据运算框架
想请教一下各位前辈
如果为了下一份工作打算
会用这些框架 是有办法往资料工程师当下一份工作吗？
或者是说需要补足的知识工具其实更多？
靠刷题之後找Backend Engineer比较容易？
谢谢各位
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 111.243.30.197 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1681072593.A.FEC.html
1F：推 ripple0129: Chatgpt问世後未来说不准了04/10 06:13
2F：推 kimoji: 很多资料工程都要值班维运喔04/10 08:35
3F：→ gpctv: ETL很可怕04/10 08:55
4F：推 BigCockman: 身兼backend和data 老板最爱04/10 09:49
5F：推 hsuchengmath: 要转data eng ，看他的JD啊，或是去linkedin敲data04/10 12:24
6F：→ hsuchengmath: eng 然後问04/10 12:24
7F：推 acgotaku: 这些都是高级excel 只是工具 没啥优势或门槛04/10 12:46
8F：推 acgotaku: AI 取代这种工具类的操作/分析者 是可预见的未来04/10 12:49
9F：推 samhsu: Data Engineer 炙手可热，就算没落也可以转後端，没道理04/10 12:56
10F：→ samhsu: 不选04/10 12:56
是怕资料工程这块 是不是需要补很多东西 弄一弄反而没刷题走後端高？
不然好像刷题走後端比较容易？
11F：→ alan5: 你可以试着取代看看啊 de的重点一直是人不是工具操作04/10 13:00
12F：→ acgotaku: 我没有说取代de 是取代初级的分析操作者04/10 13:09
13F：→ acgotaku: 因为我认为原po叙述 离 de的能力需求还是差满多04/10 13:12
14F：→ loadingN: 看你想清资料还是继续当web仔04/10 13:39
15F：→ DrTech: 身为专业工程师，有时间可以拿实际证据与实作来说明吧。如04/10 13:39
16F：→ DrTech: 果DE可以被AI部分取代，真的欢迎拿实际例子来交流学习。04/10 13:39
17F：→ DrTech: 资料工程师养成，要实务一点，不要会一堆工具，然後什麽都04/10 13:48
18F：→ DrTech: 没做过。举例：有10亿笔结构化资料，你要怎麽存与查询，一04/10 13:48
19F：→ DrTech: 秒可以查到？ 朝这种很实务的角度去学，才是正轨。没环境04/10 13:48
20F：→ DrTech: 就自己造垃圾资料，架虚拟环境来玩。04/10 13:48
21F：→ DrTech: 只是用过工具，然後一遇到实际问题就挂，可能很难找类似工04/10 13:50
22F：→ DrTech: 作。 04/10 13:50
23F：推 Hsins: DE 在处理的主要业务不是分析操作，楼上 DrTech 说的才是 D04/10 14:36
24F：→ Hsins: E 在关心的，需要根据业务需求规划资料生命周期内的资料储04/10 14:36
25F：→ Hsins: 存方式跟型态，说是高级 Excel 工具是在哈罗……04/10 14:36
26F：推 abc65379: 看起来你想走运算平台而不是仓储？04/10 15:00
对应该是资料工程那块 仓储应该算是资料分析？
可能比较像Ｄ大跟Ｈ大说这样 因为我也是自己摸索来用 但说是高级EXCEL工具是有点怪
啦
这些框架大方向应该都算是强调大数据资料可以更快速的吧
27F：推 Sunal: 原来现在DE只是专注工具的使用?那被AI取代刚刚好04/10 16:00
28F：推 cmcer: 大家都预设AI不能解决实务的问题也是挺值得讨论的点04/10 16:22
29F：→ alan5: 解决老板不想用rdb想用mongo存结构化资料的问题04/10 17:15
30F：→ alan5: ai应该会叫我解决老板04/10 17:15
31F：推 breccia: 说mapreduce Apache Flink是高级excel是在搞笑吗= =?先搞04/10 17:30
32F：→ breccia: 清楚资料分析和data engineer的区别好吗04/10 17:30
33F：推 TAKADO: 好的DE跟日本原装压缩机一样十分稀少，要对domain 的深入04/10 19:45
34F：→ TAKADO: 理解跟大量的技术与经验积累。遇过那种高手就知道，本来只04/10 19:45
35F：→ TAKADO: 能等都更炸掉重改的中古垃圾屋，都能给你翻成漂漂亮亮的北04/10 19:45
36F：→ TAKADO: 欧风温馨文青宅。04/10 19:45
37F：推 kero961240: 想询问哪里可以学到相关知识04/10 20:47
※ 编辑: lin3835 (111.243.30.197 台湾), 04/10/2023 22:34:30
38F：→ Hsins: 仓储是资料工程喔，经典着作 The Data Warehouse Toolkit 04/10 22:58
39F：→ Hsins: 有时间可以慢慢翻一下。会说是高级 Excel 工具应该是指看到 04/10 22:58
40F：→ Hsins: MapReduce 的部分，但这种操作并不是只能用在分析上…… 04/10 22:58
哦哦 谢谢Ｈ大 我想了一下 现在业务上是用hadoop Flink这类的大数据框架 去应用
似乎好像比较偏向资料分析这块不是资料工程？
听起来只会应该这类框架还是需要补足很多相关知识才能走这条路？
那感觉是後端那种单纯刷题会容易一些？
我目前是因为刚好接触到 所以才想说有没有走这条路的可能这样
※ 编辑: lin3835 (111.243.30.197 台湾), 04/10/2023 23:11:48
41F：→ Hsins: 至於待遇跟薪水问题，去看 DrTech 写过的某篇文吧，国家跟04/10 23:09
42F：→ Hsins: 产业的权重会比职称和使用的技术要高，你说资料工程跟後端 04/10 23:10
43F：→ Hsins: 来比谁高，不提产业也无从比较起… 04/10 23:10
44F：→ Hsins: 框架的大方向未必是处理效率问题，有的是处理扩展性问题 04/10 23:13
45F：→ Hsins: Hadoop 生态系没有偏向资料分析呀~ 至於 Flink 是是为了处 04/10 23:16
我感觉会用这个应该主要是想用分散式集群的功能运算吧 把那些资料套用个什麽规则 整
理出某个 人能参考依据 这样听一听 跟我实际摸索 好像真的不是会用一点工具就能往这
行走
※ 编辑: lin3835 (111.243.30.197 台湾), 04/10/2023 23:25:55
46F：→ Hsins: 理一些需要实时计算的资料的，当大量资料实时产生的同时需 04/10 23:18
47F：→ Hsins: 要分析计算会用到，要看一下你现在的业务到底接触的是哪一 04/10 23:19
※ 编辑: lin3835 (111.243.30.197 台湾), 04/10/2023 23:27:12
48F：→ Hsins: 越接近用户端使用的部分，相较是比较简单的，上面 D 大提到 04/10 23:29
49F：→ Hsins: 的，是偏向於提供资料使用人员（DS/DA）去做的 infra 04/10 23:30
50F：→ Hsins: 多数 DE 会在串接跟维护 Data Pipeline，你说的套用某个规 04/10 23:34
51F：→ Hsins: 则去整理出某人或是某个部门的资料，可能只是这条 pipeline 04/10 23:34
52F：→ Hsins: 上，某一个资料出水口需要做的事~ 要挖的东西是满多的，有 04/10 23:35
53F：→ Hsins: 兴趣可以从这个方向开始切进来~ 04/10 23:35
54F：→ Hsins: 的确在有些公司 DE 除了基础服务设施和资料处理之外，还要 04/10 23:37
55F：→ luce: 现在有人在用mapreduce? 我还真的没在商业产品上看到过 04/10 23:38
56F：→ Hsins: 包山包海去处理分析和视觉化… 04/10 23:38
57F：→ alihue: 公司资料量够大都要靠 map reduce 来做分散式处理吧…几 04/10 23:42
58F：→ alihue: 亿笔资料的 indexing 难到你要一台机器做 04/10 23:42
59F：→ alihue: 还有大量 log 的 data pipeline，use case 很多 04/10 23:43
60F：→ Hsins: 还有不少用 Hive 的，背後做还是 MapReduce，现在的确 Spar 04/10 23:54
61F：→ Hsins: k 跟 Flink 居多 04/10 23:54
62F：→ alan5: 只是比较没有纯写mapreduce 框架背後还是mr啊 04/11 12:17
63F：→ alan5: de会去服务使用flink分析的user de就要了解flink 04/11 12:19
64F：推 ab07275566: DE 是个坑，每家DE 要的技能点可能都有点些许不同，进 04/12 09:44
65F：→ ab07275566: 来会发现包山包海，什麽能力都要，可以多看看，再看要 04/12 09:44
66F：→ ab07275566: 不要走 DE 04/12 09:44
67F：推 weinine32: mapreduce早被淘汰了，居然还有人在用Zzzz 04/12 10:00
68F：推 daydream772: 分散式运算被後概念就是mr啊，还是你以为跑spark就 04/12 14:54
69F：→ daydream772: 不是MR 04/12 14:54
70F：→ weinine32: 那你应该先学Java，顺便把原始码、论文看一看，加油 Zz 04/12 18:18
71F：→ weinine32: zz 04/12 18:18