在今年的铁人赛多了一些跟资料工程相关的主题， 这也是随着前几年资料科学而兴起的新职缺。 若将资料科学视为最终导出 Data Product 的出口， 那进口的原料则是 Data Engineer 来处理。 如果你也处於 Data Team 或是技援 Data Team 做事情， 处理源头的资料到可用的程度，则是一件需要耐心处理的手工活。 -- 在铁人赛的主题中，多了一批新的生力军， 那就是来自 taipei dbt meetup 组团参加贡献了相关知识的系列文章 https://www.meetup.com/taipei-dbt-meetup/ https://ithelp.ithome.com.tw/2023ironman/signup/team/271 以下为目前进行中的文章： https://ithelp.ithome.com.tw/users/20162689/ironman/6534 如何借助 dbt 优化当代资料仓储及资料工程师的水肥之路分享 系列 以资料工程师的角度，透过 dbt core 及周边 package 优化复杂的资料仓储 心路历程以及在 data pipeline 的水肥路上碰到的大小事分享 https://ithelp.ithome.com.tw/users/20160643/ironman/6051 被 dbt 带入门的数据工作体验 30 想 系列 从 2019 年开始因为身为 PM 很想看产品资料而开始学数据， 这个过程相当有趣，打开了另外一个世界！ 这一系列的文章， 我想从以下 3 个视角分享 30 个想法， 1. 个人 2. 团队与公司 3. 社群 希望代表在成为资料实践者的旅程中，会经历的阶段 https://ithelp.ithome.com.tw/users/20161869/ironman/6057 当代资料工程与资料分析 系列 资料分析师主要应用的工具是： Tableau, PowerBI, FineReport 这种集成式的软体。 上述的软体非常强大，就像 Microsoft 的 Office 360 一样。 然而，我们有时候需要更灵活的工具： 我们希望我们的工具可以像 Linux Shell 一样， 有许多小的零组件，一个零组件只做好一件事， 比方说： awk, sed, tr, sort, cat, ... ，却可以灵活地组合起来， 而且，容易自动化。 本文就是要介绍「当代的」资料工程与资料分析技术， 这套工具与方法论就像是 Linux Shell 一般地灵活、容易自动化、 可以提昇数倍的产出。 -- 若是对於 dbt 与 data pipeline 的关系想要有初步的理解， 可以参考我在 coscup 上场前的练习录影， 前半段主要介绍 data pipeline 是什麽？dbt 参与了哪些部分？ [coscup] Reading and modifying the source code of the dbt adapter https://youtu.be/GSVjPYWoIUM?si=hswyECjCegzPLfI0 -- ITHOME 铁人赛观赛看版持续为大家报导赛事内容 https://bit.ly/46dVxPZ PS. JCConf 就是这周五罗！期待与大家相见。 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 118.167.128.28 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1696209755.A.3BF.html