作者f496328mm (123)
看板Soft_Job
标题[心得] 资料工程师 X FinMind 架构解析
时间Fri Aug 11 23:36:59 2023
大家好，我是 FinMind，开源金融数据的作者
https://github.com/FinMind/FinMind
在上次，浓缩个人好几年的工作经验、FinMind 专案开发经验
出版了资料工程师书籍，回响不错
今年花了 8 个月的时间，在第一版书上，扩增了 50% 的内容
其中新增了
1. 分散式 Airflow 介绍、架设，提供大量范例，并与爬虫做结合!!!
2. 业界常用的监控系统 - Grafana & Prometheus，介绍与架设。
3. 并将书中介绍的各项服务，Netdata、MySQL、RabbitMQ、Airflow、Traefik，都
与监控系统做串接，制作统一的 Dashboard 监控仪表板工具!!!
这样本书就算是一本，完整的资料工程师攻略了，包含
* 分散式爬虫
* 资料库架设
* API 架设
* 云端系统
* Docker、Docker Swarm
* Unit Test
* CICD
* ApacheBench 压力测试
* Traefik 反向代理
* Redash BI 报表
* 分散式 Airflow
* 业界知名的 Grafana 监控系统
一本书涵盖大量资料工程师的技能树。
甚至进阶到 Senior Data Engineer ( 其中一部分也跟 SRE、Backend 技能重叠 )
目前书在天珑书局预售中。
各位对大数据、资料工程有兴趣的话，可以参考看看，也感谢大家对开源专案一路以来的
支持。
https://www.tenlong.com.tw/products/9786267273739?list_name=lv
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.44.86.129 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1691768222.A.CAB.html
1F：推 keepxha: 推 08/11 23:44
2F：推 OhGNM: 推用心 08/12 00:14
3F：推 andy0219: 推推 08/12 03:12
4F：推 marsonele: 又出新书了？ 08/12 03:26
5F：→ ztsc0304356: 请问大大所谓的第二版是现在博X来上买的到的吗? 08/12 08:31
6F：→ f496328mm: 不是哦，第二版8/20才出版，封面也不同 08/12 09:25
7F：→ ztsc0304356: 那一样会上架在该平台吗?，因为我比较常用 08/12 10:13
8F：→ f496328mm: 会上架在博客来 08/12 10:24
9F：→ f496328mm: 上架後我私信你 08/12 10:24
10F：推 michellehot: 推 08/12 10:36
11F：推 ztsc0304356: 好的，十分感谢 08/12 10:41
12F：推 Ouranos: 推推，希望能赶快到8/20! 08/12 16:51
13F：推 hyouun: 推，API好用 08/12 17:01
14F：推 kshskghs: 请问没看过第一版适合直接阅读第二版吗 08/12 18:33
15F：推 wandallin: 推个 08/12 20:32
16F：推 lonelytea: 有兴趣 08/12 23:02
17F：→ f496328mm: 第一版的内容，第二版都有，而第二版新增了50%内容，所 08/12 23:58
18F：→ f496328mm: 以直接买第二版即可 08/12 23:58
19F：推 kshskghs: 了解!!马上下单 08/13 00:05
20F：推 NTUTM04: 推 08/13 15:39
21F：推 agra: 推有心 08/13 20:02
22F：推 x246libra: 没有spark能叫资料工程师？ 08/14 07:29
23F：→ x246libra: 感觉和後端技能一样啊，但我想转资料工程，都因为没sp 08/14 07:31
24F：→ x246libra: ark经验被婉拒 08/14 07:31
拍拍，目前我在 17LIVE 的 data team，没有用到 Spark
或许你可以参考以下职缺，还有在徵人
Requirements 也没有提到 spark，应该可以试试看
https://www.swag.careers/senior-data-engineer
25F：推 zoo2020: 请问有出电子书吗？ 08/14 07:50
有喔，到时候再贴连结过来
26F：→ xsoho: 出电子书大概没多久就可以看到免费版 08/14 11:06
※ 编辑: f496328mm (114.44.46.48 台湾), 08/14/2023 11:29:46
27F：推 BigCockman: 推 用的技术很贴近业界潮流 有电子书的话会支持 08/14 16:14
感谢，技术真的都是业界实际在应用的
等出版後，会再附上电子书连结
※ 编辑: f496328mm (114.44.46.48 台湾), 08/14/2023 16:57:43
28F：推 Cabranct: 推，期待电子书 08/15 16:57
29F：推 HmmHmm: 等电子书 08/17 07:07
30F：推 kusoboy520: 等电子书 08/18 12:34
31F：推 s9041200: looks good, 虽然我是做分散式储存，但感觉内容很有趣， 08/21 10:14
32F：→ s9041200: 推一个以後来读 08/21 10:14
电子书上架罗
https://readmoo.com/book/210285321000101
※ 编辑: f496328mm (114.44.75.73 台湾), 08/21/2023 11:47:32
33F：推 kv553835: 上面说到这是一本完整的资料工程师攻略 那想转职入门的 08/21 12:04
34F：→ kv553835: 照着攻略是OK的吗？ 08/21 12:04
如果有 Python 基础，想往 data engineer 发展
那这本是 OK 的
但如果没有 Python 基础，则有点困难
因为本书没有从 0 开始教 Python
有兴趣可以查询 Junior 资料工程师职缺
所需技能与本书非常类似
从最基本的资料收集(爬虫)、分散式爬虫、资料库架设、API
云端、Docker、压力测试、CICD
到最後的视觉化工具、Airflow、监控系统等等
基本上都是 DE 相关技能树
35F：推 billchen123: 比较好奇 工程师想出书 要点什麽技能? 哈哈 08/21 16:29
36F：→ billchen123: 自己找出版社? 08/21 16:29
这我也可以分享经验，我不是自己找出版社XD
根据跟出版社交流，得到的资讯
其中一个可能的方式是
他们会看你在技术社群的热度 or 声量
举例
IT铁人赛，连续写 30 天文章
前三名的选手，可能就有机会
因为他们判断，你有持续写文章的能力，且品质优良
我个人不太一样
我是在 FB 社群，分享 FinMind
当初 2021 的文章，破千赞、超过 200 个分享
2019 的文章，也有超过 600 赞，100 分享
所以他们来信询问我，之後就如大家所看到的，出版书籍这样
※ 编辑: f496328mm (114.44.75.73 台湾), 08/21/2023 17:21:42
37F：推 billchen123: 了解 谢谢你的分享 找时间到诚品找找看您的书 08/22 14:29
38F：推 penolove5566: 推推 08/23 09:34
39F：→ maymay82407: 照着书上操作 docker 建的好辛苦 还在研究 08/26 18:29
有问题欢迎来信询问哦
docker 学好，会帮助你的产品，节省很多时间成本
※ 编辑: f496328mm (114.44.46.83 台湾), 09/04/2023 12:08:32
40F：推 jaancnk: 推个 09/08 20:56
41F：→ f496328mm: 关於 docker，其实我都准备好 yml 档了，理论上一行指 09/09 17:47
42F：→ f496328mm: 令就能执行 09/09 17:47