作者f496328mm (123)
看板Soft_Job
標題[心得] 資料工程師 X FinMind 架構解析
時間Fri Aug 11 23:36:59 2023
大家好，我是 FinMind，開源金融數據的作者
https://github.com/FinMind/FinMind
在上次，濃縮個人好幾年的工作經驗、FinMind 專案開發經驗
出版了資料工程師書籍，迴響不錯
今年花了 8 個月的時間，在第一版書上，擴增了 50% 的內容
其中新增了
1. 分散式 Airflow 介紹、架設，提供大量範例，並與爬蟲做結合!!!
2. 業界常用的監控系統 - Grafana & Prometheus，介紹與架設。
3. 並將書中介紹的各項服務，Netdata、MySQL、RabbitMQ、Airflow、Traefik，都
與監控系統做串接，製作統一的 Dashboard 監控儀錶板工具!!!
這樣本書就算是一本，完整的資料工程師攻略了，包含
* 分散式爬蟲
* 資料庫架設
* API 架設
* 雲端系統
* Docker、Docker Swarm
* Unit Test
* CICD
* ApacheBench 壓力測試
* Traefik 反向代理
* Redash BI 報表
* 分散式 Airflow
* 業界知名的 Grafana 監控系統
一本書涵蓋大量資料工程師的技能樹。
甚至進階到 Senior Data Engineer ( 其中一部分也跟 SRE、Backend 技能重疊 )
目前書在天瓏書局預售中。
各位對大數據、資料工程有興趣的話，可以參考看看，也感謝大家對開源專案一路以來的
支持。
https://www.tenlong.com.tw/products/9786267273739?list_name=lv
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.44.86.129 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Soft_Job/M.1691768222.A.CAB.html
1F：推 keepxha: 推 08/11 23:44
2F：推 OhGNM: 推用心 08/12 00:14
3F：推 andy0219: 推推 08/12 03:12
4F：推 marsonele: 又出新書了？ 08/12 03:26
5F：→ ztsc0304356: 請問大大所謂的第二版是現在博X來上買的到的嗎? 08/12 08:31
6F：→ f496328mm: 不是哦，第二版8/20才出版，封面也不同 08/12 09:25
7F：→ ztsc0304356: 那一樣會上架在該平台嗎?，因為我比較常用 08/12 10:13
8F：→ f496328mm: 會上架在博客來 08/12 10:24
9F：→ f496328mm: 上架後我私信你 08/12 10:24
10F：推 michellehot: 推 08/12 10:36
11F：推 ztsc0304356: 好的，十分感謝 08/12 10:41
12F：推 Ouranos: 推推，希望能趕快到8/20! 08/12 16:51
13F：推 hyouun: 推，API好用 08/12 17:01
14F：推 kshskghs: 請問沒看過第一版適合直接閱讀第二版嗎 08/12 18:33
15F：推 wandallin: 推個 08/12 20:32
16F：推 lonelytea: 有興趣 08/12 23:02
17F：→ f496328mm: 第一版的內容，第二版都有，而第二版新增了50%內容，所 08/12 23:58
18F：→ f496328mm: 以直接買第二版即可 08/12 23:58
19F：推 kshskghs: 了解!!馬上下單 08/13 00:05
20F：推 NTUTM04: 推 08/13 15:39
21F：推 agra: 推有心 08/13 20:02
22F：推 x246libra: 沒有spark能叫資料工程師？ 08/14 07:29
23F：→ x246libra: 感覺和後端技能一樣啊，但我想轉資料工程，都因為沒sp 08/14 07:31
24F：→ x246libra: ark經驗被婉拒 08/14 07:31
拍拍，目前我在 17LIVE 的 data team，沒有用到 Spark
或許你可以參考以下職缺，還有在徵人
Requirements 也沒有提到 spark，應該可以試試看
https://www.swag.careers/senior-data-engineer
25F：推 zoo2020: 請問有出電子書嗎？ 08/14 07:50
有喔，到時候再貼連結過來
26F：→ xsoho: 出電子書大概沒多久就可以看到免費版 08/14 11:06
※ 編輯: f496328mm (114.44.46.48 臺灣), 08/14/2023 11:29:46
27F：推 BigCockman: 推 用的技術很貼近業界潮流 有電子書的話會支持 08/14 16:14
感謝，技術真的都是業界實際在應用的
等出版後，會再附上電子書連結
※ 編輯: f496328mm (114.44.46.48 臺灣), 08/14/2023 16:57:43
28F：推 Cabranct: 推，期待電子書 08/15 16:57
29F：推 HmmHmm: 等電子書 08/17 07:07
30F：推 kusoboy520: 等電子書 08/18 12:34
31F：推 s9041200: looks good, 雖然我是做分散式儲存，但感覺內容很有趣， 08/21 10:14
32F：→ s9041200: 推一個以後來讀 08/21 10:14
電子書上架囉
https://readmoo.com/book/210285321000101
※ 編輯: f496328mm (114.44.75.73 臺灣), 08/21/2023 11:47:32
33F：推 kv553835: 上面說到這是一本完整的資料工程師攻略 那想轉職入門的 08/21 12:04
34F：→ kv553835: 照著攻略是OK的嗎？ 08/21 12:04
如果有 Python 基礎，想往 data engineer 發展
那這本是 OK 的
但如果沒有 Python 基礎，則有點困難
因為本書沒有從 0 開始教 Python
有興趣可以查詢 Junior 資料工程師職缺
所需技能與本書非常類似
從最基本的資料收集(爬蟲)、分散式爬蟲、資料庫架設、API
雲端、Docker、壓力測試、CICD
到最後的視覺化工具、Airflow、監控系統等等
基本上都是 DE 相關技能樹
35F：推 billchen123: 比較好奇 工程師想出書 要點什麼技能? 哈哈 08/21 16:29
36F：→ billchen123: 自己找出版社? 08/21 16:29
這我也可以分享經驗，我不是自己找出版社XD
根據跟出版社交流，得到的資訊
其中一個可能的方式是
他們會看你在技術社群的熱度 or 聲量
舉例
IT鐵人賽，連續寫 30 天文章
前三名的選手，可能就有機會
因為他們判斷，你有持續寫文章的能力，且品質優良
我個人不太一樣
我是在 FB 社群，分享 FinMind
當初 2021 的文章，破千讚、超過 200 個分享
2019 的文章，也有超過 600 讚，100 分享
所以他們來信詢問我，之後就如大家所看到的，出版書籍這樣
※ 編輯: f496328mm (114.44.75.73 臺灣), 08/21/2023 17:21:42
37F：推 billchen123: 了解 謝謝你的分享 找時間到誠品找找看您的書 08/22 14:29
38F：推 penolove5566: 推推 08/23 09:34
39F：→ maymay82407: 照著書上操作 docker 建的好辛苦 還在研究 08/26 18:29
有問題歡迎來信詢問哦
docker 學好，會幫助你的產品，節省很多時間成本
※ 編輯: f496328mm (114.44.46.83 臺灣), 09/04/2023 12:08:32
40F：推 jaancnk: 推個 09/08 20:56
41F：→ f496328mm: 關於 docker，其實我都準備好 yml 檔了，理論上一行指 09/09 17:47
42F：→ f496328mm: 令就能執行 09/09 17:47