作者appleboy46 (小惡魔)
看板Soft_Job
標題[心得] 處理服務讀取多個任務遇到的問題
時間Wed Nov 16 09:10:47 2022
標題: 處理服務讀取多個任務遇到的問題 (Go 語言)
連結:
https://bit.ly/fetch-task
影片:
https://www.youtube.com/watch?v=Sh9hN635j50
https://i.imgur.com/lbY6KzL.png
不同的服務都會有需要處理比較久的任務，這些任務是不能即時執行完成，才回應給前端
，這樣使用者體驗會非常的差。將類型的任務存在資料庫或放在消息對列就是一種處理方
式，接著啟動另一個服務來消化非即時性的任務，而常見的處理方式就是在服務內啟動多
個 Worker Node 來平行消化任務(如上圖)。
## 讀取多個任務問題
先看看底下此服務內部的設計，用 Go 語言來當範例解釋當下問題，假設有一個 Task 服
務負責存放所有的任務，而 Agent 服務內可以開啟多個 Goroutine 來平行消化任務，步
驟也很簡單，第一步就去讀取任務，而第二步就是執行任務。想看看在步驟一的時候，如
果目前 Task 服務內沒有任何任務需要執行，就設計每 5 秒才去向 Task 服務詢問是否
有新任務需要執行，避免太頻繁發請求給 Task 服務。
先假設有 100 個任務需要等待執行，在 Agent 內開啟 10 個 Worker Node 去消化，這
樣每次就會發送 10 個請求，而這 10 個請求有可能對於 Task 服務來說就是 10 個
SQL 指令，如果是 10 台 Agnet 就變成 100 個請求，這樣對於 Task 服務來說會負擔太
大。
https://i.imgur.com/4csL9To.png
大家可以想看看如何解決上述的問題，底下提供一段 Go 語言實作多個 Worker 的代碼，
步驟一就是開啟 Goroutine 來平行處理任務，就是在這邊會發送大量的請求到另一個
Task 服務
代碼放在 Blog 連結內
--
AppleBoy Blog:
http://blog.wu-boy.com
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 60.244.123.129 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Soft_Job/M.1668561050.A.C2B.html
1F：→ foreverk: 如果Task service會出現大量打到db的request，那應該先 11/16 09:22
2F：→ foreverk: 使用cache吧？ 11/16 09:22
3F：推 s06yji3: 不一定，如果每次query的條件或結果不一樣的話是無法Cach 11/16 09:48
4F：→ s06yji3: e的 11/16 09:48
5F：推 lovdkkkk: 應可用 socket 主動通知不用一直發 request 詢問？ 11/16 09:59
6F：→ GoalBased: 關鍵字subscribe 吧 沒看圖和code 11/16 12:48
7F：推 Nonsense8: notify 回去吧 11/16 19:31
8F：推 a4782887: 久仰AppleBoy. 以下淺見. 如果tasks限制是使用database 11/20 09:23
9F：→ a4782887: queue來實作存取, 且task數量龐大, db loading會比較大 11/20 09:23
10F：→ a4782887: , 會比較難scale out worker, 這時候看看優化SP可否幫助 11/20 09:23
11F：→ a4782887: ….不然另尋其他種work queue是值得嘗試的辦法. 敝司之 11/20 09:23
12F：→ a4782887: 前用過OLTP database queue…db alert 常常發啊XD 11/20 09:23
13F：推 a4782887: 剛看完blog, 敝司目前也是使用類似的作法XD 11/20 09:28
14F：→ appleboy46: 樓上 感謝分享 XD 11/22 12:00
※ 編輯: appleboy46 (123.110.136.13 臺灣), 11/26/2022 22:38:35
15F：→ appleboy46: 放上 Youtube 影片 11/26 22:38