作者appleboy46 (小恶魔)
看板Soft_Job
标题[心得] 处理服务读取多个任务遇到的问题
时间Wed Nov 16 09:10:47 2022
标题: 处理服务读取多个任务遇到的问题 (Go 语言)
连结:
https://bit.ly/fetch-task
影片:
https://www.youtube.com/watch?v=Sh9hN635j50
https://i.imgur.com/lbY6KzL.png
不同的服务都会有需要处理比较久的任务，这些任务是不能即时执行完成，才回应给前端
，这样使用者体验会非常的差。将类型的任务存在资料库或放在消息对列就是一种处理方
式，接着启动另一个服务来消化非即时性的任务，而常见的处理方式就是在服务内启动多
个 Worker Node 来平行消化任务(如上图)。
## 读取多个任务问题
先看看底下此服务内部的设计，用 Go 语言来当范例解释当下问题，假设有一个 Task 服
务负责存放所有的任务，而 Agent 服务内可以开启多个 Goroutine 来平行消化任务，步
骤也很简单，第一步就去读取任务，而第二步就是执行任务。想看看在步骤一的时候，如
果目前 Task 服务内没有任何任务需要执行，就设计每 5 秒才去向 Task 服务询问是否
有新任务需要执行，避免太频繁发请求给 Task 服务。
先假设有 100 个任务需要等待执行，在 Agent 内开启 10 个 Worker Node 去消化，这
样每次就会发送 10 个请求，而这 10 个请求有可能对於 Task 服务来说就是 10 个
SQL 指令，如果是 10 台 Agnet 就变成 100 个请求，这样对於 Task 服务来说会负担太
大。
https://i.imgur.com/4csL9To.png
大家可以想看看如何解决上述的问题，底下提供一段 Go 语言实作多个 Worker 的代码，
步骤一就是开启 Goroutine 来平行处理任务，就是在这边会发送大量的请求到另一个
Task 服务
代码放在 Blog 连结内
--
AppleBoy Blog:
http://blog.wu-boy.com
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 60.244.123.129 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1668561050.A.C2B.html
1F：→ foreverk: 如果Task service会出现大量打到db的request，那应该先 11/16 09:22
2F：→ foreverk: 使用cache吧？ 11/16 09:22
3F：推 s06yji3: 不一定，如果每次query的条件或结果不一样的话是无法Cach 11/16 09:48
4F：→ s06yji3: e的 11/16 09:48
5F：推 lovdkkkk: 应可用 socket 主动通知不用一直发 request 询问？ 11/16 09:59
6F：→ GoalBased: 关键字subscribe 吧 没看图和code 11/16 12:48
7F：推 Nonsense8: notify 回去吧 11/16 19:31
8F：推 a4782887: 久仰AppleBoy. 以下浅见. 如果tasks限制是使用database 11/20 09:23
9F：→ a4782887: queue来实作存取, 且task数量庞大, db loading会比较大 11/20 09:23
10F：→ a4782887: , 会比较难scale out worker, 这时候看看优化SP可否帮助 11/20 09:23
11F：→ a4782887: ….不然另寻其他种work queue是值得尝试的办法. 敝司之 11/20 09:23
12F：→ a4782887: 前用过OLTP database queue…db alert 常常发啊XD 11/20 09:23
13F：推 a4782887: 刚看完blog, 敝司目前也是使用类似的作法XD 11/20 09:28
14F：→ appleboy46: 楼上 感谢分享 XD 11/22 12:00
※ 编辑: appleboy46 (123.110.136.13 台湾), 11/26/2022 22:38:35
15F：→ appleboy46: 放上 Youtube 影片 11/26 22:38