[心得] 處理服務讀取多個任務遇到的問題

看板Soft_Job (軟體人)作者appleboy46 (小惡魔)時間3年前 (2022/11/16 09:10)推噓5(5推 0噓 11→)

留言16則, 7人參與討論串1/1

標題: 處理服務讀取多個任務遇到的問題 (Go 語言) 連結: https://bit.ly/fetch-task 影片: https://www.youtube.com/watch?v=Sh9hN635j50

https://i.imgur.com/lbY6KzL.png

不同的服務都會有需要處理比較久的任務，這些任務是不能即時執行完成，才回應給前端，這樣使用者體驗會非常的差。將類型的任務存在資料庫或放在消息對列就是一種處理方式，接著啟動另一個服務來消化非即時性的任務，而常見的處理方式就是在服務內啟動多個 Worker Node 來平行消化任務(如上圖)。 ## 讀取多個任務問題先看看底下此服務內部的設計，用 Go 語言來當範例解釋當下問題，假設有一個 Task 服務負責存放所有的任務，而 Agent 服務內可以開啟多個 Goroutine 來平行消化任務，步驟也很簡單，第一步就去讀取任務，而第二步就是執行任務。想看看在步驟一的時候，如果目前 Task 服務內沒有任何任務需要執行，就設計每 5 秒才去向 Task 服務詢問是否有新任務需要執行，避免太頻繁發請求給 Task 服務。先假設有 100 個任務需要等待執行，在 Agent 內開啟 10 個 Worker Node 去消化，這樣每次就會發送 10 個請求，而這 10 個請求有可能對於 Task 服務來說就是 10 個 SQL 指令，如果是 10 台 Agnet 就變成 100 個請求，這樣對於 Task 服務來說會負擔太大。 https://i.imgur.com/4csL9To.png

大家可以想看看如何解決上述的問題，底下提供一段 Go 語言實作多個 Worker 的代碼，步驟一就是開啟 Goroutine 來平行處理任務，就是在這邊會發送大量的請求到另一個 Task 服務代碼放在 Blog 連結內 -- AppleBoy Blog: http://blog.wu-boy.com -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 60.244.123.129 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1668561050.A.C2B.html

→

foreverk

11/16 09:22, 3年前 , 1^F

11/16 09:22, 1^F

→

foreverk

11/16 09:22, 3年前 , 2^F

11/16 09:22, 2^F

推

s06yji3

11/16 09:48, 3年前 , 3^F

11/16 09:48, 3^F