作者surimodo (搖滾少女!! 活力棉花糖!!)
看板Python
標題[問題] 爬蟲如何做到多進程異步處理
時間Wed Oct 5 10:48:08 2022
模擬程式碼大概這樣
https://pastebin.com/Ty672dLY
先創進程池
然後在裡面跑任務
不過是跑不動的
要移除第八行 async 跟 第十四行的 await
才能跑(而且就算移除有機率會卡死)
但移除後
其實只是加一堆冗餘程式碼跑同步處理沒有異步處理
我哪裡需要修改
才能在單一進程裡面執行異步處理
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.163.218.100 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1664938091.A.D6A.html
1F：→ lycantrope: 你搞混concurrent跟async 10/05 11:06
2F：推 timsheu: 沒仔細看你其它部份，但你的do_stuff裡面的sleep不能用 10/05 15:23
3F：→ timsheu: time.sleep，得改用 await asyncio.sleep 10/05 15:23
4F：→ cocoaswifty: 43行加個tab 10/05 18:17
5F：推 lycantrope: 是44行多個tab吧 async內用time.sleep就會停住所有 10/06 08:41
6F：→ lycantrope: coroutines 10/06 08:41
7F：→ zerof: 嚇歪 10/07 00:35
8F：→ zerof: 你是不是想找： 10/07 01:13