作者Draic5566 (拼錯的狄拉克)
看板Python
標題[問題] Pool and for loop
時間Fri Aug 6 11:59:48 2021
Code 先奉上:
from multiprocessing import Pool
import numpy as np
Nj=2
Dataold=np.zeros((5,Nj))
def MT(i):
DataMT=np.zeros((Nj))
for j in range(0,Nj):
DataMT[j]=Dataold[i,j]+i
return DataMT
if __name__=='__main__':
for k in range(0,2):
pool = Pool(processes=6)
list_start_vals = range(0, 5)
array_3D = np.array(pool.map(MT, list_start_vals))
Dataold = array_3D
print(array_3D[4,0])
pool.close()
output:
4.0
4.0
問題:
原本預計第二個4.0應該要是8.0，因為認為Dataold = array_3D會把原本定
義的Dataold取代掉，並帶入第二圈的k迴圈，但事實上並沒有。
解: 沒事了... 我改在linux上跑就沒問題
而windows會跑失敗，原因大概是spawn和folk的設定差異
(此文不刪，留給有類似問題的人參考)
描述:
1. 第一個4.0是來自於 k=0, 第二個是 k=1
2. 其中一個解法: 把pool.map 改成pool.starmap，並且把Dataold當作參數
但實際要跑的code很巨大，Dataold會是一個巨大的array
因此這樣寫code會跑很慢很沒效率
3. pool.map 會給一個 1*2 的 array
而np.array(pool.map(....))會把上面的array排成 5*2 array
感謝! 我只有微薄的P幣能夠報恩，謝謝
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 23.242.118.130 (美國)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1628222390.A.580.html
※ 編輯: Draic5566 (23.242.118.130 美國), 08/06/2021 12:05:46
※ 編輯: Draic5566 (23.242.118.130 美國), 08/06/2021 12:21:23
1F：推 aassdd926: 不知道為何如此，但我會試試看 pass 1D array 進去， 08/06 15:52
2F：→ aassdd926: 不要讓mulitiprocessing 的function access a global 08/06 15:52
3F：→ aassdd926: variable，然後再把吐出來的1D array疊起來，因為以我 08/06 15:52
4F：→ aassdd926: 的了解，不同的process memory space不同 08/06 15:52
5F：→ aassdd926: 我試了一下，因為你有返回DataMT變數，然後重新assign 08/06 16:26
6F：→ aassdd926: 給Dataold，所以才有被更新，如果直接在MT裡面變更Dat 08/06 16:26
7F：→ aassdd926: aold的element，在主process 是不會出現變動（因為空 08/06 16:26
8F：→ aassdd926: 間不同） 08/06 16:26
9F：→ aassdd926: Btw multiprocessing module 有一些class（ex. Array) 08/06 16:30
10F：→ aassdd926: 可以讓不同process使用同個matrix，以你的使用情境應 08/06 16:30
11F：→ aassdd926: 該蠻適合，在subprocess也不用重新定義1D array 08/06 16:30
謝謝，我也試過用Array把Dataold設定lock=false
但似乎沒用，google許久才發現windows似乎鎖死spawn
※ 編輯: Draic5566 (23.242.118.130 美國), 08/07/2021 00:54:54