作者ggg12345 (ggg)
站内Programming
标题Re: C++ OpenMP 多CPU同时处理可能的问题
时间Sun May 23 14:53:13 2010
※ 引述《sorryChen (陈扬和)》之铭言：
: 我有一个很大的array大概是 3G 个数(其实是Human Genome)
: 我想要用多个CPU同时bucket这些数到 64 million个 bucket
: 一个简单的sudo code 大概是这样
: int array[3G];
: int counters[64M];
: for( int i = 0; i < 3G; i++) {
: counter[array[i] % 64M] ++;
: }
: 请问有人有类似的经验吗 有人说假设有16个CPU就设16 * 64M个 CPU的counter
: 最後在加起来 这个要 4G memory..可能还ok
counter[array[i]%64M] ++;
就是根据 array[i] 对 64M 的余数当索引, 对counter[索引]加一计数;
各别算时余数的索引可能会都相同, 就有同时 update 同一个 counter[索引]
的问题.
如同有人建议的. 假如先把 array[3G] 先分割为 array [16, 3G/16]组, 每
个 cpu 编号为 j, 各别处理 array [j,k], k=1, 3G/16 , 但所存的 counter
为 counter[j, 索引], 索引= array[k]%64M , k=1, 3G/16
那就是各cpu j 去各组 array[j,k] update 各自的 counter[j, 索引] , 然後
再针对各个索引把分放对应於 cpu j 各处, 属同一索引对应的16 组 counter
值累加就得同一索引的累计结果.
2-dim array 可用 j*64M + k = i 来对 array[i]直接存取.
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 140.115.4.12