作者f496328mm (123)
看板Python
标题Re: [问题] 请问有什麽办法加快这个 for loop 吗？
时间Wed Feb 28 15:47:41 2018
※ 引述《CaptPlanet (ep)》之铭言：
: 有list_a, list_b两个list
: list_a 有大约 70000 个 elements
: list_b 大约 3 million 个 elements
: 程式大致如下：
: res_li = []
: for x in list_b:
: try:
: res_li.append(list_a.index(x))
: except:
: res_li.append("")
: 对 list_b 中的每一个 element
: 在 list_a 中找到一样 element 把他的 index 加到新的 list 中
: 随着 iteration 增加 速度变得越来越慢，
: 想请教各位为何会有这个现象以及有什麽方法加速这个 for loop 呢？
: 谢谢各位高手
虽然这是 Python 版
我用 R 来比较一下速度
先讲结论
使用小 data 测试速度, list_a = 7,000笔, list_b = 300,000笔
python 耗时 : 24.7 秒
R 使用平行运算(mclappy) 耗时 : 1.2 秒
R 使用单核运算( sapply ) 耗时 : 2.9 秒
#==========================================
data 数量改为与原 po 相同, list_a = 70,000笔, list_b = 3,000,000笔
R 使用平行运算(mclappy) 耗时 : 69 秒
以下提供 code
#==========================================
# Python 版本
import numpy as np
import random
import time
import datetime
list_a = random.sample(range(0,10000),7000)
list_b = random.sample(range(0,500000),300000)
res_li = []
s = datetime.datetime.now()
for x in list_b:
try:
res_li.append( list_a.index( x ) )
except:
res_li.append("")
t = datetime.datetime.now() - s
print(t)
# 0:00:24.748111
# 耗时 24s
#==========================================
# R 版本
library(data.table)
library(dplyr)
library(parallel)
list_a = sample(c(0:10000),7000,replace = FALSE)# 7,000
list_b = sample(c(0:500000),300000,replace = FALSE)# 300,000
# case 1, 这里使用 R 的多核心运算
res_li = c()
s = Sys.time()
res_li = mclapply(c(list_b),function(x){
if( x %in% list_a ){
map = which(list_a==x)
#res_li = c(res_li,map)
}else{
map = ''
#res_li = c(res_li,map)
}
return(map)
}, mc.cores=8, mc.preschedule = T)
res_li = do.call(c,res_li)
t = Sys.time() - s
print(t)
# Time difference of 1.229357 secs
#===============================================
# case 2, 这里使用一般单核运算
res_li = c()
s = Sys.time()
res_li = sapply(c(list_b),function(x){
if( x %in% list_a ){
map = which(list_a==x)
#res_li = c(res_li,map)
}else{
map = ''
#res_li = c(res_li,map)
}
return(map)
})
t = Sys.time() - s
print(t)
# Time difference of 2.913066 secs
#===========================================
# 使用多核心, data 数与原 po 相同
list_a = sample(c(0:100000),70000,replace = FALSE)# 70,000
list_b = sample(c(0:5000000),3000000,replace = FALSE)# 3,000,000
res_li = c()
s = Sys.time()
res_li = mclapply(c(list_b),function(x){
if( x %in% list_a ){
map = which(list_a==x)
#res_li = c(res_li,map)
}else{
map = ''
#res_li = c(res_li,map)
}
return(map)
}, mc.cores=8, mc.preschedule = T)
res_li = do.call(c,res_li)
t = Sys.time() - s
print(t)
# Time difference of 1.151484 mins
提供不同的观点参考参考
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 36.229.89.102
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1519804063.A.817.html
1F：→ celestialgod: R用八个核心结果比单核只快2倍多，怪怪的02/28 16:55
2F：→ celestialgod: 而且R可以直接用match做02/28 17:00
3F：→ celestialgod: 甚至是fastmatch::fmatch都可以很快02/28 17:00
只是做个简单的比较，用比较相近的 R and Python code，感谢大大提供更进阶的方法
其实 R 速度也不输给 Python
4F：推 vfgce: python将list a 改成dict,速度比R还快...02/28 18:00
5F：推 Sunal: 同楼上 BigO比一下就知道了 02/28 18:43
6F：推 vfgce: 对R没偏见,语法较python简洁且内建支援矩阵,但原生R真的 02/28 19:23
7F：→ vfgce: 大部分情况都比python慢. 02/28 19:24
根据 celestialgod 大 跟 vfgce 大的意见进行修正
以下是 R and Python code
#==================================
# python
import random
import datetime
list_a = random.sample(range(0,100000),70000)
list_b = random.sample(range(0,5000000),3000000)
list_a = { i:list_a[i] for i in range(len(list_a))}
res_li = []
s = datetime.datetime.now()
for x in list_b:
res_li.append( list_a.get(x,'') )
t = datetime.datetime.now() - s
print(t)
# 0:00:01.056265
#==================================
# R
install.packages('fastmatch')
library(fastmatch)
list_a = sample(c(0:100000),70000,replace = FALSE)
list_b = sample(c(0:5000000),3000000,replace = FALSE)
s = Sys.time()
res_li = fmatch(list_b,list_a, nomatch = -1)
res_li[res_li==-1]=''
t = Sys.time() - s
print(t)
# Time difference of 0.5497556 secs
PS : 单纯做个比较，两个语言各有优缺点，多会一点也不坏
※ 编辑: f496328mm (36.229.89.102), 02/28/2018 19:48:51
8F：推 Sunal: 语言这种问题是战不完的 单纯要拼这种速度可以拉C/C++ 02/28 22:43
9F：→ Sunal: FORTRAN Rust go..........还是看要应用而定 02/28 22:44
10F：→ Sunal: 如果这种计算不多 并且是要做web app呢？ 02/28 22:48
11F：→ f496328mm: 不是要拚速度拉 只是提供一个参考 02/28 22:53
12F：推 Sunal: 如果是作分析/统计 多参考是没错的，但是要做到产品阶段 02/28 22:59
13F：→ Sunal: 还是要考虑不同语言的应用场景XDXDXD 02/28 23:00
14F：→ uranusjr: 这到底能参考到什麽我实在是看不出来 03/01 01:03
15F：推 joyolkreg: 如果能说明R版本的方法或概念如何改进python版本比较好 03/01 06:20
16F：→ joyolkreg: ，不然看起来是在拼语言 03/01 06:20
17F：推 Sunal: 研究分析你想用什麽语言都行，但是这样的效能差距，应该还 03/01 07:44
18F：→ Sunal: 不足达到转换语言的程度，更何况这段py code还可再修改会 03/01 07:44
19F：→ Sunal: 更快的可能。所以：参考不到什麽＋看起来就是在拼速度(无误 03/01 07:44
20F：→ Sunal: ) 03/01 07:44
22F：推 XiDaDa5566: 可以参考出python比R语言慢很多啊 03/07 02:33