作者f496328mm (123)
看板Python
标题[问题] groupby 效能改进
时间Sun Mar 25 19:02:10 2018
想问要怎麽改进以下的 code , 让速度变快
我以前是写 R 的, 正将 code 转换为 Python, 照理说 Python 应该要比较快
可是我不太熟悉 Python, 所以来请教版上的大大
我撷取一部分 data, 可以由这下载 :
https://drive.google.com/open?id=1mneTEgrK22mKK7a4fquyMaW3pchIc-kh
Python code
#====================================================
import os,sys
import pandas as pd
import numpy as np
import datetime
os.chdir('/home/linsam/project/Kaggle/Grupo Bimbo Inventory Demand')
data = pd.read_csv('train2.csv')
#------------------------------------------
log_due = pd.DataFrame( np.log1p( data['Demanda_uni_equil'] ) )
log_due.columns = ['log_due']
data['log_due'] = log_due
#-----------------------------------------------
s = datetime.datetime.now()
# 主要是这行
mean_due_age = data.groupby(['Agencia_ID'],
as_index=False)['log_due'].agg({'mean_due_age':np.mean})
t = datetime.datetime.now() - s
print( t )
# 0:00:00.719779
#=========================================================
R code 如下
#=========================================================
library(data.table)
library(dplyr)
setwd("/home/linsam/project/Kaggle/Grupo Bimbo Inventory Demand")
data = fread("train2.csv")
data$log.due = log1p( data$Demanda_uni_equil )#adj
gc()
#--------------------------------------------------------------------------------------------
s=Sys.time()
mean.due.age = data[, .(mean.due.age = mean(log.due)), by = .(Agencia_ID)]
t=Sys.time()-s
t
# Time difference of 0.1391425 secs
#===================================================================
虽然差距只有零点几秒
但实际 data 大很多, 同样的 code 我也会运行多次,
所以整体上差了大约 2 minute
谢谢
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 118.160.204.62
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1521975733.A.129.html
感谢
-----------------------------------------------------
在 groupby 之前先加入以下 code
data[colname] = data[colname].astype('category')
速度上没有改善多少耶
并没有向上面那篇
100 loops, best of 3: 6.7 ms per loop
1 loop, best of 3: 2.37 s per loop
有如此大的差距，是因为它使用 .sum()，而我使用 agg 吗?
---------------------------------------------------------
我发现是哪里拖累速度了, 因为我对多个 col 做 groupby ( 5个col )
所以即使 type 改成 category, 速度也没有改善多少
---------------------------------------------------------
自问自答
主要是 agg 在拖累速度, 来看看有没有比较好的方法
※ 编辑: f496328mm (118.160.204.62), 03/25/2018 21:53:42
感谢大大提供该连结 data.table vs dplyr vs pandas
3F：→ celestialgod: Test 4 03/25 22:10
4F：→ celestialgod: by int或是numeric 就满悲剧的XDD 03/25 22:10
5F：→ celestialgod: 所以你说Python一定比较快 恩... 应该还是不一定 03/25 22:11
6F：→ celestialgod: 而且data.table的测试指出pandas记忆体用太多 03/25 22:12
7F：→ celestialgod: 在dplyr, data.table没爆的情况下，pandas爆了 03/25 22:13
8F：→ abc2090614: pandas记忆体效率比data.table差很多 03/25 22:14
9F：→ abc2090614: Wes McKinney自己有说pandas是吃记忆体怪兽... 03/25 22:14
10F：→ celestialgod: trace了一下issue，2E9列，pandas会爆掉那个已经fix 03/25 22:18
但是 Python 大多都用 pandas 吧?
记忆体效率差, 速度也并没有比较快@@,
或许可以用 R train 完 model 後, save 给 Python 用
之前试过, R save model 之後, Python 可以直接用
※ 编辑: f496328mm (118.160.204.62), 03/25/2018 22:31:23
※ 编辑: f496328mm (118.160.204.62), 03/25/2018 22:32:49
11F：推 Luluemiko: Pandas on Ray 不知道这个有没有帮助 03/26 00:42
12F：推 aaaba: pySpark 表示： 03/26 12:25