作者flarehunter (Range)
看板Python
標題Re: [問題] 如何修改code讓其跑更快
時間Mon Jul 21 14:46:10 2014
※ 引述《sariel0322 (sariel)》之銘言：
: 不好意思，最近需要跑相當大量的資料
: 因此需要把code的速度做最有效的提升
: 這是我的兩個data
: pfam.csv_IPR_NA.csv(csv不小心重複了，不過不是重點:p):
: http://ppt.cc/oB18
: proteinIDandGOID_norepet.csv:
: http://ppt.cc/NSE3
: 我需要把第一個csv的第二欄跟第二個csv的第一個欄位做對應
: 有對應到的全部做輸出
: 類似下面這樣:
: http://ppt.cc/UA7t
: 以下是我的code:
: import csv
: proteinID = []
: GOID = []
: a = 0
: o = open("final.csv","w")
: g = open("proteinIDandGOID_norepet.csv","r")
: f = open("pfam.csv_IPR_NA.csv","r")
: for row in csv.reader(g):
: proteinID.append(row[0])
: GOID.append(row[1])
把資料建成key是proteinID, value是GOID list的dict
from collections import defaultdict
GOID_table = defaultdict(list)
for row in csv.reader(g):
GOID_table[row[0]].append(row[1])
: for row in csv.reader(f):
: for i in range(len(GOID)):
: if row[1] == proteinID[i]:
: o.write(row[0] + "," + row[1]+"," + row[2] + "," + GOID[i] + "\n")
for row in csv.reader(f):
# 查詢dict的key應該是O(1) 比原本的快
if row[1] in GOID_table:
for GOID in GOID_table[row[1]]:
# 寫入csv應該可以用csv.writer，可以查一下
o.write(row[0] + "," + row[1]+"," + row[2] + "," + GOID + "\n")
: f.close()
: o.close()
: g.close()
: 想問一下大家有沒有更有效率的寫法
: 感恩orz
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 210.240.114.29
※ 文章網址: http://webptt.com/m.aspx?n=bbs/Python/M.1405925173.A.4D5.html
※ 編輯: flarehunter (210.240.114.29), 07/21/2014 14:50:42
1F：推 sariel0322:喔喔!!速度快上超多倍的!!會多去了解你的寫法 07/21 15:00
2F：→ sariel0322:非常感謝你提供的寫法 07/21 15:00