作者andy6756 (阿岳)
看板Python
标题[问题] 如何优化python读档速度
时间Mon Jan 2 21:31:06 2012
*环境：*
Python2.6 + Django1.2.5 + MySql + DotCloud
*前置作业：*
现在有几千个文件档
每个文件里约有200-400笔资料
(文件范例共2个档案)
1.txt为1笔资料，
内容:
8.44587 6.42955 1.59212 0.225454 4 3 0 0 1 0 0 0 28 82 29 9 1 0 0 0 1 23 42
67 39 0 0 0 0 0 0 2 4 0 0 0 51 21 0 0 2 4 0 2 162 162 28 34 26 2 1 32 29 52
35 162 162 14 1 7 0 0 0 11 43 1 0 0 47 24 9 0 0 0 0 13 162 40 4 4 24 14 16
162 35 4 1 48 162 85 28 80 0 0 0 18 58 5 0 0 2 17 8 0 0 1 3 0 40 13 3 0 1 5
35 71 8 0 0 4 44 55 40 38 0 0 0 3 9 5 0 0
2.txt为2笔资料
内容:
8.44587 6.42955 1.59212 0.225454 4 3 0 0 1 0 0 0 28 82 29 9 1 0 0 0 1 23 42
67 39 0 0 0 0 0 0 2 4 0 0 0 51 21 0 0 2 4 0 2 162 162 28 34 26 2 1 32 29 52
35 162 162 14 1 7 0 0 0 11 43 1 0 0 47 24 9 0 0 0 0 13 162 40 4 4 24 14 16
162 35 4 1 48 162 85 28 80 0 0 0 18 58 5 0 0 2 17 8 0 0 1 3 0 40 13 3 0 1 5
35 71 8 0 0 4 44 55 40 38 0 0 0 3 9 5 0 0
8.44587 6.42955 1.59212 3.26753 7 3 0 0 0 0 0 3 51 62 33 28 7 0 0 4 2 8 35 75
43 8 2 0 0 1 6 1 2 13 9 0 52 7 0 0 0 0 0 11 163 119 24 59 37 5 1 31 27 21 19
163 163 46 5 3 0 0 0 10 47 28 16 0 52 2 0 0 0 0 0 8 163 21 1 6 29 70 42 137
24 3 1 29 163 163 27 24 1 4 0 2 45 24 0 0 7 0 0 0 0 0 0 3 37 0 0 0 2 29 47 61
1 0 0 0 24 88 25 5 1 2 0 0 2 3 0 0
########################################################
*目的：*
把文件里的每笔资料先用固定格式，
再用record_query_vector包成一个list
(请先不要提psyco和pypy、multithread及mysql的LOAD DATA INFILE，是否能从程式去改)
*问题：*
我目前程式是这样，主要耗的速度是读档的时间，
光是读几百个档( 回圈次数多 )，就要花将近40秒的时间，
请问该怎麽改？让速度更快呢?
请指点一下或者麻烦改程式码，麻烦了，谢谢您。
*变数： *
全部文件档=all_f=[ ]
try与finally包成的程式是文件资料要转成的格式
for ts in TData.objects.raw(*'SELECT id,* f_url *FROM ts_to'*):
all_f.append(ts.f_url)
第几个文件档的连结=f_url
record_query_vector=[ ]
*
*
*程式：*
for f_url in all_f:
test_dict={ }#字典
file=open(f_url)
next(file)
try:
for line in file:
dk=line.split()[:4]#串列,字典的key
dk=' '.join(dk)#字串
dv=line.split()[4:]#串列,字典的value
dv=' '.join(dv)#串列包字串
dv= [int(n) for n in dv.split(' ')]
test_dict[str(dk)]=dv
count+=1
finally:
file.close()
record_query_vector.append(test_dict.values())
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 59.121.165.146
1F：→ suzuke:最後test_dict.values()不就只有取dv? 那为什麽一开始还要 01/02 22:32
2F：→ suzuke:把dk,dv用test_dict包在一起? 01/02 22:32
3F：→ andy6756:我是为了程式看起来不要太冗长，其实後面还是有用到的。 01/03 00:01
4F：→ suzuke:dv= [int(n) for n in dv.split(' ')] 也许可以改成 01/03 01:22
5F：→ suzuke:dv = map(int,dv.split(' ')), 不过这里蛮奇怪的是' '.join 01/03 01:23
6F：→ suzuke:之後又用split(' ')分开是有什麽用意吗?? 01/03 01:23
7F：推 Falldog:IO花太多时间了 档案小的话 整个档一次读进memory里 01/03 08:18
8F：→ Falldog:for line in file.readlines(): ... 01/03 08:19
9F：→ andy6756:抱歉，我给的小范例给错了，现在改回来。 01/03 09:49
※ 编辑: andy6756 来自: 59.121.160.126 (01/03 09:52)
10F：→ chigi:换SSD? 01/07 00:54
11F：→ chigi:(遮脸 01/07 00:55