作者xbrain (我最爱小爽)
看板Perl
标题Re: [问题] 逐行处理大档有更快的方法吗
时间Sun Apr 26 23:23:05 2009
: 我需要用perl对大档做典型的每行比对撷取处理工作，
^^^^^
不知道您的资料有多大，常常处理 100GB-200GB 的档案
逐行处理这种资料 I/O threshold 很重要
另外 在 loop 里面的东西 能精简则精简.
my $i;
while .. {
$i=...
}
和 while .. { my $i=.... }
就是不一样
建议您看看 loop 里的内容
chomp 可能不需要
字串比对与撷取部分资讯可能可以合并用 RE 解决
: 可是效能似乎不佳，是逐行处理的工作本身就一定很慢？或是有没有更快的写法呢？
: 感恩!
: ps. 我有拿掉处理资讯的部分，效能还是很慢，确认瓶颈不是在那边
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 61.217.209.180
1F：→ clkao:其实 my 在哪边是一样的. 你可以用 perl -MO=Concise 看看. 04/27 00:40
2F：→ teyton:了解~~总之就是精简就对了~~ 04/27 00:43