※ 引述《corny (玉咪)》之铭言： : 我有两个档案 : 这两个档案都是好几万笔 : a.txt b.txt : ------------- ------------- : abc111 abc123 abc555 abc111 : abc222 abc124 cde666 cde123 : cde333 cde125 : cde444 cde126 : ------------- ------------- : 目标是要知道 a.txt 跟 b.txt 第一栏的前三个字元是不是相同 : 并且抓出该行输出到 c.txt : c.txt : --------------------------- : abc111 abc123 abc555 abc111 : abc222 abc124 abc555 abc111 : cde333 cde125 cde666 cde123 : cde444 cde126 cde666 cde123 : --------------------------- : 现在写好了一个shell script如下 : 不过执行效率非常差 : 全部跑完需要好几个小时 : 在网路上找到一些关於perl的资讯 : 不过完全没有接触过这个语言 : 不知道perl是不是能快速的处理 : while read line1 : do : temp1=$(echo $line1 | awk '{print substr($1,1,3)}') : while read line2 : do : temp2=$(echo $line2 | awk '{print substr($1,1,3)}') : [ $temp1 == $temp2 ] && echo $line2 $line1 >> c.txt : done < a.txt : done < b.txt 不知道下面的程式符不符合你的要求？ #!/usr/bin/perl use warnings; use strict; use Tie::File; tie my @line_a, 'Tie::File', 'a.txt' or die "cannot open file 'a.txt'\n"; tie my @line_b, 'Tie::File', 'b.txt' or die "cannot open file 'b.txt'\n"; open my $c_txt, '>', 'c.txt' or die "cannot open file 'c.txt'\n"; my %cache = (); my $lnum = 0; for my $line (@line_a) { my $prefix = substr($line, 0, 3); push @{$cache{$prefix}}, $lnum++; } for my $line (@line_b) { my $prefix = substr($line, 0, 3); next if !exists($cache{$prefix}); for my $lnum (@{$cache{$prefix}}) { print {$c_txt} "$line_a[$lnum] $line\n"; } } 假设 a.txt 有 M 行，而 b.txt 有 N 行 你的回圈就要跑 M*N 次 (复杂度为 O(N*M)) 再加上你是用 shell script 实作 它要不断 spawn 新行程来跑 $(...) 内的程式 而 ">> c.txt" 和 "< a.txt" 会不断开启和关闭档案 最後就是印象中 "while read" 并不适合用在读取大资料量的档案(速度会很慢) 所以自然快不了 我的做法为先读取 a.txt，然後用杂凑(hash)储存每行前 3 个字元与其所在的行数， 之後再读取 b.txt，由杂凑查询其在 a.txt 相应的行数 因为查询杂凑键值的复杂度为 O(1)， 所以整个程式的复杂度降为 O(N+M) 这是用空间(杂凑)来换取时间 而读取指定的行数是由 Tie::File 这个 module 去处理的 ( http://perldoc.perl.org/Tie/File.html ) 它的读取速度是程式最大的瓶颈 希望对你有帮助~ --

※ 发信站: 批踢踢实业坊(ptt.cc) ◆ From: 61.230.178.183