作者jacky1989
看板Perl
标题[问题] 如何改善大文件的读写效能
时间Fri Jul 12 20:22:36 2024
饿死抬头
我在工作上撰写一些程式给同仁使用
主要是以perl做文件内容的更改或比较
一开始都还没问题，但随着档案愈来愈大，效能就是一个问题了
档案目前大约3G-9G不等，我写法是从IO做读写
同仁会输入一串字串，然後要与文件内容作比较
输入：
$input = "AX.BC.\\SR\\d";
$source = "Banana";
$tar = "APPLE";
这似这样
我的程式码大约这样写
$line=1;
open fid_wr,">file2";
open fid_rd,"<file1";
while(<fid_rd>){
$tmp = $_;
if($tmp =~ /$input/){
printf("Matched in line %d\n",$line);
$tmp =~ s/$source/$tar;
}
printf(fid_wr "$tmp");
$line++;
}
close fid_rd;
close fid_wr;
目前搜寻一个大约3G大小的文件就要耗费2分钟
如果同仁搜寻更多，那就要更久了
因此在想有没有方法可以让其更快的做完？
目前我想到先把所有的资料load到memory，然後走memory来做比较
可以节省IO的时间，不过memory只有1.5T，担心多人使用就卡死了
有试过先push到array，再一起写入硬碟，但更慢
所以还是边读边写才是最快的
我们是使用CentOS 7，硬碟是一般传统硬碟
因为是公司资源，所以硬碟没得动，系统没得动，一切就是手边现有资源
希望有知道怎麽解决的人可以帮忙一下，或是提供我关键字搜寻也好
我可以自己找资料没问题的，因为我在网路上有先找过
但如果同时要用正规表示式来支援万用字元，又要兼顾修改
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 150.116.208.71 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Perl/M.1720786959.A.2B7.html
1F：→ flu: 如果要纯用perl 读整个档作处理的话 可能用File::Map 对记忆07/13 20:25
2F：→ flu: 体的管理会比较有效一点 後续再看要multi-thread, -procces07/13 20:26
3F：→ flu: 用外部工具的话 看人弄过印象中是 parallel(1) 搭 grep(1)07/13 20:28
4F：→ flu: 现有工具中 ag, ripgrep 处理大档也蛮快的07/13 20:30
是有思考过走记忆体流程，但就担心同仁一起用，反而会拉高记忆体的使用量
5F：推 jkchang: 将printf("Matched.. 先关掉07/14 08:57
6F：→ jkchang: 结果输出档案拿掉,然後用>>将结果重新导向到档案07/14 08:59
7F：→ jkchang: 如果可以的话用sed07/14 09:01
8F：→ jkchang: sed -n '/AX.BC.\sR[0-9]/ s/Banana/APPLE/g p' file207/14 09:02
9F：→ jkchang: sed -n '/AX.BC.\sR[0-9]/ s/Banana/APPLE/g p' file107/14 09:08
10F：→ jkchang: 接上 >> file207/14 09:09
11F：→ jkchang: perl -ne '/AX.BC.\sR\d/ && s/Banana/Apple/ && print'07/14 17:17
12F：→ jkchang: 接上 file1 > file207/14 17:17
所以建议是舍弃用perl做这件事，改用sed是吗？目前只会简单的awk,但sed不会，看来得学
习了......
※ 编辑: jacky1989 (101.10.6.175 台湾), 07/17/2024 16:19:23
13F：→ jkchang: 就这个例子会用sed或perl单行来执行,或许你试试2种效率 07/17 19:15
好的，我来试试，感谢分享
※ 编辑: jacky1989 (150.116.208.71 台湾), 07/17/2024 22:28:04
14F：→ jkchang: 另外,if(/$input/o)加上o参数还可以争取一些效率 07/18 06:40
15F：推 herculus6502: regular expression纯拿来搜寻真的是overkill 08/15 08:17