作者jacky1989
看板Perl
標題[問題] 如何改善大文件的讀寫效能
時間Fri Jul 12 20:22:36 2024
餓死抬頭
我在工作上撰寫一些程式給同仁使用
主要是以perl做文件內容的更改或比較
一開始都還沒問題，但隨著檔案愈來愈大，效能就是一個問題了
檔案目前大約3G-9G不等，我寫法是從IO做讀寫
同仁會輸入一串字串，然後要與文件內容作比較
輸入：
$input = "AX.BC.\\SR\\d";
$source = "Banana";
$tar = "APPLE";
這似這樣
我的程式碼大約這樣寫
$line=1;
open fid_wr,">file2";
open fid_rd,"<file1";
while(<fid_rd>){
$tmp = $_;
if($tmp =~ /$input/){
printf("Matched in line %d\n",$line);
$tmp =~ s/$source/$tar;
}
printf(fid_wr "$tmp");
$line++;
}
close fid_rd;
close fid_wr;
目前搜尋一個大約3G大小的文件就要耗費2分鐘
如果同仁搜尋更多，那就要更久了
因此在想有沒有方法可以讓其更快的做完？
目前我想到先把所有的資料load到memory，然後走memory來做比較
可以節省IO的時間，不過memory只有1.5T，擔心多人使用就卡死了
有試過先push到array，再一起寫入硬碟，但更慢
所以還是邊讀邊寫才是最快的
我們是使用CentOS 7，硬碟是一般傳統硬碟
因為是公司資源，所以硬碟沒得動，系統沒得動，一切就是手邊現有資源
希望有知道怎麼解決的人可以幫忙一下，或是提供我關鍵字搜尋也好
我可以自己找資料沒問題的，因為我在網路上有先找過
但如果同時要用正規表示式來支援萬用字元，又要兼顧修改
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 150.116.208.71 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Perl/M.1720786959.A.2B7.html
1F：→ flu: 如果要純用perl 讀整個檔作處理的話 可能用File::Map 對記憶07/13 20:25
2F：→ flu: 體的管理會比較有效一點 後續再看要multi-thread, -procces07/13 20:26
3F：→ flu: 用外部工具的話 看人弄過印象中是 parallel(1) 搭 grep(1)07/13 20:28
4F：→ flu: 現有工具中 ag, ripgrep 處理大檔也蠻快的07/13 20:30
是有思考過走記憶體流程，但就擔心同仁一起用，反而會拉高記憶體的使用量
5F：推 jkchang: 將printf("Matched.. 先關掉07/14 08:57
6F：→ jkchang: 結果輸出檔案拿掉,然後用>>將結果重新導向到檔案07/14 08:59
7F：→ jkchang: 如果可以的話用sed07/14 09:01
8F：→ jkchang: sed -n '/AX.BC.\sR[0-9]/ s/Banana/APPLE/g p' file207/14 09:02
9F：→ jkchang: sed -n '/AX.BC.\sR[0-9]/ s/Banana/APPLE/g p' file107/14 09:08
10F：→ jkchang: 接上 >> file207/14 09:09
11F：→ jkchang: perl -ne '/AX.BC.\sR\d/ && s/Banana/Apple/ && print'07/14 17:17
12F：→ jkchang: 接上 file1 > file207/14 17:17
所以建議是捨棄用perl做這件事，改用sed是嗎？目前只會簡單的awk,但sed不會，看來得學
習了......
※ 編輯: jacky1989 (101.10.6.175 臺灣), 07/17/2024 16:19:23
13F：→ jkchang: 就這個例子會用sed或perl單行來執行,或許你試試2種效率 07/17 19:15
好的，我來試試，感謝分享
※ 編輯: jacky1989 (150.116.208.71 臺灣), 07/17/2024 22:28:04
14F：→ jkchang: 另外,if(/$input/o)加上o參數還可以爭取一些效率 07/18 06:40
15F：推 herculus6502: regular expression純拿來搜尋真的是overkill 08/15 08:17