作者bobju (寶貝豬)
看板PHP
標題Re: [請益] PHP讀取.txt檔的速度
時間Thu Mar 3 17:03:01 2011
PHP讀檔速度飛快好不好? 你在程式當中應該是寫了什麼奇怪的code.
※ 引述《linbob09 (累斃了)》之銘言：
: 最近在用PHP寫讀檔的東西，覺得讀取檔案內容的速度非常的慢
: 檔案的內容例子如下：
: .
: .
: .
: 一下 2
: 一下這 3
: 一下這一 4
: 一下這一疊 3
: .
: .
: .
: 這樣的內容大約有１萬行，大小183K
: 但是讀取的時間卻花了約44秒左右，有時候甚至會7X秒，讓我感到不可思議
: 讀檔的code如下：
: $Handle = fopen($FileLocation,"r+");
: while(!feof($Handle)){
: $FileContent[] = fgets($Handle);
^^ 這種寫法是把 $FileContent 當成 array,
每次讀到的內容塞入一個新的entry,
以後每次處理 $FileContent 這個變數,
都會把舊內容再次蹂躪一遍,
時間複雜度是 O(n^2),
你確定這是你所要的結果?
搭配以下的程式碼一起看, 我就覺得這行怪怪的.
會[習慣]這麼寫, 可能跟剛從c語言轉過來有關,
只是PHP處理字串的習慣, 在這裏跟c語言稍微有
點不一樣.
另外, 可以使用print_r()這個函式除錯, 例如:
print_r($FileContent);
你就可以觀察看看其內容是否符合你的預期.
: $FileContent = str_replace("\xef\xbb\xbf","",$FileContent);//BOM清除
^^^^^^^^^^^^ 跟上一行相比, $FileContent究竟是要當做
一般的變數用? 還是當成array用? 顯然就有問題了.
承 weiyucsie 所言, 接下來稍微改一下程式:
假設此程式其它部份的邏輯都沒問題(其實我對 $i 未初始化就直接用是有點意見,
但在此看來無妨),稍微改一下應該就可以改善整體處理效能. 以上兩行:
$FileContent[] = fgets($Handle);
$FileContent = str_replace("\xef\xbb\xbf","",$FileContent);
改成:
$tmp = fgets($Handle);
$FileContent[] = str_replace("\xef\xbb\xbf","",$tmp);
即可.
如果還會有問題, 那麼我建議:
1 先從檔案當中把所有內容讀進來,
2 再一行一行處理,
分兩階段進行, 程式的架構會比較乾淨.
: //讀出重複次數(0-9999)
: preg_match("/\d\d\d\d|\d\d\d|\d\d|\d/",$FileContent[$i],$Match);
: $Multiplicity[] = $Match[0];
: //讀出次數END
: //取出中文字
: $FileContent[$i] = str_replace(" ",".",$FileContent[$i]);
: $Mode1 = "/[.]/";//以.分段
: $Content = preg_split($Mode1,$FileContent[$i],-1);
: $FileContent[$i] = $Content[0];
: //取出中文字END
: $i++;
: }
: fclose($Handle);
: 會不會是在preg_match占用太多時間嗎？
: 還是有其他方法能夠增加讀檔案的速度...
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 115.43.11.116
※ 編輯: bobju 來自: 115.43.11.116 (03/03 17:09)
※ 編輯: bobju 來自: 115.43.11.116 (03/03 17:36)
1F：推 linbob09:受教了... 03/03 17:43
2F：→ weiyucsie:看下來$FileContent應該是array 03/03 23:33
3F：→ weiyucsie:str_replace把整個$FileContent array都處理一遍 03/03 23:33
※ 編輯: bobju 來自: 115.43.11.116 (03/04 00:12)
※ 編輯: bobju 來自: 115.43.11.116 (03/04 00:17)
4F：→ kylekai:把整個檔案讀入 Array 用 file() 比較快吧.. 03/04 09:43
5F：推 Jerr:@樓上 file return an array 但是不會去除EOL (\r\n) 03/04 09:57
6F：→ Jerr:看需求嘍 我習慣file_get_contents然後explode by EOL 03/04 09:57
7F：→ kylekai:我會在要處理的時候才去把不要的那個EOL處理掉.XD 03/04 15:33