首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 网站开发 > PHP >

php读取大文件的1点疑问

2013-05-02 
php读取大文件的一点疑问我要分析一个6G的log文件,比对每行文件是否符合我的要求,程序如下$file_path d

php读取大文件的一点疑问
我要分析一个6G的log文件,比对每行文件是否符合我的要求,程序如下


$file_path = 'd:\work\workplace\test\file\system.log';
$file = fopen($file_path, 'r');
$key = md5(0);
$i = 1;
while (!feof($file)) {
    $buff = fgets($file);
    if ($buff == $key . "\r\n")
    {
        echo "find 0 at Line {$i}\r\n";
    }
    $i ++;
}
fclose($file);

我想问下这样性能怎么样吗,不会出现内存泄露或其他问题吧,还有进一步优化的方法吗?
[解决办法]
你需要先将这个文件分割成若干个小文件 
然后循环读取每个小文件即可!
[解决办法]
linux 下 $ split -b 
分割···
[解决办法]
我建议你用fgets时最好制定读取的字符数,不要一行一行的读,6G的文件说不定某一行会很长!
[解决办法]
6G的文本文件……

你咋能整这么大的文件?
日志应该按天或者按周、按月来记,超过一定大小就新建一个文件

应该分成多个文件
[解决办法]
可以,没有问题。就是很费时间

仅就代码而言,可以缩减一点
$file_path = 'd:\work\workplace\test\file\system.log';
$file = fopen($file_path, 'r');
$key = md5(0);
$i = 1;
while ($buff = fgets($file)) {
    if ($buff == $key . "\r\n")
    {
        echo "find 0 at Line {$i}\r\n";
    }
    $i ++;
}
fclose($file);

如果一次读取的多一点(比如1M)可能要快一点。不过算法要复杂些

[解决办法]
做这种东西,不是php的长项

要不搞WEB的话,还是换其它程序搞吧。

引用:
引用:

6G的文本文件……

你咋能整这么大的文件?
日志应该按天或者按周、按月来记,超过一定大小就新建一个文件

应该分成多个文件

我们公司的行为日志,一天6G

热点排行