使用PHP怎么遍歷目錄文件和讀取超大文件

使用PHP怎么遍歷目錄文件和讀取超大文件？針對這個問題，這篇文章詳細介紹了相對應的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

遍歷目錄文件

<?php

function glob2foreach($path, $include_dirs=false) {
  $path = rtrim($path, '/*');
  if (is_readable($path)) {
    $dh = opendir($path);
    while (($file = readdir($dh)) !== false) {
      if (substr($file, 0, 1) == '.')
        continue;
      $rfile = "{$path}/{$file}";
      if (is_dir($rfile)) {
        $sub = glob2foreach($rfile, $include_dirs);
        while ($sub->valid()) {
          yield $sub->current();
          $sub->next();
        }
        if ($include_dirs)
          yield $rfile;
      } else {
        yield $rfile;
      }
    }
    closedir($dh);
  }
}

// 使用
$glob = glob2foreach('/var/www');
while ($glob->valid()) {
  
  // 當前文件
  $filename = $glob->current();
  
  // 這個就是包括路徑在內的完整文件名了
  // echo $filename;

  // 指向下一個，不能少
  $glob->next();
}

yield 返回的是生成器對象（不了解的可以先去了解一下 PHP 生成器），并沒有立即生成數組，所以目錄下文件再多也不會出現巨無霸數組的情況，內存消耗是低到可以忽略不計的幾十 kb 級別，時間消耗也幾乎只有循環消耗。

讀取文本文件

<?php
function read_file($path) {
  if ($handle = fopen($path, 'r')) {
    while (! feof($handle)) {
      yield trim(fgets($handle));
    }
    fclose($handle);
  }
}
// 使用
$glob = read_file('/var/www/hello.txt');
while ($glob->valid()) {
  
  // 當前行文本
  $line = $glob->current();
  
  // 逐行處理數據
  // $line

  // 指向下一個，不能少
  $glob->next();
}

通過 yield 逐行讀取文件，具體使用多少內存取決于每一行的數據量有多大，如果是每行只有幾百字節的日志文件，即使這個文件超過100M，占用內存也只是KB級別。

但很多時候我們并不需要一次性讀完整個文件，比如當我們想分頁讀取一個1G大小的日志文件的時候，可能想第一頁讀取前面1000行，第二頁讀取第1000行到2000行，這時候就不能用上面的方法了，因為那方法雖然占用內存低，但是數以萬計的循環是需要消耗時間的。

這時候，就改用 SplFileObject 處理，SplFileObject 可以從指定行數開始讀取。下面例子是寫入數組返回，可以根據自己業務決定要不要寫入數組，我懶得改了。

<?php

function read_file2arr($path, $count, $offset=0) {

  $arr = array();
  if (! is_readable($path))
    return $arr;

  $fp = new SplFileObject($path, 'r');
  
  // 定位到指定的行數開始讀
  if ($offset)
    $fp->seek($offset); 

  $i = 0;
  
  while (! $fp->eof()) {
    
    // 必須放在開頭
    $i++;
    
    // 只讀 $count 這么多行
    if ($i > $count)
      break;
    
    $line = $fp->current();
    $line = trim($line);

    $arr[] = $line;

    // 指向下一個，不能少
    $fp->next();
  }
  
  return $arr;
}

以上所說的都是文件巨大但是每一行數據量都很小的情況，有時候情況不是這樣，有時候是一行數據也有上百MB，那這該怎么處理呢？

如果是這種情況，那就要看具體業務了，SplFileObject 是可以通過 fseek 定位到字符位置（注意，跟 seek 定位到行數不一樣），然后通過 fread 讀取指定長度的字符。

也就是說通過 fseek 和 fread 是可以實現分段讀取一個超長字符串的，也就是可以實現超低內存處理，但是具體要怎么做還是得看具體業務要求允許你怎么做。

復制大文件

順便說下 PHP 復制文件，復制小文件用 copy 函數是沒問題的，復制大文件的話還是用數據流好，例子如下：

<?php

function copy_file($path, $to_file) {

  if (! is_readable($path))
    return false;

  if(! is_dir(dirname($to_file)))
    @mkdir(dirname($to_file).'/', 0747, TRUE);
  
  if (
    ($handle1 = fopen($path, 'r')) 
    && ($handle2 = fopen($to_file, 'w'))
  ) {

    stream_copy_to_stream($handle1, $handle2);

    fclose($handle1);
    fclose($handle2);
  }
}

關于使用PHP怎么遍歷目錄文件和讀取超大文件問題的解答就分享到這里了，希望以上內容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關注億速云行業資訊頻道了解更多相關知識。