Что заставляет PHPExcel использовать так много памяти при чтении файла при использовании чанкованного фильтра?

Как и многие другие, я боролся с использованием памяти PHPExcel при чтении файла (чтобы преобразовать его в MySQL).

Конечно, я пробовал обычные вещи, упомянутые в разных местах, и смог повысить эффективность памяти как минимум на 40%. Это включает использование пользовательского класса читателя chunked, перемещение экземпляра читателя chunked за пределы цикла чтения и т. Д.

На моем тестовом сервере у меня 16 ГБ ОЗУ, а в PHP выделено 2 ГБ. PHPExcel будет работать с файлами размером менее 200Кб (медленно, но верно). При достижении определенного размера скрипт не может просто вывести «Killed» в оболочку. Логи показали, что ядро ​​убило PHP, потому что оно использовало слишком много памяти. Наблюдая за использованием процессора и памяти с помощью команды top, я вижу, что память свободна и свободен от подкачки, когда память используется, а подкачка — взлетает.

Прочитав ЛОТ о PHPExcel и просмотрев некоторые исходные файлы, я пришел к выводу, что по каждой ячейке хранится много данных, которые не нужны при обработке только текста. С помощью:

$objReader->setReadDataOnly(true);

немного помогает, но на самом деле не так уж много … Тем не менее, использование читателя chunked и установка размера чанка на что-то маленькое, а затем использование unset () для очистки больших переменных теоретически должно работать. Я знаю, что PHPExcel должен читать весь файл каждый раз, но он не должен хранить его в памяти, верно?

Вот код, который я сейчас использую:

<?php

date_default_timezone_set("America/New_York");
set_time_limit(7200);
ini_set('memory_limit', '2048M');

include_once("classes/PHPExcel/PHPExcel/IOFactory.php");

$inputFileName = "/PATH/TO/FILE.xlsx";
$inputFileType = PHPExcel_IOFactory::identify($inputFileName);
$worksheetName = "Sheet1";

class chunkReadFilter implements PHPExcel_Reader_IReadFilter
{
private $_startRow = 0;
private $_endRow = 0;

public function __construct($startRow, $chunkSize)
{
$this->_startRow = $startRow;
$this->_endRow = $startRow + $chunkSize;
}

public function setRows($startRow, $chunkSize)
{
$this->_startRow = $startRow;
$this->_endRow   = $startRow + $chunkSize;
}

public function readCell($column, $row, $worksheetName = '')
{
if (($row == 1) || ($row >= $this->_startRow && $row < $this->_endRow))
{
return true;
}
return false;
}
}$objReader = PHPExcel_IOFactory::createReader($inputFileType);
$objReader->setReadDataOnly(true);

$chunkSize = 1000;

echo "Got here 1\n";

$chunkFilter = new chunkReadFilter(2,$chunkSize);for ($startRow = 2; $startRow <= 378767; $startRow += $chunkSize)
{
$chunkFilter->setRows($startRow, $chunkSize);
$objReader->setReadFilter($chunkFilter);
echo "Got here 2\n";

$objPHPExcel = $objReader->load($inputFileName);
echo "Got here 3\n";

$sheet = $objPHPExcel->getSheetByName($worksheetName);
echo "Got here 4\n";

$highestRow = $sheet->getHighestRow();
$highestColumn = $sheet->getHighestColumn();
echo "Got here 5\n";

$sheetData = $sheet->rangeToArray("A".$startRow.":".$highestColumn.$highestRow, NULL, TRUE, FALSE);
print_r($sheetData);
echo "\n\n";
}

?>

Какие выводы:

[USER@BOX Directory]# php PhpExcelBigFileTest.php
Got here 1
Got here 2
Killed

Это приводит к вопросу: пытается ли PHPExcel загрузить весь файл в память независимо от моего фильтра? Если это так, то почему PHP не останавливает его при использовании памяти 2G, но позволяет ему стать настолько плохим, что ядро ​​должно убить PHP?