коробка носика — обработка MASSIVE xlsx excel листы сбои

Есть ли способ оптимизировать чтение этого файла?

Кстати, это приложение Laravel. data_fill() является специфической функцией Laravel. Это просто моя логика построения массива php.

https://github.com/laravel/framework/blob/3414dcfcbe27cf0f4deee0670f022983e8016392/src/Illuminate/Support/helpers.php#L427

Я взял файл из 150000 строк и 16 столбцов и разбил его на гораздо меньшую выборку из 4261 строки, и это занимает около 10-15 секунд. Полный файл занимает минуты (пришлось сильно изменить nginx и php, чтобы учесть это).

Вот отчет blackfire.io меньшего файла — https://blackfire.io/profiles/c4087f40-dd5c-42ed-9258-3c6d5a1ace51/graph

Похоже, что он читает все 68176 ячеек (4261 рядов * 16 столбцов) несколько раз в меньшем файле 349380 раз (более темные красные прямоугольники).

Таблицы прилагаются.

spreadsheets.zip

Вот код, который я использую для обработки файла (ов). Я жестко запрограммировал некоторые параметры для тестирования. Обычно это переменные запроса, позволяющие выбрать другой столбец на основе строки заголовка.

public function report02()
{
ini_set('max_execution_time', '400');

// Time how long script takes to run
$executionStartTime = microtime(true);

$reader = ReaderFactory::create(Type::XLSX); // for XLSX files

$reader->open(storage_path('smaller.xlsx'));

$headers = [];
$header_tech = strtoupper('INSTALLER NBR');
$header_tech_index = 0;
$header_equipment_type = strtoupper('ITEM');
$header_equipment_type_index = 0;
$header_equipment_sn = strtoupper('SERIAL NUMBER');
$header_equipment_sn_index = 0;
$header_equipment_status = strtoupper('EQUIP STS');
$header_equipment_status_index = 0;
$header_equipment_age = strtoupper('DAYS ASSIGNED');
$header_equipment_age_index = 0;
$show_old_equipment_limit_in_days = 21;
// convert comma delimitied tech numbers to an array and trim white space
$techs = array_map('trim', explode(",", '9448,69091,69165,69327,69430,69445,69449,69711,70056'));
$data = [
'old_equipment' => [
'total' => 0
]
];

foreach ($reader->getSheetIterator() as $sheet) {
foreach ($sheet->getRowIterator() as $row => $values) {
// Check for last row - end of file
$values2 = array_map('trim', $values);
if (! empty($values2)) {
// Header row position
if ($row == 2) {
$headers = $values2;
$header_tech_index = array_search($header_tech, $headers);
$header_equipment_type_index = array_search($header_equipment_type, $headers);
$header_equipment_sn_index = array_search($header_equipment_sn, $headers);
$header_equipment_status_index = array_search($header_equipment_status, $headers);
$header_equipment_age_index = array_search($header_equipment_age, $headers);
}

// Data after header
if ($row > 2) {
// This row contains data for a tech we requested
if (in_array($values2[$header_tech_index], $techs)) {
// 7 Status
if ($values2[$header_equipment_status_index] == 7) {
if (array_has($data, 'techs.' . $values2[$header_tech_index] . '.counts.7 Status.' . $values2[$header_equipment_type_index])) {
$data['techs'][$values2[$header_tech_index]]['counts']['7 Status'][$values2[$header_equipment_type_index]]++;
} else {
data_fill($data, 'techs.' . $values2[$header_tech_index] . '.counts.7 Status.' . $values2[$header_equipment_type_index], 1);
}

// All tech equipment
data_fill($data, 'techs.' . $values2[$header_tech_index] . '.equipment.7 Status.' . $values2[$header_equipment_sn_index], [
'type' => $values2[$header_equipment_type_index],
'age' => $values2[$header_equipment_age_index],
]);
}

// T Status
if ($values2[$header_equipment_status_index] == 'T') {
if (array_has($data, 'techs.' . $values2[$header_tech_index] . '.counts.T Status.' . $values2[$header_equipment_type_index])) {
$data['techs'][$values2[$header_tech_index]]['counts']['T Status'][$values2[$header_equipment_type_index]]++;
} else {
data_fill($data, 'techs.' . $values2[$header_tech_index] . '.counts.T Status.' . $values2[$header_equipment_type_index], 1);
}

// All tech equipment
data_fill($data, 'techs.' . $values2[$header_tech_index] . '.equipment.T Status.' . $values2[$header_equipment_sn_index], [
'type' => $values2[$header_equipment_type_index],
'age' => $values2[$header_equipment_age_index],
]);
}

// X Days or older
if ($values2[$header_equipment_age_index] >= $show_old_equipment_limit_in_days && ($values2[$header_equipment_status_index] !== 'L')) {
data_fill($data, 'old_equipment.techs.' . $values2[$header_tech_index] . '.' . $values2[$header_equipment_sn_index], [
'type' => $values2[$header_equipment_type_index],
'status' => $values2[$header_equipment_status_index],
'age' => $values2[$header_equipment_age_index],
]);

$data['old_equipment']['total']++;
}
}
}
}
unset($values2);
}
}

$reader->close();

$executionEndTime = microtime(true);
$data['runtime_in_seconds'] = round($executionEndTime - $executionStartTime, 2);

return response()->json($data, 200);
}

Снимок экрана: вывод файла меньшего размера

Также был создан запрос на выпуск github, но он, вероятно, не является проблемой пакета, так как это реализация — https://github.com/box/spout/issues/585.

Спасибо за любую помощь, которую я получаю.