Лучший способ разбить генератор на куски

Question

Лучший способ разбить генератор на куски

Можете ли вы помочь мне написать этот код, который разбивает выходы генератора на куски на 100 и сохраняет их в базу данных более красивой.

$batchSize = 100;

$batch = [];
$i = 0;

/**
* @yield array $item
*/
foreach(itemsGenerator() as $item) {
$batch[] = $item;
$i++;

if ($i === $batchSize) {
Db::table('items')->save($batch);

$batch = [];
$i = 0;
}

$cnt++;
}

if ($batch) {
Db::table('items')->save($batch);
}

Я не хочу помещать логику разбивания на куски в itemsGenerator

2

chunks foreach generator php

Решение

Другие решения

Других решений пока нет …

Источник

Accepted Answer

Вы можете поместить логику блока в отдельную функцию многократного использования.

Решение 1: Каждый кусок является генератором.

https://3v4l.org/3eSQm

function chunk(\Generator $generator, $n) {
for ($i = 0; $generator->valid() && $i < $n; $generator->next(), ++$i) {
yield $generator->current();
}
}

function foo() {
for ($i = 0; $i < 11; ++$i) {
yield $i;
}
}

for ($gen = foo(); $gen->valid();) {
$chunk = [];
foreach (chunk($gen, 3) as $value) {
$chunk[] = $value;
}
print json_encode($chunk) . "\n";
}

Решение 2: Каждый кусок является массивом.

https://3v4l.org/aSfeR

function generator_chunks(\Generator $generator, $max_chunk_size) {
$chunk = [];
foreach ($generator as $item) {
$chunk[] = $item;
// @todo A local variable might be faster than count(), but adds clutter to the code. So using count() for this example code.
if (count($chunk) >= $max_chunk_size) {
yield $chunk;
$chunk = [];
}
}
if ([] !== $chunk) {
// Remaining chunk with fewer items.
yield $chunk;
}
}

function generator() {
for ($i = 0; $i < 11; ++$i) {
yield $i;
}
}

foreach (generator_chunks(generator(), 3) as $chunk) {
print json_encode($chunk) . "\n";
}

Теперь все фрагменты будут в памяти одновременно как массив, но не вся последовательность.

Могут быть способы заставить каждый кусок вести себя как генератор. Но это другая история для другого дня.

3