Обработка большого количества данных из BigQuery

Я создаю несколько плоских таблиц в MySQL для целей отчетности, и источником данных, который я использую, является Google BigQuery. Основная цель этих агрегированных таблиц состоит в том, чтобы уменьшить количество циклов чтения и снизить стоимость, поскольку он будет запускать фоновое задание один раз в день, а затем сохранять счетчики в MySQL. Позже код отчета считывается из таблицы MySQL, и этот процесс продолжается.

Теперь проблема, с которой я сталкиваюсь — это ограничения. Если я получу общее количество из bigquery и выполню запрос в цикле, скажем, для 100 записей одновременно, он выполнит несколько операций чтения и, поскольку это агрегированный запрос, обработает все данные в таблице Bigquery и там не будет никакого преимущества с точки зрения стоимости, поскольку он выполняет те же множественные запросы внутри фоновой работы. Я планирую выполнить запрос один раз и получить все результаты, но затем он исчерпывает объем памяти PHP, так как я получаю очень большой набор данных.

На самом деле, что я могу сделать в этой ситуации? У меня есть экземпляр Redis и есть ли возможность, что я могу написать непосредственно в Redis, без его обработки через PHP?