Сколько рабочих мест можно запустить одновременно?
Я надеюсь отправлять запросы в bigquery как задания aysnc, однако я не знаю, является ли это жизнеспособным процессом.
Малый пробег вниз:
- получить запрос
- создать запрос
- отправить асинхронный запрос
- продолжить, чтобы закончить код
Я хотел бы сделать это, потому что на данный момент самая длинная часть сценария ждет, когда bigquery отправит ответ. Я не использую этот ответ ни для чего, как для всех потоковых вставок, и я не смог выяснить, какие ограничения существуют для заданий с большими запросами.
Решение
Предполагая, что вы говорите о выполнении запросов через jobs.query() или же jobs.insert()пределы квоты можно найти на Страница политики квот документации BigQuery. Особенно:
Ограничение одновременной скорости (применяется только к запросам по требованию): […] до 20 одновременных запросов. Запросы, которые возвращают кэшированные результаты, или запросы, настроенные с использованием свойства dryRun, не учитываются в этом ограничении.
(некоторые детали о размере работы удалены, выделено мое)
Если вы думаете о переходе от синхронного jobs.query() использовать асинхронный jobs.insert()Вы можете найти Страница запроса данных из нашей документации также полезно.
Другие решения
Других решений пока нет …