Облачное хранилище данных PHP и облачный поток данных
Я разработал хранение необработанных данных с устройств IoT в облачном хранилище данных через GAE Flex (PHP). Я также хочу перенести эти данные в BigQuery через Cloud DataFlow. Тем не менее, я не могу найти стандартные или официальные документы, которые выражают способы чтения и передачи данных между службами DataStore и DataFlow.
Решение
Самый простой способ добиться этого — использовать способность BigQuery загружать резервные копии Cloud Datastore. По сути, просто запланируйте регулярное резервное копирование в корзину GCS, а затем загрузите резервную копию из GCS в BigQuery. [документация].
Если вы хотите использовать Dataflow, вы можете использовать источник DatastoreIO в Java или Python (извините, здесь нет PHP). [документация]
Считать результаты запроса в PCollection:
Pipeline p = Pipeline.create(options);
PCollection<Entity> entities = p.apply(
DatastoreIO.v1().read()
.withProjectId(projectId)
.withQuery(myQueryObject));
Затем напишите эту коллекцию PC туда, куда вам нужны данные.
Другие решения
Других решений пока нет …