Как использовать изменения в облачном хранилище Google как поток?

akauppi спросил: 13 июня 2018 в 05:25 в: google-cloud-datastore

Страница Cloud Dataflow подразумевает, что это было бы возможно, но я не нашел способ наблюдать за событиями изменений в облачном хранилище Google Cloud Docs. Как это делается?


1 ответ

dsesto ответил: 16 июня 2018 в 06:41

Насколько мне известно, интеграция Cloud Datastore с Dataflow осуществляется через DatastoreIO (теперь на основе DatastoreV1), который может использоваться только как ограниченный источник для пакетных заданий.

Я был пытаясь найти альтернативное решение, которое позволит вам использовать Datastore (прямо или косвенно) в качестве неограниченного источника (например, создание темы Pub / Sub, в которой изменения Datastore публикуются и могут быть использованы из Dataflow), но я не думаю, что было бы жизнеспособным решением, учитывая, что, как вы сказали, нет простого способа обнаружить изменения (добавление сущностей, модификацию объектов и т. д.) в хранилище данных.

В настоящее время я подал внутренний попросите улучшить документацию, чтобы либо изменить изображение, чтобы оно не означало, что облачный хранилище данных можно использовать с потоковым конвейером, либо уточнить этот прецедент.

Дополнительное видео по вопросу: Как использовать изменения в облачном хранилище Google как поток?

Облачное хранилище Гугл. Инструкция по использованию

Все облачные хранилища в одно приложение на ПК и Mac / OneDrive, GoogleDrive, Dropbox, iCloud Drive!

Google Cloud: Урок 1. Начало использования.