Синхронизация базы данных с помощью Hadoop

Diego Gallegos спросил: 03 февраля 2018 в 12:42 в: hadoop

Предположим, что у вас есть периодическая задача, которая извлекает данные из базы данных и загружает эти данные в Hadoop.

Как синхронизация базы данных Apache Sqoop / Nifi mantain между исходной базой данных (SQL или NoSQL) с целевым хранилищем (Hadoop HDFS или HBASE, даже S3)?

Например, скажем, что в момент времени A база данных имеет 500 записей и в момент времени B имеет 600 записей с некоторыми из старых обновленных записей, имеет ли она механизм, который эффективно знает разницу между временем A и временем B, который только обновляет строки, которые изменили и добавили недостающие строки?


0 ответов