Фиксируйте только тему вывода в Kafka Streams

Yotam Hochman спросил: 03 ноября 2018 в 09:22 в: apache-kafka

Я хочу создать приложение Kafka Streams, которое получает сообщения типа A. Для каждого ввода A приложению необходимо произвести несколько массовых Вывод B (обычная операция flatMap).

Я пытаюсь реализовать его таким образом, чтобы приложение передавало тему вывода после каждой группы (я называю это "subcommitting" ) и имеет состояние своих субкоммитов (чтобы он мог возобновить работу до субкоммитов , которых он не сделал в случае сбоя) .

Я хочу, чтобы приложение выполняло обычную полную фиксацию только после того, как оно завершило субкоммитирование всех массивов.

Мне кажется, что Processor API может помочь мне, так как я могу управлять состоянием subcommits .

Итак,

  1. Имеет ли этот дизайн смысл? (ничего подобного не видел при поиске, поэтому я немного подозрительно)
  2. Как программно подчиниться ? (то есть фиксация только в теме вывода)

0 ответов