Airflow 1.9.0 - это очередность, но не запуск задач

l0n3r4ng3r спросил: 03 февраля 2018 в 12:48 в: airflow

Воздушный поток случайно не запускает задачи с очередью, некоторые задачи даже не получают статус в очереди. Я продолжаю видеть ниже в журналах планировщика

 [2018-02-28 02:24:58,780] {jobs.py:1077} INFO - No tasks to consider for execution.

Я вижу задачи в базе данных, которые либо не имеют статуса или статуса в очереди, но никогда не запускаются.

Настройка воздушного потока работает с https://github.com/puckel/docker-airflow на ECS с Redis. Существует 4 потока планировщика и 4 рабочих задачи Сельдерея. Для задач, которые не выполняются, отображаются в состоянии очереди (серый значок), когда наведите указатель мыши на значок значка задачи, и информация о задаче говорит:

    All dependencies are met but the task instance is not running. In most cases this just means that the task will probably be scheduled soon unless:- The scheduler is down or under heavy load

Показатели в планировщике не отображаются тяжелый груз. Даг очень прост с двумя независимыми задачами, зависящими только от последнего прогона. Есть также задачи в одном и том же dag, которые застряли без статуса (белый значок).

Интересно отметить, когда я перезапускаю задачи планировщика, меняя состояние работы.

0 ответов