Apache Spark: ограничение количества исполнителей, используемых приложением Spark

timbram спросил: 13 октября 2017 в 07:02 в: apache-spark

Можно ли ограничить количество исполнителей, используемых приложением в Spark? Я могу установить начальное количество исполнителей с помощью spark.executor.instances, но позже в моем приложении кажется, что Spark самостоятельно добавит всех доступных исполнителей, которые может.

Это делает его где никакие другие задания не могут выполняться одновременно в кластере. Поиск в Google позволил мне найти решение, но spark.cores.max, которое, похоже, не работает для ограничения общего числа исполнителей ...


0 ответов