Spark-submit прохождение файлов python в zip не работает

Tw UxTLi51Nus спросил: 11 июня 2018 в 10:59 в: apache-spark

Я пытаюсь отправить приложение Python с помощью spark-submit, например:

spark-submit \
    --conf spark.submit.pyFiles=path/to/archive.zip \
    --conf spark.app.name=Test123 \
    --conf spark.master=local[2] \
    --conf spark.driver.memory=5G \
    path/to/python_app.py

python_app.py пытается импортировать модули из archive.zip, но он не работает с ModuleNotFoundError. Если я подставляю

--conf spark.submit.pyFiles=path/to/archive.zip

с

--py-files path/to/archive.zip

, он работает так, как ожидалось. Это действительно странно, потому что мастер установки, память драйвера и имя приложения работают с помощью --conf.

Что мне здесь не хватает? Спасибо.

Изменить 2018-07-06: Я пробовал это с версиями Spark 2.1.3, 2.2.0 и 2.3.1 - проблема одинакова для всех трех версий. И: У меня есть проблема, независимо от отправки в local[x] или yarn.


0 ответов