无法从Spark Submit中的JAR文件加载主类

我正在尝试运行Spark工作.这是我的shell脚本,位于/home/full/path/to/file/shell/my_shell_script.sh:

confLocation=../conf/my_config_file.conf &&
executors=8 &&
memory=2G &&
entry_function=my_function_in_python &&
dos2unix $confLocation &&
spark-submit \
        --master yarn-client \
        --num-executors $executors \
        --executor-memory $memory \
        --py-files /home/full/path/to/file/python/my_python_file.py $entry_function $confLocation

当我运行它时,我收到一条错误消息:

错误:无法从JAR文件加载主类:/ home/full/path/to/file/shell/my_function_in_python

我的印象是它在错误的位置(python文件位于python目录,而不是shell目录).

该--py-files标志用于从您的程序中使用的其他 python文件依赖项; 你可以在SparkSubmit.scala中看到它使用所谓的"主要参数",意思是第一个非标志参数,以确定是否执行"提交jarfile"模式或"提交python main"模式.

这就是为什么你看到它试图加载你的"$ entry_function"作为一个不存在的jar文件,因为它只假设你运行Python,如果主要参数以".py"结尾,否则默认假设你有.jar文件.

而不是使用--py-files,只是让你/home/full/path/to/file/python/my_python_file.py成为主要论点; 然后你可以做花哨的python把"入口函数"作为程序参数,或者你只需​​要在python文件本身的main函数中调用你的入口函数.

或者,您仍然可以使用--py-files然后创建一个新的主.py文件来调用您的入口函数,然后将该主.py文件作为主要参数传递.