我在aws emr上使用了script-runner,并且考虑到它可能看起来非常基本(也许是stuid)问题,但是我读了很多文档并且没有人回答为什么我们需要在emr中使用脚本运行器,而它只是执行一个脚本在主节点中.可以使用bash运行相同的脚本吗？
当您只想执行脚本但入口点需要jar时,需要脚本运行器.例如,提交EMR步骤将执行"hadoop jar blah ..."命令.但如果"blah"是一个脚本,这将失败.脚本运行器成为Step期望的jar,然后使用其参数(脚本的路径)来执行shell脚本.
京公网安备 11010802040832号 | 京ICP备19059560号-6 