如何从IntelliJ IDEA向远程Spark集群提交代码

我有两个集群,一个在本地虚拟机中,另一个在远程云中.两个群集都处于独立模式.

我的环境:

Scala: 2.10.4
Spark: 1.5.1
JDK:   1.8.40
OS:    CentOS Linux release 7.1.1503 (Core)

本地集群:

Spark Master:spark:// local1:7077

远程集群:

Spark Master:spark:// remote1:7077

我想完成这个:

写代码(只是简单的字计数)在IntelliJ IDEA的地方(在我laptp)和星火主URL设置为spark://local1:7077和spark://remote1:7077,然后运行我的IntelliJ IDEA的代码.也就是说,我不想spark-submit用来提交工作.

但我遇到了一些问题:

当我使用本地群集时,一切顺利.在IntelliJ IDEA中运行代码或使用spark-submit可以将作业提交到集群并完成工作.

但是当我使用远程集群时,我收到了一个警告日志:

TaskSchedulerImpl:初始作业未接受任何资源; 检查群集UI以确保工作人员已注册并具有足够的资源

这是充足的资源没有足够的内存!

此日志保持打印,无需进一步操作.spark-submitIntelliJ IDEA中的两个和运行代码都是相同的.

我想知道:

是否可以将代码从IntelliJ IDEA提交到远程群集？

如果没关系,是否需要配置？

导致我问题的可能原因是什么？

我该如何处理这个问题？

非常感谢!

更新

还有一个类似的问题在这里,但我觉得我的场景是不同的.当我在IntelliJ IDEA中运行我的代码并设置Spark Master为本地虚拟机群集时,它可以工作.但我收到了Initial job has not accepted any resources;...警告.

我想知道安全策略或烟花是否会导致这种情况？