让Spark集群运行某个应用程序,我想使用Akka actor从集群中的每个Spark节点中流式传输数据.即:节点以某种方式处理数据,并且并行地,actor将节点内的一些其他数据发送到外部进程.
现在,这些是可能的选择:
只需通过常规ActorSystem创建ActorRef:不可能,因为ActorSystem实例不是Serializable,它会在运行时失败
使用Spark内部ActorSystem创建演员:因为星火1.4不是一个好的选择,因为Spark.get.ActorSystem被弃用
那么如果上面的选项无效,Spark节点实例化给定actor的最佳方法是什么？它有可能吗？
这个问题是一定的相关性这一块,虽然在更广的范围内制定
注意:我知道我可以以某种方式使用Spark流式传输此方案,但目前我想探索纯Akka选项的可行性
京公网安备 11010802040832号 | 京ICP备19059560号-6 