当前位置:  开发笔记 > 编程语言 > 正文

如何将其他参数传递给pyspark中用户定义的方法进行过滤方法?

如何解决《如何将其他参数传递给pyspark中用户定义的方法进行过滤方法?》经验,为你挑选了1个好方法。

我使用python的spark,我有一个过滤器约束如下:

my_rdd.filter(my_func)

其中my_func是我写的一个方法,用于根据我自己的逻辑过滤rdd项.我已经将my_func定义如下:

def my_func(my_item):

{
...
}

现在,我想将另一个单独的参数传递给my_func,除了进入它的项目.我怎样才能做到这一点?我知道my_item会引用一个来自my_rdd的项目,我如何将自己的参数(比方说my_param)作为my_func的附加参数传递?



1> Shawn Guo..:

使用下面的lambda语法并使用额外的参数修改my_func:

my_rdd.filter(lambda row: my_func(row,extra_parameter))

推荐阅读
和谐啄木鸟
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有