我希望能够将Scala函数用作PySpark中的UDF
package com.test
object ScalaPySparkUDFs extends Serializable {
def testFunction1(x: Int): Int = { x * 2 }
def testUDFFunction1 = udf { x: Int => testFunction1(x) }
}
我可以testFunction1在PySpark 中访问它并返回值：
functions = sc._jvm.com.test.ScalaPySparkUDFs
functions.testFunction1(10)
我想要做的就是将此函数用作UDF，最好是在withColumn通话中使用：
row = Row("Value")
numbers = sc.parallelize([1,2,3,4]).map(row).toDF()
numbers.withColumn("Result", testUDFFunction1(numbers['Value']))
我认为这里有一个很有前途的方法： Spark：如何用Scala或Java用户定义函数映射Python？
但是，在对其中的代码进行更改时，可以改为使用testUDFFunction1：
def udf_test(col):
sc = SparkContext._active_spark_context
_f = sc._jvm.com.test.ScalaPySparkUDFs.testUDFFunction1.apply
return Column(_f(_to_seq(sc, [col], _to_java_column)))
我得到：
AttributeError: 'JavaMember' object has no attribute 'apply'
我不明白这是因为我相信testUDFFunction1有申请方法吗？
我不想使用在这里找到的类型的表达式：将 UDF从Scala注册到SqlContext，以便在PySpark中使用
任何有关如何使这项工作的建议，将不胜感激！
京公网安备 11010802040832号 | 京ICP备19059560号-6 