我使用Spark 2.1.
我试图使用Spark Structured Streaming从Kafka读取记录,反序列化它们并在之后应用聚合.
我有以下代码:
SparkSession spark = SparkSession
.builder()
.appName("Statistics")
.getOrCreate();
Dataset df = spark
.readStream()
.format("kafka")
.option("kafka.bootstrap.servers", kafkaUri)
.option("subscribe", "Statistics")
.option("startingOffsets", "earliest")
.load();
df.selectExpr("CAST(value AS STRING)")
我想要的是将value
字段反序列化为我的对象而不是像String
.
我有一个自定义反序列化器.
public StatisticsRecord deserialize(String s, byte[] bytes)
我怎么能用Java做到这一点?
我找到的唯一相关链接是这个https://databricks.com/blog/2017/04/26/processing-data-in-apache-kafka-with-structured-streaming-in-apache-spark-2-2 .html,但这是针对Scala的.