当前位置:  开发笔记 > 大数据 > 正文

Spark Streaming + Kafka:SparkException:无法找到Set的前导偏移

如何解决《SparkStreaming+Kafka:SparkException:无法找到Set的前导偏移》经验,为你挑选了1个好方法。



1> Narendra Par..:

你需要检查两件事:

    检查此主题和分区是否存在,在您的情况下主题是test-topic和分区是0.

    根据你的代码,你正在尝试从偏移量0消费消息,并且可能消息从偏移量0不可用,检查你最早的偏移量并尝试从那里消费.

以下是检查最早的偏移量的命令:

sh kafka/bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list "your broker list" --topic "topic name" --time -1 

推荐阅读
放ch养奶牛
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有