当前位置:  开发笔记 > 大数据 > 正文

Kafka Connect Offsets.get/set方法?

如何解决《KafkaConnectOffsets.get/set方法?》经验,为你挑选了1个好方法。

如何获取,设置或重置Kafka Connect连接器/任务/接收器的偏移量?

我可以使用/usr/bin/kafka-consumer-groups运行的工具kafka.admin.ConsumerGroupCommand来查看我所有常规Kafka消费者群体的偏移量.但是,Kafka Connect任务和组不会显示此工具.

同样,我可以使用zookeeper-shell连接到Zookeeper,我可以看到常规Kafka使用者组的zookeeper条目,但不能查看Kafka Connect接收器的条目.



1> 小智..:

从0.10.0.0开始,Connect不提供用于管理偏移的API.这是我们希望将来改进的东西,但还没有.这ConsumerGroupCommand将是管理Sink连接器偏移的正确工具.需要注意的是源连接器偏移存储在连接一个特殊的偏移主题(因为它们是由源系统定义他们不喜欢卡夫卡正常偏移,看offset.storage.topic在工作人员的配置文件),并自沉连接器采用了新的消费者,他们赢了将它们的偏移存储在Zookeeper中 - 所有现代客户端都使用基于Kafka的本地偏移存储.该ConsumerGroupCommand可以用这些偏移工作,你只需要通过--new-consumer选项).

推荐阅读
Gbom2402851125
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有