如何获取,设置或重置Kafka Connect连接器/任务/接收器的偏移量?
我可以使用/usr/bin/kafka-consumer-groups
运行的工具kafka.admin.ConsumerGroupCommand
来查看我所有常规Kafka消费者群体的偏移量.但是,Kafka Connect任务和组不会显示此工具.
同样,我可以使用zookeeper-shell连接到Zookeeper,我可以看到常规Kafka使用者组的zookeeper条目,但不能查看Kafka Connect接收器的条目.
从0.10.0.0开始,Connect不提供用于管理偏移的API.这是我们希望将来改进的东西,但还没有.这ConsumerGroupCommand
将是管理Sink连接器偏移的正确工具.需要注意的是源连接器偏移存储在连接一个特殊的偏移主题(因为它们是由源系统定义他们不喜欢卡夫卡正常偏移,看offset.storage.topic
在工作人员的配置文件),并自沉连接器采用了新的消费者,他们赢了将它们的偏移存储在Zookeeper中 - 所有现代客户端都使用基于Kafka的本地偏移存储.该ConsumerGroupCommand
可以用这些偏移工作,你只需要通过--new-consumer
选项).