4赞

Centos安装Kafka集群

作者：赛亚兔备_393 | 2021-09-03 19:28

kafka是LinkedIn开发并开源的一个分布式MQ系统，现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式（能将消息分散到不同的节点上）MQ。在这片博文中，作者简单提到了开发kafka而不选择已有MQ系统的原因。两个原因：性能和扩展性。Kafka仅仅由7000行Scala编写，据了解，Kafka每秒可以生产约25万消息（50MB），每秒处理55万消息（

安装准备

版本

Kafka版本：kafka_2.10-0.8.2.0

Zookeeper版本：3.4.6

Zookeeper 集群：hadoop104,hadoop107,hadoop108

Zookeeper集群的搭建参见：在CentOS上安装ZooKeeper集群

物理环境

安装两台物理机：

192.168.40.104 hadoop104（运行3个Broker）

192.148.40.105 hadoop105（运行2个Broker）

该集群的创建主要分为三步，单节点单Broker,单节点多Broker,多节点多Broker

单节点单Broker
本节以hadoop104上创建一个Broker为例

下载kafka

下载路径：http://kafka.apache.org/downloads.html

[html] view plaincopyprint? 在CODE上查看代码片

[html] view plaincopyprint? 在CODE上查看代码片

推荐阅读

程序员
在大型数据集中提交每个案例时计算公开案例的有效方法

如何解决《在大型数据集中提交每个案例时计算公开案例的有效方法》经验，为你挑选了0个好方法。 ... [详细]
程序员
在ReSharper 9.2中手动安装扩展

如何解决《在ReSharper9.2中手动安装扩展》经验，为你挑选了1个好方法。 ... [详细]
程序员
c ++函数返回错误的数组

如何解决《c++函数返回错误的数组》经验，为你挑选了1个好方法。 ... [详细]
程序员
是否可以在EF7中使用流畅的API添加CHECK约束？

如何解决《是否可以在EF7中使用流畅的API添加CHECK约束？》经验，为你挑选了1个好方法。 ... [详细]
程序员
http API客户端的Wreq或Servant？

如何解决《httpAPI客户端的Wreq或Servant？》经验，为你挑选了1个好方法。 ... [详细]
程序员
将UILable更改为UITextView,而不从对象库中删除和添加

如何解决《将UILable更改为UITextView,而不从对象库中删除和添加》经验，为你挑选了0个好方法。 ... [详细]
程序员
ECMAScript-6导入嵌套函数？

如何解决《ECMAScript-6导入嵌套函数？》经验，为你挑选了1个好方法。 ... [详细]
程序员
自定义UIView,在Storyboard上具有动态高度

如何解决《自定义UIView,在Storyboard上具有动态高度》经验，为你挑选了1个好方法。 ... [详细]
程序员
HTML5 localStorage有用的函数// JavaScript,TypeScript

如何解决《HTML5localStorage有用的函数//JavaScript,TypeScript》经验，为你挑选了1个好方法。 ... [详细]
程序员
将插入符号设置在Froala 2中内容的末尾

如何解决《将插入符号设置在Froala2中内容的末尾》经验，为你挑选了1个好方法。 ... [详细]
程序员
if条件后的语法无效

如何解决《if条件后的语法无效》经验，为你挑选了1个好方法。 ... [详细]
程序员
断言没有Python中的回溯

如何解决《断言没有Python中的回溯》经验，为你挑选了1个好方法。 ... [详细]
程序员
在运行react-native初始项目时,watchman.plist权限被拒绝

如何解决《在运行react-native初始项目时,watchman.plist权限被拒绝》经验，为你挑选了1个好方法。 ... [详细]
程序员
只能复制到0个节点而不是minReplication(= 1).有4个数据节点在运行,并且在此操作中不排除任何节点

如何解决《只能复制到0个节点而不是minReplication(=1).有4个数据节点在运行,并且在此操作中不排除任何节点》经验，为你挑选了1个好方法。 ... [详细]
程序员
Erlang模块编译

如何解决《Erlang模块编译》经验，为你挑选了1个好方法。 ... [详细]
程序员
使用多项式内核调整svm时出现奇怪的错误消息:"警告:达到最大迭代次数"

如何解决《使用多项式内核调整svm时出现奇怪的错误消息:"警告:达到最大迭代次数"》经验，为你挑选了1个好方法。 ... [详细]
程序员
如果扩展一个实现Serializable"下线"的类,为什么还需要重新定义serialVersionUID？

如何解决《如果扩展一个实现Serializable"下线"的类,为什么还需要重新定义serialVersionUID？》经验，为你挑选了0个好方法。 ... [详细]
程序员
MongoDB Java API:全文搜索

如何解决《MongoDBJavaAPI:全文搜索》经验，为你挑选了1个好方法。 ... [详细]
程序员
Azure Continuous Deploy with Debug配置

如何解决《AzureContinuousDeploywithDebug配置》经验，为你挑选了1个好方法。 ... [详细]
程序员
Kotlin在android.support.v4.app.Fragment null对象引用中直接访问Button

如何解决《Kotlin在android.support.v4.app.Fragmentnull对象引用中直接访问Button》经验，为你挑选了1个好方法。 ... [详细]

赛亚兔备_393

这个屌丝很懒，什么也没留下！

关注作者

Tags | 热门标签

RankList | 热门文章

DevBox开发工具箱 | 专业的在线开发工具网站

Centos安装Kafka集群

安装准备

版本

物理环境

单节点单Broker 本节以hadoop104上创建一个Broker为例

下载kafka

单节点单Broker
本节以hadoop104上创建一个Broker为例