1.基于 CDH 版本选择安装
(1)登录 CM 控制台,选择“添加服务”
(2)选择需要安装的 Kafka 组件
点击“继续”进入:
(3)创建 KafkaBroker 节点
Kafka MirrorMaker 和 Gateway,先默认不选 点击“继续”
(4)设置 KafkaBroker 配置
在 Kafka 配置文件中配置 broker 在 zookeeper 中的地址 将“zookeeper.chroot”修改为“/kafka”,如下图。即 broker 信息保存在 zookeeper 的/kafka 目录下
设置 Data Directories log dirs:/var/local/kafka/data Java Heap 设置为 512M 或 1G;
完成即可(5)查看启动 Kafka 服务情况:
服务正常启动,安装完成2.基于 parcel 包离线安装
首先,我们需要去对应网站下载 cdh 版本支持的 kafka 的相关包。 下载的链接如下:Index of kafka/parcels/4.1.0.4/ 这个网址下载你需要的 kafka 的 parcel 包和 csd 包
(1)kafka 相关包准备
csd 包:http://archive.cloudera.com/csds/kafka/
parcel 包: http://archive.cloudera.com/kafka/parcels/latest/ ( 根据 自己的集群的系统版本下载 )
选择需要安装的 Kafka 版本,我的虚拟机是 Centos7 的,下载对应的版本。 将 parcel 包下的文件放到 cm 安装节点下的/opt/cloudera/parcel-repo 目录下 面。
(2)集群实现
关闭集群,关闭 cm 服务( 假如不关闭 cm 服务,会出现在添加 kafka 服务 时找不到相关的服务描述 );
将 csd 包放到 cm 安装节点下的 /opt/cloudera/csd 目录下,如图 :
将 parcel 包放到 cm 安装节点下的 /opt/cloudera/parcel-repo 目录下, 如图:
启动 cm 服务,分配并激活 percel 包
点进去,检查更新 parcel,分配并激活(3)登录 CM 控制台,选择“添加服务
(4)选择需要安装的 Kafka 组件
点击“继续”进入:
(5)创建 KafkaBroker 节点
Kafka MirrorMaker 和 Gateway,先默认不选 点击“继续”
(6)设置 KafkaBroker 配置
在 Kafka 配置文件中配置 broker 在 zookeeper 中的地址 将“zookeeper.chroot”修改为“/kafka”,如下图。即 broker 信息保存在 zookeeper 的/kafka 目录下
设置 Data Directories log dirs:/var/local/kafka/data Java Heap 设置为 512M 或 1G; 完成即可(7)查看启动 Kafka 服务情况:
服务正常启动,安装完成
网友评论