美文网首页
Kafka集群部署

Kafka集群部署

作者: jianshu_sky2018 | 来源:发表于2018-06-13 17:08 被阅读0次

一、Jdk安装配置

环境搭建需要jdk版本为1.7。将jdk安装文件分别拷贝至各服务器上,配置环境变量,下面以jdk-7u55-linux-x64.rpm版本为示例:

1). 将下载的jdk安装文件jdk-7u55-linux-x64.rpm拷贝到/home/hiatmp里。

2).运行命令安装,命令为:rpm -ivh jdk-7u55-linux-x64.rpm

3).在/etc/profile里面增加环境变量:

export JAVA_HOME=/usr/java/jdk1.7.0_55

export JAVA_BIN=/usr/java/jdk1.7.0_55/bin

export PATH=$PATH:$JAVA_HOME/bin

export

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOMEJAVA_BIN PATH CLASSPATH

注意,linux中环境变量是以":"分割的,不是";",目录要设置正确,特别注意不要有空格等。

4).执行source /etc/profile命令使修改生效;

5).查看jdk是否安装好:Java  –version,显示类似如下信息说明安装配置正确。

确认当前jdk的版本号

若还出现类似以下界面,则需要先卸载自带的jdk版本。 先查看jdk,命令为:rpm -qa|grep java,

系统自带的jdk

然后输入如下命令进行卸载: rpm -e --nodeps java-1.4.2-gcj-compat-1.4.2.0-40jpp.115(nodeps后面的java信息由系统自带的具体版本确定),卸载完之后在按上述步骤重新安装一遍即可。

二、ZooKeeper服务搭建

1、功能描述:

    主要为kafka集群运行提供一致性协调服务。

2、准备安装包zookeeper-3.4.12.tar.gz

3、解压安装包,重命名文件zoo_sample.cfg为zoo.cfg,按照如下要求在各服务器上创建相应的文件夹并修改zoo.cfg文件配置,此项各服务器可采用相同配置。

zoo.cfg配置修改

4、修改好zoo.cfg文件后,打包至zookeeper-3.4.12.tar.gz的conf下,上传至各服务器/home/hiatmp下。

5、在各服务器的/home/hiatmp/zookeeper/data下,创建myid文件,内容依次为1,2,3,全局唯一不能重复。

操作示例:

创建标识文件

6、执行tar -zxvf zookeeper-3.4.12.tar.gz ,在服务器上解压缩安装包。

解压缩

7、分别进入各服务器的/home/hiatmp/zookeeper-3.4.12/bin路径下,启动各服务器上的zookeeper服务并如图确认状态。

启动服务

三、Kafka服务

1、 功能描述:

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。

2、 准备安装包kafka_2.11-1.1.0.tgz。

3、 解压安装包,按照如下要求在各服务器上创建相应的文件夹并修改server.properties文件配置,各服务器共需要修改四项,前两项配置参数不同,后两项可采用相同配置(前提:路径一致)。

broker标识 本地服务监听 日志数据存储路径 集群配置列表

4、 修改好server.properties文件后,打包至kafka_2.11-1.1.0.tgz的conf下,上传至各服务器/home/hiatmp下。

5、 执行tar -zxvf kafka_2.11-1.1.0.tgz ,在服务器上解压缩安装包。

6、 分别进入各服务器的/home/hiatmp/kafka_2.11-1.1.0/bin路径下,启动各服务器上的kafka服务并如图确认状态。

服务启动

启动命令:./kafka-server-start.sh ../config/server.properties 1>/dev/null 2>&1 &

相关文章

网友评论

      本文标题:Kafka集群部署

      本文链接:https://www.haomeiwen.com/subject/xzojeftx.html