美文网首页
Hadoop-Kafka搭建与测试

Hadoop-Kafka搭建与测试

作者: GuangHui | 来源:发表于2018-05-07 17:57 被阅读27次
  1. 解压zk到指定的文件夹
 tar zxvf zookeeper-3.4.5.tar.gz -C ../src/
  1. 修改zoo.cfg中日志文件存在内容
    新建文件目录:/usr/local/app/tmp/zookeeper
dataDir=/usr/local/app/tmp/zookeeper

3.添加zk对应的环境变量~/.bashrc

export ZK_HOME=/usr/local/src/zookeeper-3.4.5
export PATH=$ZK_HOME/bin:$PATH

source一下,使环境变量生效: source ~/.bashrc
测试一下,echo $ZK_HOME

4.解压kafka到指定文件夹

 tar zxvf kafka_2.11-0.10.2.1.tgz -C ../src/

5.配置环境变量

export KAFKA_HOME=/usr/local/src/kafka_2.11-0.10.2.1
export PATH=$KAFKA_HOME/bin:$PATH

source一下,source ~/.bashrc
echo一下, echo $KAFKA_HOME
6.修改kafka配置文件 $KAFKA_HOME/config/server.properties:

broker.id=0
listeners=PLAINTEXT://master:9092
log.dirs=/usr/local/app/tmp/kafka-logs
zookeeper.connect=master:2181
  1. 启动zk
zkServer.sh start $ZK_HOME/conf/zoo.cfg

查看启动状态:jps

[root@master bin]# jps
13094 Application
7636 Application
13432 Application
1711 SecondaryNameNode
16347 Jps
16330 QuorumPeerMain
1571 NameNode

查看运行的进程: jps -m

[root@master bin]# jps -m
13094 Application --conf-file /usr/local/src/apache-flume-1.6.0-bin/conf/exec_avro_console.conf --name a1
7636 Application --conf-file exec_hdfs.conf --name a1
13432 Application --conf-file /usr/local/src/apache-flume-1.6.0-bin/conf/exec_avro_console.conf --name a1
16359 Jps -m
1711 SecondaryNameNode
16330 QuorumPeerMain /usr/local/src/zookeeper-3.4.5/conf/zoo.cfg
1571 NameNode

8.启动kafka

kafka-server-start.sh $KAFKA_HOME/config/server.properties

执行jps查看启动状态;

执行jps -m查看正在运行的进程

  1. 创建topic
kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 1 --topic hello_topic

查看zk上已注册的topic列表:

kafka-topics.sh --list --zookeeper master:2181

查看zk上所有topic的详细信息:

kafka-topics.sh --describe --zookeeper master:2181

# 查看指定topic的详细信息
kafka-topics.sh --describe --zookeeper master:2181  --topic hello_topic

10.发送消息:

kafka-console-producer.sh --broker-list master:9092 --topic hello_topic

11.消费消息

kafka-console-consumer.sh --bootstrap-server master:9092 --topic hello_topic --from-beginning

或

kafka-console-consumer.sh --zookeeper master:2181 --topic hello_topic --from-beginning

参数说明:

--from-beginning   #表示从最开始消费消息

12.查看当前offset的值:

kafka-consumer-offset-checker.sh --zookeeper localhost:2181 --group group-1 --topic topic06 

运行结果如下:


image.png

13.查询topic的offset的范围
用下面命令可以查询到topic:topic06 broker:localhost:9092的
offset的最小值:

kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 —topic topic06 --time -2
输出:

查询offset的最大值:

kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 —topic topic06 --time -1
输出:

从上面的输出可以看出topic:topic06有6个partition:0 offset范围分别为:

0 - [0,128]
1 - [0,131]
2 - [0,130]
3 - [0,128]
4 - [0,131]
5 - [0,131]

14.单节点多broker模式:
修改kafka的配置文件server.properties:

config/server-1.properties:
broker.id=1
listeners=PLAINTEXT://master:9093
log.dir=/usr/local/app/tmp/kafka-logs-1

config/server-2.properties:
broker.id=2
listeners=PLAINTEXT://:9094
log.dir=/usr/local/app/tmp/kafka-logs-2

启动多个kafka:

kafka-server-start.sh $KAFKA_HOME/config/server-1.properties &

kafka-server-start.sh $KAFKA_HOME/config/server-2.properties &

相关文章

  • Hadoop-Kafka搭建与测试

    解压zk到指定的文件夹 修改zoo.cfg中日志文件存在内容新建文件目录:/usr/local/app/tmp/z...

  • 测试公众号与本地测试环境搭建

    测试公众号与本地测试环境搭建 __veblen I want to write a nodejs WeChat d...

  • 『与善仁』Appium基础 — 19.Appium测试环境搭建总

    1、Appium测试环境搭建整体思路 (1)Android测试环境搭建 Android测试环境需要搭建三个环境,J...

  • 2018-04-26测试环境的搭建和维护

    测试环境搭建方式:由公司的运维或开发搭建、维护;由测试人员搭建维护; 补充:还有CM搭建 配置管理员,承担测试环境...

  • 软件测试环境搭建

    搭建测试环境前后要注意以下几点: 1.搭建测试环境前,确定测试目的 即是功能测试,稳定性测试,还是性能测试,测试目...

  • LR 第一节

    性能测试流程 注意点: 性能测试用例设计,特别关注数据容量的问题性能测试环境搭建,与被测试环境区分开执行:跑脚本、...

  • 漏洞挖掘与利用

    漏洞挖掘与利用 测试环境的搭建 引言 为什么要搭建本地测试环境?我想下面的东西能够回答你的疑惑。 第二百八十五条 ...

  • 环境搭建思路/测试流程(含测试策略、测试方案)

    1、软件测试环境搭建 1.1搭建测试环境前 确定测试目的:功能测试(验证软件是否满足用户的需求),稳定性测试,还是...

  • kubemark 搭建测试集群和性能测试

    原文链接:kubemark 搭建测试集群 kubemark 搭建测试集群和性能测试 Kubemark是K8s官方提...

  • 第七单元 禅道

    一、测试工具背景 当测试环境搭建完成后,测试人员将在自己搭建的环境上执行测试用例,开展测试工作。测试人员在执行测试...

网友评论

      本文标题:Hadoop-Kafka搭建与测试

      本文链接:https://www.haomeiwen.com/subject/juyflftx.html