kafka伪分布式安装（2.11版）

1.1、上传kafka安装包 kafka_2.11-2.1.1.tgz 至 /home/bigdata 目录下

cd /home/bigdata

ls

sudo tar -zxvf kafka_2.11-2.1.1.tgz

创建软链接

ln -s kafka_2.11-2.1.1 kafka

1.2、修改 zookeeper、kafka 配置文件 zookeeper.properties，server.properties

cd /home/bigdata/kafka/config

sudo vi zookeeper.properties

dataDir=/home/bigdata/kafka/tmp/zookeeper

sudo vi server.properties

log.dirs=/home/bigdata/kafka/tmp/kafka-logs

1.3、启动zookeeper和kafka（这里，zookeeper集成于kafka中）

cd /home/bigdata/kafka

启动zookeeper（后台运行）

nohup bin/zookeeper-server-start.sh config/zookeeper.properties &

查看zookeeper是否运行

jps

6740 QuorumPeerMain

关闭zookeeper

bin/zookeeper-server-stop.sh config/zookeeper.properties &

启动kafka（后台运行）

nohup bin/kafka-server-start.sh config/server.properties &

或者

nohup bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 &

查看kafka是否运行

jps

7587 Kafka

关闭kafka

bin/kafka-server-stop.sh config/server.properties

1.4、使用kafka

1）、创建topic：

　　/home/bigdata/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic apache-flink-test

2）、查看topic：

　　/home/bigdata/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181

3）、生产者

　　/home/bigdata/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic apache-flink-test

4）、消费者

/home/bigdata/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic apache-flink-test --from-beginning

该命令中含有过时方法 --zookeeper，该方法在老版本kafka0.90之前使用

/home/bigdata/kafka/bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic apache-flink-test --from-beginning

备注：消费kafka时遇到的问题：kafka 创建消费者报错 consumer zookeeper is not a recognized option

在做kafka测试的时候，使用命令bin/kafka-console-consumer.sh --zookeeper 192.168.0.140:2181,192.168.0.141:2181 --topic test --from-beginning启动消费者，发现一只报错consumer zookeeper is not a recognized option，搜索了半天，一只没有解决，最后，换了一个低版本的kakfa，发现在启动的时候说使用 --zookeeper是一个过时的方法，此时，才知道原来在最新的版本中，这种启动方式已经被删除了，

最后附上0.90版本之后启动消费者的方法： bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

CSDN参考链接：

kafka 创建消费者报错 consumer zookeeper is not a recognized option

https://blog.csdn.net/csdn_sunlighting/article/details/81516646

kafka中消费 kafka topic 后应该关闭消费进程

（1）使用消费命令时，用 Ctrl + C 关闭消费进程

（2）jps -m 查看kafka消费进程号，之后杀死对应的进程

jps -m

kill -9 进程号

5）、删除topic

　　/home/bigdata/kafka/bin/kafka-topics --delete --zookeeper 【zookeeper server:port】 --topic 【topic name】

　　[server.properties需要 设置delete.topic.enable=true]

参考链接：

kafka伪分布式安装（2.12版） - Runner_Jack - 博客园

https://www.cnblogs.com/runnerjack/p/8592036.html