kafka集群的安装与启动

安装

1. 选择安装的kafka的版本，要与scala版本对应，因为scala有时候不是向下兼容的。

   
   

2. kafka集群需要依赖zookeeper来保存元信息，所以要先有zookeeper(3.4.5-3.4.9都是稳定的)。启动zookeeper。

3. 将kafka_2.11-1.0.0.tgz解压到指定的目录/export/servers
   

   
   在config目录中，有3个重要的配置文件：
   
   最重要的是server.properties，这是kafka服务器端的配置；
   consumer.properties 消费者一般是在代码里面配置；
   producer.properties 生产者也是在代码中配置。

4. 配置server.properties

对server.properties进行配置：vim server.properties

集群中每一个机器的broker.id的值不相同 存放kafka消息的目录，注意，这个路径一定要存在，kafka不会自动去创建。

配置zookeeper的ip和端口号。

在server.properties最后添加两个配置项。
delete.topic.enable=true开启删除topic的功能，如果不加这个配置项，kafka中创建的topic是不能删的，只有加上这个配置项才允许删除某一类topic。

5. 把node-1的kafka分发到node-2和node-3上：

scp -r kafka_2.11-1.0.0/ root@node-2:$PWD
scp -r kafka_2.11-1.0.0/ root@node-3:$PWD

6. 别忘了在node-2和node-3的kafka目录下创建logs目录：

   
   

7. 对其它机器上的配置文件进行修改：
   

   node-2:
   node-3 同理

致此，3台kafka配置完成。

---

启动

在kafka目录下执行
nohup bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 &
运行启动的start脚本，需要指定对应的配置文件server.properties；
注意是在kafka的目录下执行，3台机器都执行。
/dev/null是linux的“黑洞”，将启动的日志丢进“黑洞”，避免在命令行中输出；
2>&1将标准错误重定向到标准输出,这里标准输出已经重定向到了 /dev/null。那么标准错误也会输出到/dev/null；
最后边的&和前边的nohup配合使用，使进程后台运行。

node-2和node-3也运行同样的命令启动kafka。

参考
linux shell中"2>&1"含义
Shell中的>/dev/null 2>&1 与 2>&1 >/dev/null 与&>/dev/null 的区别