kafka集群安装

2018-06-27 | 1,656 浏览

kafka集群安装的简要步骤如下文，kafka的详细部署说明，常用命令以及运维过程的一些问题详见附件：kafka详细部署说明文档

以3个节点为例：

主机1，192.168.56.101
主机2，192.168.56.102
主机3，192.168.56.103

以下操作在各主机上分别执行
A、下载安装包：kafka_2.11-0.10.1.0.tgz
B、解压：tar -xzvf kafka_2.11-0.10.1.0.tgz
C、将解压到的文件夹移动到/opt/kafka
D、修改zookeeper.properties文件如下(如果单独安装了zookeeper，该步骤省略):
```
tickTime=2000
initLimit=2
syncLimit=2
server.1=192.168.56.101:2888:3888
server.2=192.168.56.102:2888:3888
server.3=192.168.56.103:2888:3888
```
E、在dataDir目录/tmp/zookeeper/下写一个myid文件：
```
$ echo 1 >myid
```
F、配置kafka参数：
```
zookeeper.connect=192.168.56.101:2181,192.168.56.102:2181,192.168.56.103:2181
port=9092
host.name=192.168.56.103
log.dirs=/tmp/kafka/logs
```

启动zookeeper:

$ bin/zookeeper-server-start.sh config/zookeeper.properties &

启动kafka:

 $ bin/kafka-server-start.sh config/server.properties &

如果发现互相联不通，为防火墙开放对应端口：2888,3888,2181,9092
```
$ firewall-cmd --permanent --zone=public --add-port=2888/tcp
```
重启防火墙：
```
$ firewall-cmd --reload
```

如果启动时报域名无法解析则编码hosts文件：

 $ vi /etc/hosts

追加如下代码

192.168.56.101 centos01
192.168.56.102 centos02
192.168.56.103 centos03

新建topic：

 $ bin/kafka-topics.sh --create --zookeeper 192.168.56.101:2181,192.168.56.102:2181,192.168.56.103:2181 --replication-factor 3 --partitions 10 --topic aaaa

查看创建的topic：

 $ bin/kafka-topics.sh --describe --zookeeper 192.168.56.101:2181,192.168.56.102:2181,192.168.56.103:2181 --topic aaaa

启动消费者：

 $ bin/kafka-console-consumer.sh --zookeeper 192.168.56.101:2181,192.168.56.102:2181,192.168.56.103:2181 --topic aaaa --from-beginning

启动生产者并发送消息：

bin/kafka-console-producer.sh --broker-list 192.168.56.101:9092, 192.168.56.102:9092, 192.168.56.103:9092 --topic aaaa