Linux 下搭建 Kafka 环境 - Grey Zeng
source link: https://www.cnblogs.com/greyzeng/p/16799145.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
Linux 下搭建 Kafka 环境
作者:Grey
原文地址:
操作系统:CentOS 7
Kafka 版本:2.11-2.1.0
注:这个版本的 Kafka 需要依赖 JDK 和 Zookeeper。
JDK 版本:8u181
Zookeeper 版本:3.4.5
注:以上中间件均搭建在一个 Linux 系统中,如果需要分不同的系统安装,注意修改对应的连接配置。
如果使用的中间件版本不一致,请以官方搭建文档为准。
准备软件目录
mkdir /datalake
上传之前下载好的安装包到 /datalake 目录下
jdk-8u181-linux-x64.gz
kafka_2.11-2.1.0.tgz
zookeeper-3.4.5.tar.gz
批量解压这几个安装包
cd /datalake
ls * | xargs -n1 tar xzvf
将解压的软件移动到 /usr/local 目录
cd /datalake
mv jdk1.8.0_181 /usr/local/jdk
mv kafka_2.11-2.1.0 /usr/local/kafka
mv zookeeper-3.4.5 /usr/local/zk
配置 Zookeeper
cd /usr/local/zk/conf
首先,先备份 Zookeeper 的默认配置文件
cp zoo_sample.cfg zoo.cfg
然后将配置文件修改下
vi zoo.cfg
将 dataDir 选项配置为
dataDir=/usr/local/zk/data
接下来,配置 Kafka
vi /usr/local/kafka/config/server.properties
将 log.dirs 参数修改为
log.dirs=/usr/local/zk/logs
由于 Kafka 和 Zookeeper 装在同一个 Linux 中,所以 zookeeper.connect 配置维持默认配置即可
zookeeper.connect=localhost:2181
配置环境变量
vi /usr/profile
添加如下内容
export JAVA_HOME=/usr/local/jdk
export ZK_HOME=/usr/local/zk
export KAFKA_HOME=/usr/local/kafka
export PATH=$PATH:$JAVA_HOME/bin:$ZK_HOME/bin:$KAFKA_HOME/bin
应用环境变量
source /etc/profile
接下来,就开始启动 Kafka,首先,需要先启动 Zookeeper
zkServer.sh start
输出信息如下
[root@datalake conf]# zkServer.sh start
JMX enabled by default
Using config: /usr/local/zk/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
说明启动成功。
接下来启动 Kafka
kafka-server-start.sh /usr/local/kafka/config/server.properties
接下来,再打开 Shell 一个窗口,创建 topic
kafka-topics.sh --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --create --topic test
然后再开一个 Shell 窗口,启动生产者
kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test
再打开一个 Shell 窗口,启动消费者
kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test
切换到生产者启动页面,发送数据,消费者能正常接收数据
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK