做网站的公司深,学做网站要学什么语言,自助建站网站源码,技术短期培训班文章目录 官方下载地址上传安装包解压安装包到指定目录修改解压包名为kafka修改config目录下的配置文件server.propertie配置环境变量其他机器同上 - 修改配置文件中的brokerid启动集群停止Kraft 方式部署集群----(不使用zookeeper) 官方下载地址
http://kafka.apache.org/dow… 文章目录 官方下载地址上传安装包解压安装包到指定目录修改解压包名为kafka修改config目录下的配置文件server.propertie配置环境变量其他机器同上 - 修改配置文件中的brokerid启动集群停止Kraft 方式部署集群----(不使用zookeeper) 官方下载地址
http://kafka.apache.org/downloads.html 上传安装包 解压安装包到指定目录
[rootlocalhost kafka]# pwd
/root/kafka
[rootlocalhost kafka]# ll
total 110744
-rw-r--r--. 1 root root 113400977 Oct 25 10:25 kafka_2.12-3.6.0.tgz
[rootlocalhost kafka]#
[rootlocalhost kafka]#
[rootlocalhost kafka]#
[rootlocalhost kafka]#
[rootlocalhost kafka]# tar -xvzf kafka_2.12-3.6.0.tgz -C ./......
......
......修改解压包名为kafka
[rootlocalhost kafka]# mv kafka_2.12-3.6.0 kafka
修改config目录下的配置文件server.propertie
[rootlocalhost kafka]# cd kafka
[rootlocalhost kafka]# ls
bin config libs LICENSE licenses NOTICE site-docs
[rootlocalhost kafka]# cd config/
[rootlocalhost config]# ls
connect-console-sink.properties connect-file-source.properties consumer.properties server.properties
connect-console-source.properties connect-log4j.properties kraft tools-log4j.properties
connect-distributed.properties connect-mirror-maker.properties log4j.properties trogdor.conf
connect-file-sink.properties connect-standalone.properties producer.properties zookeeper.properties
[rootlocalhost config]# ll server.properties
-rw-r--r--. 1 root root 6896 Sep 29 12:56 server.properties
[rootlocalhost config]# #broker的全局唯一编号不能重复只能是数字。
broker.id102
#处理网络请求的线程数量
num.network.threads3
#用来处理磁盘IO的线程数量
num.io.threads8
#发送套接字的缓冲区大小
socket.send.buffer.bytes102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes102400
#请求套接字的缓冲区大小
socket.request.max.bytes104857600
#kafka运行日志(数据)存放的路径路径不需要提前创建kafka自动帮你创建可以配置多个磁盘路径路径与路径之间可以用分隔
log.dirs/opt/module/kafka/datas
#topic在当前broker上的分区个数
num.partitions1
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir1
# 每个topic创建时的副本数默认时1个副本
offsets.topic.replication.factor1
#segment文件保留的最长时间超时将被删除
log.retention.hours168
#每个segment文件的大小默认最大1G
log.segment.bytes1073741824
# 检查过期数据的时间默认5分钟检查一次是否数据过期
log.retention.check.interval.ms300000
#配置连接Zookeeper集群地址在zk根目录下创建/kafka方便管理
zookeeper.connecthadoop102:2181,hadoop103:2181,hadoop104:2181/kafka
配置环境变量 [rootlocalhost profile.d]# cat /etc/profile.d/my_env.sh
#KAFKA_HOME
export KAFKA_HOME/root/kafka/kafka
export PATH$PATH:$KAFKA_HOME/bin
[rootlocalhost profile.d]#
[rootlocalhost profile.d]# source /etc/profile
[rootlocalhost profile.d]#
[rootlocalhost profile.d]#
[rootlocalhost profile.d]#
其他机器同上 - 修改配置文件中的brokerid
分别在hadoop103和hadoop104主机上修改配置文件server.properties中broker.id103、broker.id104 注broker.id不得重复
broker.id103
.......
.......
.......broker.id104
.......
.......
.......启动集群
先启动zk
[rootlocalhost conf]# cd /root/kafka/
[rootlocalhost kafka]# cd kafka
[rootlocalhost kafka]# ll
total 68
drwxr-xr-x. 3 root root 4096 Sep 29 13:00 bin
drwxr-xr-x. 3 root root 4096 Oct 25 11:27 config
drwxr-xr-x. 2 root root 8192 Oct 25 10:29 libs
-rw-r--r--. 1 root root 14973 Sep 29 12:56 LICENSE
drwxr-xr-x. 2 root root 4096 Sep 29 13:00 licenses
-rw-r--r--. 1 root root 28184 Sep 29 12:56 NOTICE
drwxr-xr-x. 2 root root 44 Sep 29 13:00 site-docs
[rootlocalhost kafka]# cd bin/[rootlocalhost bin]# ./zookeeper-server-start.sh
USAGE: ./zookeeper-server-start.sh [-daemon] zookeeper.properties[rootlocalhost bin]# ./zookeeper-server-start.sh -daemon ../config/zookeeper.properties
[rootlocalhost bin]#
建议使用单独的zk
然后启动kafka
[rootlocalhost bin]# export JAVA_HOME/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.382.b05-1.el7_9.x86_64/jre
[rootlocalhost bin]# ./kafka-server-start.sh -daemon ../config/server.properties
[rootlocalhost bin]#停止
直接调用 kafka-server-stop.sh 即可 注意停止Kafka集群时一定要等Kafka所有节点进程全部停止后再停止Zookeeper集群。 因为Zookeeper集群当中记录着Kafka集群相关信息Zookeeper集群一旦先停止Kafka集群就没有办法再获取停止进程的信息只能手动杀死Kafka进程了。 Kraft 方式部署集群----(不使用zookeeper)
https://huaweicloud.csdn.net/637ee7a2df016f70ae4c93b2.html
