合 kafka图形管理工具CMAK(Kafka Manager)安装及使用
Tags: KafkaCMAKKafka Manager
简介
kafka-manager 项目地址:https://github.com/yahoo/kafka-manager
为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager,现已更名为CMAK(Cluster Manager for Apache Kafka, previously known as Kafka Manager)。主要是因为误用了 Apache 的商标,所以才从 kafka-manager 改名为 CMAK。
这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时,这个管理工具也是一个非常好的可以快速浏览这个集群的工具,有如下功能:
1.管理多个kafka集群
2.便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况)
3.选择你要运行的副本
4.基于当前分区状况进行
5.可以选择topic配置并创建topic(0.8.1.1和0.8.2的配置不同)
6.删除topic(只支持0.8.2以上的版本并且要在broker配置中设置delete.topic.enable=true)
7.Topic list会指明哪些topic被删除(在0.8.2以上版本适用)
8.为已存在的topic增加分区
9.为已存在的topic更新配置
10.在多个topic上批量重分区
11.在多个topic上批量重分区(可选partition broker位置)
CMAK is a tool for managing Apache Kafka clusters。
安装
1 2 3 4 5 6 7 8 9 | docker rm -f lhrkafkamanager docker run -itd --name lhrkafkamanager -h lhrkafkamanager \ -p 9000:9000 \ -v /sys/fs/cgroup:/sys/fs/cgroup \ --privileged=true lhrbest/lhrcentos76:9.0 \ /usr/sbin/init docker exec -it lhrkafkamanager bash |
安装java 11
下载:https://www.oracle.com/java/technologies/downloads/
Java 11 下载:https://www.oracle.com/java/technologies/downloads/#java11
CMAK需要最低java 11版本,建议安装java 11,我安装java 18后启动报错,安装java 11需要浏览器获取下载地址:
1 2 3 4 5 6 7 8 | wget https://download.oracle.com/java/11/latest/jdk-11_linux-x64_bin.rpm rpm -ivh jdk-11_linux-x64_bin.rpm java -version [root@lhrkafkamanager bin]# java -version java version "11.0.15.1" 2022-04-22 LTS Java(TM) SE Runtime Environment 18.9 (build 11.0.15.1+2-LTS-10) Java HotSpot(TM) 64-Bit Server VM 18.9 (build 11.0.15.1+2-LTS-10, mixed mode) |
安装zk
参考:https://www.dbaup.com/anzhuangzookeeper.html
ZK最低为3.5版本。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 | wget https://downloads.apache.org/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz tar -zxvf apache-zookeeper-3.8.0-bin.tar.gz -C /usr/local/ ln -s /usr/local/apache-zookeeper-3.8.0-bin/ /usr/local/zookeeper cd /usr/local/zookeeper/conf cp zoo_sample.cfg zoo.cfg vi zoo.cfg dataDir=/usr/local/zookeeper/data cat >> /root/.bashrc <<"EOF" export ZOOKEEPER_HOME=/usr/local/zookeeper export PATH=$PATH:$ZOOKEEPER_HOME/bin EOF source /root/.bashrc cd /usr/local/zookeeper/bin/ ./zkServer.sh start netstat -tulnp | grep 2181 ./zkCli.sh -server 127.0.0.1:2181 |
安装CMAK
在 3.0.0.2 版本之前,kafka-manager 是不提供现成的编译包的,需要我们自己编译打包。在 3.0.0.2 版本之后我们可以直接下载编译后的 zip 包即可。
下载地址:https://github.com/yahoo/CMAK
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 | wget https://github.com/yahoo/CMAK/releases/download/3.0.0.6/cmak-3.0.0.6.zip unzip cmak-3.0.0.6.zip -d /usr/local/ ln -s /usr/local/cmak-3.0.0.6 /usr/local/cmak cd /usr/local/cmak/conf -- 修改参数或配置环境变量 vi /usr/local/cmak/conf/application.conf cmak.zkhosts="127.0.0.1:2181" export ZK_HOSTS="127.0.0.1:2181" -- 启动 /usr/local/cmak/bin/cmak & /usr/local/cmak/bin/cmak -Dconfig.file=/usr/local/cmak/conf/application.conf & /usr/local/cmak/bin/cmak -Dconfig.file=/usr/local/cmak/conf/application.conf -Dhttp.port=9000 & /usr/local/cmak/bin/cmak -java-home /usr/java/jdk-11.0.15.1 -Dconfig.file=/usr/local/cmak/conf/application.conf -Dhttp.port=9000 & |
web登陆地址:http://192.168.1.35:9000/
使用
参考:https://www.cnblogs.com/dadonggg/p/8205302.html