如何监控Debian上的Kafka运行状态

要监控Debian上的Kafka运行状态，您可以使用多种监控工具。以下是一些推荐的监控工具及其使用方法：

推荐的监控工具

• kafka_exporter
• Kafdrop
• KafkaOffsetMonitor
• EFAK

监控工具的使用方法

kafka_exporter

• 项目地址：kafka_exporter GitHub
• 部署方式：使用docker-compose部署多个kafka_exporter，每个exporter对接一个Kafka broker。
• 配置：在每个kafka broker的配置文件中指定kafka.server和kafka.version。

Kafdrop

• 项目地址：Kafdrop GitHub
• 安装运行命令：

  docker run -d --rm -p 9000:9000 \
    -e KAFKA_BROKERCONNECT=<host:port,host:port> \
    -e SERVER_SERVLET_CONTEXTPATH="/" \
    obsidiandynamics/kafdrop
  

• 功能：支持查看Topic总数、Partition总数、消费者组详细信息、Topic详细配置等。

KafkaOffsetMonitor

• 启动方式：

  java -cp KafkaOffsetMonitor-assembly-0.3.0-SNAPSHOT.jar \
    com.quantifind.kafka.offsetapp.OffsetGetterWeb \
    --offsetStorage kafka \
    --zk zk-server1,zk-server2 \
    --port 8080 \
    --refresh 10.seconds \
    --retain 2.days
  

• 功能：支持查看消费者组信息、Topic组信息、一定时间内消费者消费状态等。

EFAK

• 项目地址：EFAK GitHub
• 安装步骤：参考EFAK官方文档。
• 功能：支持查看Topic信息、消费者组信息、集群Metric信息、根据SQL查询数据等。

通过上述工具，您可以全面监控Debian上的Kafka集群状态，包括Topic和消费者组的详细信息、消费状态、消息积压情况等。选择合适的工具可以帮助您更高效地管理和维护Kafka集群。