Kafka如何应对高并发场景
-
Linux Kafka如何应对高并发场景
Linux Kafka高并发优化实战总体思路与架构要点提升并发度的核心是提升并行度与端到端吞吐:增加主题分区数让更多 Broker/磁盘/网络参与写入与读取;同一 ConsumerGroup 内,一个分区在同一时刻只被一个消费者实例消费,因此分区数应≥消费者实例数,且尽量均衡分布热点分区。利用磁盘的顺序写与操作系统Page Cache,Kafka 自身不依赖大堆内存;Broker 堆过大反而增
Linux Kafka高并发优化实战总体思路与架构要点提升并发度的核心是提升并行度与端到端吞吐:增加主题分区数让更多 Broker/磁盘/网络参与写入与读取;同一 ConsumerGroup 内,一个分区在同一时刻只被一个消费者实例消费,因此分区数应≥消费者实例数,且尽量均衡分布热点分区。利用磁盘的顺序写与操作系统Page Cache,Kafka 自身不依赖大堆内存;Broker 堆过大反而增