Kafka配置Ubuntu网络如何优化

以下是Kafka在Ubuntu网络配置的优化要点：

1. 基础网络配置

   • 绑定静态IP：修改/etc/netplan/*.yaml配置静态IP，确保listeners和advertised.listeners指向正确IP。
   • 防火墙放行：使用ufw allow 9092/tcp开放Kafka默认端口。
   • 高性能网卡：通过ethtool调整网卡队列长度，启用多队列并行传输。

2. Kafka参数调优

   • Broker端：
     • 增大num.network.threads（建议CPU核数50%~75%）和num.io.threads（匹配CPU核心数），提升网络和磁盘处理能力。
     • 调整socket.send.buffer.bytes和socket.receive.buffer.bytes（如设置为1MB），优化网络缓冲区。
     • 启用compression.type（如Snappy/LZ4），减少传输数据量。
   • Topic设计：
     • 分区数设置为Broker数量的整数倍，充分利用并行处理能力。
     • 副本数replication.factor设为3，保障高可用。

3. 操作系统优化

   • 增大文件描述符限制：执行ulimit -n 65536，避免连接数过多导致拒绝服务。
   • 调整TCP参数：通过sysctl优化net.core.somaxconn（建议设为1024+）、net.ipv4.tcp_max_syn_backlog等参数，提升连接效率。

4. 客户端优化

   • 生产者：设置batch.size（1MB~5MB）和linger.ms（50~100ms），启用批量发送和压缩。
   • 消费者：配置fetch.min.bytes（1MB）和max.poll.records（500~1000），减少拉取频率。

5. 集群与监控

   • 多集群部署：单集群分区数建议不超过10万，超大规模场景采用联邦架构。
   • 监控工具：使用Prometheus+Grafana监控网络延迟、吞吐量等指标，及时发现瓶颈。

参考来源：