kafka性能优化ubuntu技巧

以下是Ubuntu上优化Kafka性能的关键技巧：

硬件与网络

• 使用SSD：提升磁盘I/O性能，减少延迟。
• 多核CPU+大内存：确保足够计算资源，建议CPU核心数≥分区数×2。
• 高带宽网络：配置高速网络设备，调整TCP参数（如tcp_nodelay）降低延迟。

Kafka配置优化

• 分区与副本
  • 分区数设置为消费者线程数的1-2倍，充分利用并行处理能力。
  • 副本数建议3份，平衡数据可靠性和性能。
• Broker参数
  • num.network.threads：设置为CPU核数的2-3倍。
  • num.io.threads：设置为CPU核数的50%-100%，提升I/O吞吐量。
  • log.segment.bytes：设置为1GB，减少分段数量，降低索引开销。
  • 启用压缩（compression.type=lz4），减少网络传输量。
• JVM调优
  • 堆内存：-Xms和-Xmx设置为相同值（如4GB），避免频繁GC。
  • 垃圾回收器：选择G1（-XX:+UseG1GC），减少停顿时间。

操作系统优化

• 文件描述符：执行ulimit -n 65536，提升并发连接能力。
• 内核参数：调整vm.swappiness=10（减少交换）、vm.dirty_background_ratio=5（控制脏页比例）。

监控与维护

• 工具：使用Prometheus+Grafana监控吞吐量、延迟等指标，定期清理日志。
• 日志管理：设置log.retention.hours（如72小时），避免磁盘占满。

注意：所有配置需在测试环境验证后，再应用到生产环境。