Ubuntu Kafka配置新手必看

在Ubuntu上配置Kafka对于新手来说可能会有些复杂，但只要按照步骤来，就很简单。以下是详细步骤：

1. 安装JDK

首先，需要确保你的系统上已经安装了Java。你可以使用以下命令来安装OpenJDK 8：

sudo apt update
sudo apt install openjdk-8-jdk

安装完成后，验证Java是否安装成功：

java -version

2. 安装Zookeeper

Kafka依赖于Zookeeper进行协调和管理，因此需要先安装和配置Zookeeper。

下载并解压Zookeeper

wget https://downloads.apache.org/zookeeper/zookeeper-3.8.0/zookeeper-3.8.0.tar.gz
tar -xzvf zookeeper-3.8.0.tar.gz
sudo mv zookeeper-3.8.0 /usr/local/zookeeper

配置Zookeeper

进入Zookeeper的安装目录/usr/local/zookeeper/conf，复制zoo_sample.cfg为zoo.cfg：

sudo cp /usr/local/zookeeper/conf/zoo.cfg /usr/local/zookeeper/conf/zoo.cfg.samples
sudo vi /usr/local/zookeeper/conf/zoo.cfg

在zoo.cfg文件中，确保以下配置正确：

tickTime 2000
dataDir /var/lib/zookeeper
clientPort 2181

启动Zookeeper

sudo /usr/local/zookeeper/bin/zkServer.sh start

验证Zookeeper是否启动成功：

sudo netstat -nap | grep 2181

3. 安装Kafka

下载并解压Kafka

从Apache Kafka官网下载Kafka的安装包，并解压到指定目录。例如，下载Kafka 3.5.2版本：

wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz
tar -xzvf kafka_2.12-3.5.2.tgz
sudo mv kafka_2.12-3.5.2 /usr/local/kafka

配置Kafka

进入Kafka的安装目录/usr/local/kafka，复制config/server.properties为server.properties.samples：

sudo cp /usr/local/kafka/config/server.properties /usr/local/kafka/config/server.properties.samples
sudo vi /usr/local/kafka/config/server.properties

在server.properties文件中，确保以下配置正确：

broker.id 0
listeners PLAINTEXT://your_server_ip:9092
zookeeper.connect localhost:2181
log.dirs /tmp/kafka-logs

4. 环境变量配置

编辑/etc/profile或~/.bashrc文件，添加Kafka和Zookeeper的环境变量：

export KAFKA_HOME=/usr/local/kafka
export PATH=$PATH:$KAFKA_HOME/bin
export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin

使环境变量生效：

source /etc/profile

5. 启动Kafka和Zookeeper

启动Zookeeper服务

/usr/local/zookeeper/bin/zookeeper-server-start.sh ../zoo.cfg

启动Kafka服务

/usr/local/kafka/bin/kafka-server-start.sh ../config/server.properties

6. 验证配置

使用以下命令验证Kafka是否启动成功：

netstat -tulnp | grep 9092

创建一个测试Topic来验证生产者和消费者是否正常工作：

/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

启动生产者发送消息：

/usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

在生产者终端输入消息后按Ctrl+D结束输入。

启动消费者接收消息：

/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

在消费者终端中，你应该能看到从生产者发送的消息。

以上就是在Ubuntu系统上配置Kafka的基本步骤。如果在安装过程中遇到问题，请检查日志文件以获取更多信息。