Debian Hadoop集群扩容步骤

Debian Hadoop集群扩容是一个相对复杂的过程，涉及多个步骤。以下是详细的扩容步骤：

环境配置

1. 关闭防火墙：

   systemctl stop firewalld
   systemctl disable firewalld
   

2. 关闭SELinux：

   sed -i 's/enforcing/disabled/' /etc/selinux/config
   setenforce 0
   

3. 配置主机名和IP映射关系：

   hostnamectl set-hostname hadoop102
   hostnamectl set-hostname hadoop103
   hostnamectl set-hostname hadoop104
   cat >> /etc/hosts << EOF
   192.168.52.15 hadoop102
   192.168.52.16 hadoop103
   192.168.52.17 hadoop104
   EOF
   

4. 配置SSH无密码登录：

   • 使用 ssh-keygen 生成公钥与私钥对。
   • 将本地密钥拷贝到其他服务器。
   • 验证是否配置免密登录。

5. 配置时间同步服务：

   yum install chrony -y
   systemctl restart chronyd
   chronyc sources -v
   

6. 安装JDK：

   • 从Oracle官方网站下载JDK。
   • 上传JDK安装包。
   • 解压安装包。
   • 配置环境变量。

Hadoop集群安装

1. 下载Hadoop安装包：

   wget http://archive.apache.org/dist/hadoop/common/1.2/hadoop-3.1.2.tar.gz
   

2. 解压Hadoop安装包：

   tar -xzf hadoop-3.1.2.tar.gz -C /opt
   

3. 修改Hadoop环境变量：

   • 新建 hadoop.sh 文件。
   • 添加Hadoop环境变量。
   • 刷新profile变量使配置生效。

扩容步骤

1. 格式化新盘：

   mkfs -t ext4 /dev/sdb
   

2. 挂载新盘：

   • 使用 vi 或者 emcas 查看Hadoop集群的 {hadoop-home}/conf/hdfs-site.xml 文件，其中的 dfs.data.dir 属性所设定的目录。
   • 将格式化之后的设备挂载到相应的目录下。

3. 修改 /etc/fstab 文件：

   /dev/device1 /dm1/hdfs/Data ext3 defaults 1 2 5
   

4. 验证扩容：

   • 在 {hadoop-home}/bin/hadoop 使用 dfs -report 命令查看新增的DFS容量。

请注意，以上步骤是基于搜索结果的概述，具体操作可能需要根据实际情况进行调整。在进行任何操作之前，请确保备份所有重要数据，并在测试环境中验证步骤的正确性。