CentOS HBase集群搭建步骤详解

在CentOS系统上搭建HBase集群涉及多个步骤，以下是详细的步骤指南：

1. 环境准备

• 硬件资源：至少三台服务器，推荐配置为16核CPU、32GB内存、1TB SSD硬盘和千兆网络，确保网络互通。
• 操作系统：所有服务器安装CentOS 7.x系统。
• JDK环境：安装Java 8或更高版本JDK。

2. 安装Java与Hadoop

• 安装Java：

  sudo yum install java-1.8.0-openjdk-devel
  java -version
  

• 安装Hadoop（假设你已经有一个Hadoop集群运行在CentOS上）。如果没有，你需要先搭建一个Hadoop集群。

3. 获取并配置HBase

• 下载并解压HBase：

  wget https://downloads.apache.org/hbase/2.4.9/hbase-2.4.9-bin.tar.gz
  tar -xzvf hbase-2.4.9-bin.tar.gz -C /opt
  

4. 设定HBase环境变量

• 创建或修改/etc/profile.d/hbase.sh文件以添加HBase环境变量。

  export HBASE_HOME=/opt/hbase-2.4.9
  export PATH=$PATH:$HBASE_HOME/bin
  source /etc/profile.d/hbase.sh
  

5. 调整HBase核心配置

• 编辑hbase-site.xml文件，定义关键参数如下：

  <configuration>
    <property>
      <name>hbase.rootdir</name>
      <value>hdfs://namenode:9000/hbase</value>
    </property>
    <property>
      <name>hbase.cluster.distributed</name>
      <value>true</value>
    </property>
    <property>
      <name>hbase.zookeeper.quorum</name>
      <value>zookeeper1,zookeeper2,zookeeper3</value>
    </property>
    <property>
      <name>hbase.zookeeper.property.dataDir</name>
      <value>/var/lib/zookeeper</value>
    </property>
  </configuration>
  

6. 启动HBase集群

• 启动ZooKeeper服务：

  cd $HBASE_HOME
  ./bin/start-zookeeper.sh
  

• 初始化HBase Master：

  ./bin/start-master.sh
  

• 开启RegionServer实例：在各从属节点上启动HBase RegionServer：

  ./bin/start-regionserver.sh
  

7. 测试HBase集群功能

• 利用HBase Shell工具连接集群并执行基础操作验证其健康状况：

  hbase shell
  create 'test_table', 'cf1'
  put 'test_table', 'row1', 'cf1:col1', 'value1'
  scan 'test_table'
  get 'test_table', 'row1'
  

8. 其他注意事项

• 配置SSH无密码登录：在所有节点之间配置SSH无密码登录，以便于自动化管理和部署。
• 关闭交换分区：关闭交换分区以提高内存使用效率。

  sudo sysctl -w vm.swappiness=0
  

• 监控和日志分析：定期监控HBase集群的性能指标，如读写延迟、负载情况等，及时调整配置参数。

通过以上步骤，你应该能够在CentOS上成功搭建一个稳定的HBase集群。如果在实际操作中遇到问题，请参考官方文档或相关社区资源。