在CentOS下部署Hadoop是一个复杂但必要的步骤,对于大数据处理来说至关重要，以下是在CentOS环境下部署Hadoop的详细步骤和注意事项。

系统准备

系统要求

• 操作系统：CentOS 7
• 硬件要求：至少4GB内存，推荐8GB以上
• 磁盘空间：至少100GB，推荐200GB以上

环境配置

• 关闭防火墙和SELinux

  systemctl stop firewalld
  systemctl disable firewalld
  setenforce 0

• 更新系统包

  yum update -y

安装Hadoop

下载Hadoop

从Apache Hadoop官网下载适合CentOS的Hadoop版本，例如Hadoop-3.3.4.tar.gz。

解压Hadoop

tar -zxvf Hadoop-3.3.4.tar.gz -C /opt

配置环境变量

编辑~/.bash_profile文件，添加以下内容：

export HADOOP_HOME=/opt/Hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

配置Hadoop

• 复制配置文件

  cp /opt/Hadoop-3.3.4/etc/hadoop/hadoop-env.sh /etc/hadoop/
  cp /opt/Hadoop-3.3.4/etc/hadoop/core-site.xml /etc/hadoop/
  cp /opt/Hadoop-3.3.4/etc/hadoop/hdfs-site.xml /etc/hadoop/
  cp /opt/Hadoop-3.3.4/etc/hadoop/mapred-site.xml /etc/hadoop/
  cp /opt/Hadoop-3.3.4/etc/hadoop/yarn-site.xml /etc/hadoop/

• 编辑core-site.xml，设置Hadoop的存储目录：

  <configuration>
    <property>
      <name>fs.defaultFS</name>
      <value>hdfs://localhost:9000</value>
    </property>
  </configuration>

• 编辑hdfs-site.xml，设置HDFS的存储目录：

  <configuration>
    <property>
      <name>dfs.replication</name>
      <value>1</value>
    </property>
    <property>
      <name>dfs.namenode.name.dir</name>
      <value>/opt/hadoop/hdfs/namenode</value>
    </property>
    <property>
      <name>dfs.datanode.data.dir</name>
      <value>/opt/hadoop/hdfs/datanode</value>
    </property>
  </configuration>

• 编辑mapred-site.xml，配置MapReduce的存储目录：

  

  <configuration>
    <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
    </property>
  </configuration>

• 编辑yarn-site.xml，配置YARN的存储目录：

  <configuration>
    <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
    </property>
  </configuration>

启动Hadoop

格式化NameNode

hdfs namenode -format

启动HDFS

start-dfs.sh

启动YARN

start-yarn.sh

FAQs

Q1: 如何检查Hadoop服务是否正常运行？A1: 可以通过访问Web界面来检查Hadoop服务，HDFS的Web界面通常在http://localhost:50070，YARN的Web界面在http://localhost:8088。

Q2: 如果在启动Hadoop服务时遇到错误，应该怎么办？A2: 检查日志文件，通常位于/opt/hadoop/logs/目录下，根据错误信息进行相应的配置调整或修复。