在CentOS系统中启动Hadoop，您需要遵循一系列步骤来确保Hadoop集群能够正常运行，以下是一篇详细指南,帮助您在CentOS上启动Hadoop。

环境准备

在开始之前,请确保您的CentOS系统满足以下要求：

• 操作系统：CentOS 7或更高版本
• 硬件要求：根据您的需求配置CPU和内存
• Java环境：Hadoop需要Java运行环境，建议使用Java 8

安装Java

Hadoop依赖于Java,因此首先需要安装Java。

sudo yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel

安装完成后,验证Java版本：

java -version

下载并安装Hadoop

从Apache Hadoop官网下载适合您系统的Hadoop版本，以下命令将Hadoop解压到/usr/local目录：

wget http://mirror.cedia.upenn.edu/apache/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
tar -zxvf hadoop-3.3.4.tar.gz -C /usr/local/

配置Hadoop

进入Hadoop安装目录,配置Hadoop。

1 配置Hadoop环境变量

编辑/etc/profile文件,添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后运行以下命令使配置生效：

source /etc/profile

2 配置Hadoop核心文件

编辑$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件,设置Java的Home路径：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.272.x86_64

3 配置HDFS

编辑$HADOOP_HOME/etc/hadoop/core-site.xml文件,配置以下内容：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

4 配置YARN

编辑$HADOOP_HOME/etc/hadoop/yarn-site.xml文件,配置以下内容：

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
</configuration>

5 配置HDFS数据存储目录

编辑$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件,配置以下内容：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/usr/local/hadoop-3.3.4/data/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/local/hadoop-3.3.4/data/hdfs/datanode</value>
  </property>
</configuration>

格式化HDFS

在启动Hadoop之前,需要格式化HDFS：

hdfs namenode -format

启动Hadoop服务

启动Hadoop服务：

start-dfs.sh
start-yarn.sh

验证Hadoop服务

在浏览器中访问以下地址,检查Hadoop服务是否启动成功：

• HDFS Web UI: http://localhost:50070
• YARN Web UI: http://localhost:8088

常见问题解答（FAQs）

FAQs 1: 为什么我的Hadoop服务无法启动？

解答： 请检查以下问题：

• Java环境是否已正确安装和配置？
• Hadoop配置文件是否正确设置？
• 是否已格式化HDFS？
• 确保所有Hadoop服务（如NameNode和DataNode）都已启动。

FAQs 2: 如何查看Hadoop日志？

解答： Hadoop的日志通常存储在$HADOOP_HOME/logs目录下,您可以使用以下命令查看特定服务的日志：

cat $HADOOP_HOME/logs/hadoop-root-namenode-yourhost.log

替换yourhost为您的主机名或IP地址。