Hadoop在CentOS上的安装与配置

Hadoop是一个开源的分布式计算框架，它允许在集群上对大规模数据集进行处理，在CentOS操作系统上安装Hadoop，可以帮助用户充分利用服务器资源，实现数据的分布式存储和处理，本文将详细介绍如何在CentOS上下载、安装和配置Hadoop。

环境准备

在开始安装Hadoop之前,确保您的CentOS系统满足以下要求：

• 操作系统：CentOS 7.x 或更高版本
• 硬件要求：至少2GB内存，推荐4GB以上
• 软件要求：Java 1.6或更高版本

下载Hadoop

您可以从Apache Hadoop的官方网站下载最新的Hadoop版本,以下是Hadoop的官方下载地址：

• Hadoop下载地址

选择适合您的系统架构（x86_64）的Hadoop安装包,下载到本地。

安装Java

Hadoop需要Java环境来运行,因此首先需要确保Java已经安装。

• 使用以下命令检查Java版本：

java -version

• 如果没有安装Java，可以从Oracle官网下载Java安装包,或者使用CentOS的包管理器安装OpenJDK：

sudo yum install java-1.8.0-openjdk

安装Hadoop

将下载的Hadoop安装包上传到CentOS服务器,并解压到指定目录：

sudo yum install -y unzip
sudo unzip hadoop-3.3.4.tar.gz -d /usr/local/hadoop

设置Hadoop的环境变量：

echo 'export HADOOP_HOME=/usr/local/hadoop' >> ~/.bashrc
echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> ~/.bashrc
source ~/.bashrc

配置Hadoop

进入Hadoop配置目录：

cd $HADOOP_HOME/etc/hadoop

编辑hadoop-env.sh文件,设置Java的安装路径：

vi hadoop-env.sh

添加以下行：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.292.b10-0.el7_9.x86_64

编辑core-site.xml文件,设置Hadoop的存储目录：

vi core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
  </property>
</configuration>

编辑hdfs-site.xml文件,设置HDFS的存储目录：

vi hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop/hdfs/datanode</value>
  </property>
</configuration>

编辑mapred-site.xml文件,设置MapReduce的存储目录：

vi mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

编辑yarn-site.xml文件,设置YARN的存储目录：

vi yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

格式化HDFS

在启动Hadoop服务之前,需要格式化HDFS：

hdfs namenode -format

启动Hadoop服务

启动Hadoop服务：

start-dfs.sh
start-yarn.sh

验证安装

使用以下命令查看Hadoop服务状态：

jps

应该会看到以下进程：

• NameNode
• SecondaryNameNode
• ResourceManager
• NodeManager
• DataNode
• MapTask
• ReduceTask

FAQs

Q1：如何查看Hadoop版本？

A1：在命令行中输入以下命令：

hadoop version

Q2：如何停止Hadoop服务？

A2：使用以下命令停止Hadoop服务：

stop-dfs.sh
stop-yarn.sh