Hadoop在CentOS系统上的安装与配置指南
对于需要处理海量数据的企业或个人开发者，Hadoop作为分布式计算框架，能够有效解决数据存储与计算难题，本文将详细介绍在CentOS 7/8系统上安装Hadoop的完整流程，涵盖环境准备、配置优化及集群验证，帮助用户快速搭建稳定的Hadoop环境。
**一、环境准备与依赖安装
在安装Hadoop之前，需确保系统满足以下条件：
1、操作系统：CentOS 7或8（推荐使用最小化安装版本）。
2、Java环境：Hadoop基于Java开发，需提前安装JDK 8或11（建议使用OpenJDK）。
3、SSH服务：Hadoop依赖SSH实现节点间通信，需配置免密登录。
**1.1 安装Java环境
通过以下命令安装OpenJDK 8：
- sudo yum install -y java-1.8.0-openjdk-devel
安装完成后，验证Java版本：
- java -version
若输出类似“openjdk version 1.8.0_382”，则表示安装成功。
**1.2 配置SSH免密登录
Hadoop集群需要通过SSH协议管理节点，配置本地免密登录：
- 生成密钥对
- ssh-keygen -t rsa
- 将公钥导入授权文件
- cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
- 测试免密登录
- ssh localhost
若无需输入密码即可登录，则配置成功。
**二、Hadoop安装与配置
2.1 下载并解压Hadoop
从apache官网获取稳定版Hadoop（本文以3.3.6版本为例）：
- wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
- tar -xzvf hadoop-3.3.6.tar.gz -C /opt/
- sudo mv /opt/hadoop-3.3.6 /opt/hadoop
**2.2 配置环境变量
编辑/etc/profile文件，添加Hadoop环境变量：
- export HADOOP_HOME=/opt/hadoop
- export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
使配置生效：
- source /etc/profile
2.3 修改Hadoop核心配置文件
进入$HADOOP_HOME/etc/hadoop目录，依次修改以下文件：
（1）hadoop-env.sh
设置Java安装路径：
- export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
（2）core-site.xml
配置HDFS默认地址与临时目录：
- <configuration>
- <property>
- <name>fs.defaultFS</name>
- <value>hdfs://localhost:9000</value>
- </property>
- <property>
- <name>hadoop.tmp.dir</name>
- <value>/opt/hadoop/tmp</value>
- </property>
- </configuration>
（3）hdfs-site.xml
定义数据块副本数（单机模式设置为1）：
- <configuration>
- <property>
- <name>dfs.replication</name>
- <value>1</value>
- </property>
- </configuration>
（4）mapred-site.xml
指定MapReduce框架为YARN：
- <configuration>
- <property>
- <name>mapreduce.framework.name</name>
- <value>yarn</value>
- </property>
- </configuration>
（5）yarn-site.xml
配置YARN资源管理参数：
- <configuration>
- <property>
- <name>yarn.nodemanager.aux-services</name>
- <value>mapreduce_shuffle</value>
- </property>
- </configuration>
三、启动Hadoop集群并验证
**3.1 格式化HDFS
首次启动前需格式化文件系统：
- hdfs namenode -format
3.2 启动HDFS与YARN
依次执行以下命令：
- start-dfs.sh
- start-yarn.sh
通过jps命令检查进程是否正常：
- jps
若显示NameNode、DataNode、ResourceManager等进程，则表明启动成功。
**3.3 访问Web管理界面
HDFS：浏览器访问http://服务器IP:9870
YARN：访问http://服务器IP:8088
**四、注意事项与优化建议
1、权限问题：若遇到目录权限错误，需为Hadoop用户分配目录所有权：
- sudo chown -R 用户名:用户组 /opt/hadoop
2、防火墙配置：确保防火墙放行9870、8088等端口。
3、日志排查：若服务启动失败，可通过$HADOOP_HOME/logs目录下的日志文件定位问题。
Hadoop的安装与配置需要耐心调试，尤其是多节点集群场景，建议初次部署时使用单机模式熟悉流程，再逐步扩展为分布式环境，通过合理配置资源参数，Hadoop能够显著提升数据处理效率，为业务提供可靠支撑。
