CentOS搭建单机Hadoop环境指南
环境准备
在开始搭建单机Hadoop环境之前,我们需要准备以下环境：
- 操作系统：CentOS 7
- JDK：Java development Kit 1.8及以上版本
- 网络环境：确保网络畅通，以便Hadoop集群中的节点之间能够通信
安装JDK
下载JDK：前往Oracle官网下载适合CentOS 7的JDK安装包。
解压安装包：将下载的JDK安装包解压到指定目录，例如
/usr/local/。设置环境变量：编辑
/etc/profile文件,添加以下内容：
export JAVA_HOME=/usr/local/jdk1.8.0_231 export PATH=$PATH:$JAVA_HOME/bin
使环境变量生效：运行
source /etc/profile命令。验证JDK安装：在终端输入
java -version命令,查看JDK版本信息。
安装Hadoop
下载Hadoop：前往Apache Hadoop官网下载适合CentOS 7的Hadoop安装包。
解压安装包：将下载的Hadoop安装包解压到指定目录，例如
/usr/local/。配置Hadoop环境变量：编辑
/etc/profile文件,添加以下内容：
export HADOOP_HOME=/usr/local/hadoop-3.3.4 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin
使环境变量生效：运行
source /etc/profile命令。配置Hadoop配置文件：
- 编辑
/usr/local/hadoop-3.3.4/etc/hadoop/hadoop-env.sh文件,设置JDK路径：
export JAVA_HOME=/usr/local/jdk1.8.0_231
- 编辑
/usr/local/hadoop-3.3.4/etc/hadoop/core-site.xml文件,设置Hadoop存储路径：
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop-3.3.4/tmp</value> </property> </configuration>- 编辑
/usr/local/hadoop-3.3.4/etc/hadoop/hdfs-site.xml文件,设置HDFS副本因子：
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>- 编辑
/usr/local/hadoop-3.3.4/etc/hadoop/yarn-site.xml文件,设置YARN资源管理器地址：
<configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>localhost</value> </property> </configuration>- 编辑
启动Hadoop集群
格式化HDFS：在终端运行以下命令格式化HDFS：
hadoop namenode -format
启动Hadoop守护进程：
start-dfs.sh start-yarn.sh
访问Hadoop Web界面：
- HDFS Web界面：http://localhost:50070
- YARN Web界面：http://localhost:8088
FAQs
Q1：为什么我的Hadoop服务无法启动？
A1：首先检查JDK和Hadoop环境变量是否配置正确，然后查看相关日志文件（如/usr/local/hadoop-3.3.4/logs/目录下的日志文件）,查找错误信息。
Q2：如何查看Hadoop集群的运行状态？
A2：在终端运行以下命令查看Hadoop集群的运行状态：
jps
此命令会列出所有正在运行的Hadoop守护进程，如NameNode、DataNode、ResourceManager、NodeManager等。
