CentOS7上Hadoop安装与配置全解析
在大数据时代，Hadoop作为一款开源的分布式计算框架，广泛应用于处理大规模数据集，本文将详细介绍如何在CentOS 7操作系统上安装和配置Hadoop，包括前期准备、JDK环境搭建、Hadoop安装与配置以及常见问题解决等内容，通过详细的步骤和实用的示例，帮助读者顺利完成Hadoop集群的搭建。
前期准备
1. 安装三台CentOS7虚拟机
创建虚拟机：使用VMware或其他虚拟机软件创建三台CentOS7虚拟机，分别命名为hadoop1（Namenode）、hadoop2（Datanode）和hadoop3（Datanode）。
修改主机名：
- hostnamectl sethostname hadoop1
同样方法修改其他两台虚拟机的主机名为hadoop2和hadoop3。
2. 修改Hosts文件
编辑Hosts文件：
- vi /etc/hosts
添加以下内容：
- 192.168.80.132 hadoop1
- 192.168.80.133 hadoop2
- 192.168.80.134 hadoop3
3. 关闭防火墙
查看防火墙状态：
- firewallcmd state
关闭防火墙：
- systemctl stop firewalld
- systemctl disable firewalld
4. 同步时间
安装ntpdate：
- yum install ntpdate y
同步时间：
- ntpdate cn.pool.ntp.org
5. 配置SSH免密登录
生成密钥对：
- sshkeygen t rsa
按提示操作，生成密钥对。
拷贝公钥到其他节点：
- sshcopyid hadoop2
- sshcopyid hadoop3
测试免密登录：
- ssh hadoop2
- ssh hadoop3
JDK环境安装
1. 下载并上传JDK
下载JDK：从Oracle官网或其他可信赖源下载jdk8u版本。
上传JDK文件：使用XShell+Xftp工具将JDK文件上传至/usr/local/java目录。
2. 解压并配置JDK
解压JDK：
- tar zxvf jdk8u261linuxx64.tar.gz C /usr/local/java
配置环境变量：
- vi /etc/profile
添加以下内容：
- export JAVA_HOME=/usr/local/java/jdk1.8.0_261
- export PATH=$JAVA_HOME/bin:$PATH
使配置文件生效：
- source /etc/profile
验证安装：
- java version
Hadoop安装与配置
1. 下载并解压Hadoop
下载Hadoop：从apache Hadoop官网下载所需版本，如hadoop3.2.0。
上传并解压：
- tar zxvf hadoop3.2.0.tar.gz C /opt
- mv /opt/hadoop3.2.0 /opt/hadoop
2. 配置Hadoop环境变量
编辑环境变量文件：
- vi /etc/profile
添加以下内容：
- export HADOOP_HOME=/opt/hadoop
- export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
使配置文件生效：
- source /etc/profile
3. 配置Hadoop核心文件
创建必要的目录：
- mkdir p /root/hadoop/tmp /root/hadoop/var /root/hadoop/dfs /root/hadoop/dfs/name /root/hadoop/dfs/data
编辑coresite.xml：
- vi /opt/hadoop/etc/hadoop/coresite.xml
添加以下内容：
- <property>
- <name>hadoop.tmp.dir</name>
- <value>/root/hadoop/tmp</value>
- <description>A base for other temporary directories.</description>
- </property>
- <property>
- <name>fs.defaultFS</name>
- <value>hdfs://hadoop1:9000</value>
- </property>
编辑hdfssite.xml：
- vi /opt/hadoop/etc/hadoop/hdfssite.xml
添加以下内容：
- <property>
- <name>dfs.namenode.name.dir</name>
- <value>/root/hadoop/dfs/name</value>
- </property>
- <property>
- <name>dfs.datanode.data.dir</name>
- <value>/root/hadoop/dfs/data</value>
- </property>
- <property>
- <name>dfs.replication</name>
- <value>1</value>
- </property>
- <property>
- <name>dfs.http.address</name>
- <value>0.0.0.0:50070</value>
- </property>
编辑yarnsite.xml：
- vi /opt/hadoop/etc/hadoop/yarnsite.xml
添加以下内容：
- <property>
- <name>yarn.resourcemanager.hostname</name>
- <value>hadoop1</value>
- </property>
- <property>
- <name>yarn.nodemanager.auxservices</name>
- <value>mapreduce_shuffle</value>
- </property>
- <property>
- <name>yarn.application.classpath</name>
- <value>$HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,$HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,$HADOOP_MAPREDUCE_HOME/*,$HADOOP_MAPREDUCE_HOME/lib/*,$HADOOP_YARN_HOME/*,$HADOOP_YARN_HOME/lib/*</value>
- </property>
- <property>
- <name>yarn.nodemanager.vmemcheckenabled</name>
- <value>false</value>
- </property>
编辑mapredsite.xml：
- vi /opt/hadoop/etc/hadoop/mapredsite.xml
添加以下内容：
- <property>
- <name>mapreduce.framework.name</name>
- <value>yarn</value>
- </property>
编辑hadoopenv.sh：
- vi /opt/hadoop/etc/hadoop/hadoopenv.sh
添加以下内容：
- export JAVA_HOME=/usr/local/java/jdk1.8.0_261
4. 格式化NameNode并启动Hadoop集群
格式化NameNode：
- hdfs namenode format
启动NameNode和DataNode：
- startdfs.sh
- startyarn.sh
验证集群状态：通过访问http://hadoop1:50070和http://hadoop1:8088查看NameNode和ResourceManager的状态。
常见问题与FAQs
Q1: 如何更改Hadoop集群中某台机器的主机名？
A1: 使用以下命令更改主机名：
- hostnamectl sethostname newhostname
然后永久修改/etc/hosts文件和/etc/hostname文件，并重启系统。
Q2: 如何确保Hadoop集群中的各节点时间同步？
A2: 确保所有节点安装了NTP服务，并指向同一时间服务器，执行以下命令同步时间：
- ntpdate cn.pool.ntp.org
