Hadoop在CentOS上的安装与配置
准备工作
1、系统要求：确保你的系统是CentOS 7.0 64位操作系统，如果还没有安装，可以使用VMware虚拟机进行安装。
2、下载Hadoop和JDK：
Hadoop的下载地址：HTTPS://mirrors.cnnic.cn/apache/hadoop/common/hadoop3.3.4/。
JDK的下载地址：https://repo.huaweicloud.com/apache/jdk/1.8.0_351/jdk8u351linuxx64.tar.gz
创建Hadoop用户并配置SSH免密登录
1、创建Hadoop用户：
```bash
su root
useradd m hadoop s /bin/bash
passwd hadoop
```
修改密码后，为hadoop用户增加管理员权限：
```bash
visudo
```
在打开的文件中找到root ALL=(ALL) ALL这一行，在其下面添加hadoop ALL=(ALL) ALL，然后保存退出并重启系统，使用hadoop用户登录。
2、安装并配置SSH：
确保已经安装了SSH client和server，如果没有则安装：
```bash
sudo yum install opensshclients
sudo yum install opensshserver
```
生成SSH密钥并配置免密登录：
```bash
sshkeygen t rsa
sshcopyid hadoop@localhost
```
测试免密登录是否成功：
```bash
ssh localhost
```
安装Java环境
1、安装JDK：
```bash
sudo yum install java1.8.0openjdk java1.8.0openjdkdevel
```
2、配置环境变量：
编辑~/.bashrc文件，添加以下内容：
```bash
export JAVA_HOME=/usr/lib/jvm/java1.8.0openjdk
export PATH=$JAVA_HOME/bin:$PATH
```
使配置生效：
```bash
source ~/.bashrc
```
安装Hadoop
1、下载并解压Hadoop：
```bash
wget https://mirrors.cnnic.cn/apache/hadoop/common/hadoop3.3.4/hadoop3.3.4.tar.gz
tar zxvf hadoop3.3.4.tar.gz
sudo mv hadoop3.3.4 /usr/local/hadoop
sudo chown R hadoop:hadoop /usr/local/hadoop
```
2、配置Hadoop环境变量：
编辑~/.bashrc文件，添加以下内容：
```bash
export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
```
使配置生效：
```bash
source ~/.bashrc
```
配置Hadoop单机模式
1、配置coresite.xml：
```xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
```
2、格式化HDFS：
```bash
hdfs namenode format
```
3、启动Hadoop：
```bash
startdfs.sh
startyarn.sh
```
4、验证Hadoop安装：
打开浏览器，访问http://localhost:9870，如果看到NameNode页面，表示Hadoop已成功安装并运行。
FAQs
1、为什么需要配置SSH免密登录？
答：在Hadoop集群中，各个节点之间需要进行大量的通信，配置SSH免密登录可以简化这一过程，避免每次通信时都需要输入密码，从而提高操作效率。
2、如何检查Hadoop是否正确安装？
答：可以通过运行hadoop version命令来查看Hadoop的版本信息，确认Hadoop已经正确安装，可以启动Hadoop集群后，通过浏览器访问NameNode的Web界面（默认地址为http://localhost:9870），如果能够正常显示页面，说明Hadoop已经正确安装并运行。
