CentOS 7 Hadoop 2.8 安装与配置指南

Hadoop是一个开源的分布式计算框架，用于处理大规模数据集，本文将详细介绍如何在CentOS 7操作系统上安装和配置Hadoop 2.8版本。

环境准备

1. 系统要求

   • 操作系统：CentOS 7
   • 硬件要求：至少4GB内存，建议8GB以上
   • 磁盘空间：至少20GB可用空间

2. 软件要求

   • JDK：Java development Kit 1.7或更高版本
   • SSH：用于远程登录和配置免密码登录

安装步骤

1. 安装JDK

   • 使用以下命令下载JDK安装包：

     wget http://download.oracle.com/otn-pub/java/jdk/8u131/b02/jdk-8u131-linux-x64.tar.gz

   • 解压安装包：

     tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/local/

   • 配置环境变量：

     vi /etc/profile

     在文件末尾添加以下内容：

     export JAVA_HOME=/usr/local/jdk1.8.0_131
     export PATH=$PATH:$JAVA_HOME/bin

   • 使环境变量生效：

     source /etc/profile

2. 安装SSH服务

   

   • 使用以下命令安装SSH服务：

     yum install openssh-server

   • 启动SSH服务：

     systemctl start sshd

   • 设置SSH服务开机自启：

     systemctl enable sshd

3. 下载Hadoop 2.8安装包

   • 使用以下命令下载Hadoop 2.8安装包：

     wget http://www.apache.org/dyn/closer.cgi?path=/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz

   • 解压安装包：

     tar -zxvf hadoop-2.8.0.tar.gz -C /usr/local/

   • 重命名解压后的文件夹：

     mv /usr/local/hadoop-2.8.0 /usr/local/hadoop

4. 配置Hadoop环境

   • 修改/usr/local/hadoop/etc/hadoop/hadoop-env.sh文件，设置JDK路径：

     vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh

     在文件末尾添加以下内容：

     export JAVA_HOME=/usr/local/jdk1.8.0_131

5. 配置Hadoop集群

   • 修改/usr/local/hadoop/etc/hadoop/core-site.xml文件，设置Hadoop存储目录：

     vi /usr/local/hadoop/etc/hadoop/core-site.xml

     在文件中添加以下内容：

     <configuration>
       <property>
         <name>fs.defaultFS</name>
         <value>hdfs://localhost:9000</value>
       </property>
     </configuration>

   • 修改/usr/local/hadoop/etc/hadoop/hdfs-site.xml文件，设置HDFS存储目录：

     vi /usr/local/hadoop/etc/hadoop/hdfs-site.xml

     在文件中添加以下内容：

     <configuration>
       <property>
         <name>dfs.replication</name>
         <value>1</value>
       </property>
       <property>
         <name>dfs.namenode.name.dir</name>
         <value>/usr/local/hadoop/hdfs/namenode</value>
       </property>
       <property>
         <name>dfs.datanode.data.dir</name>
         <value>/usr/local/hadoop/hdfs/datanode</value>
       </property>
     </configuration>

   • 修改/usr/local/hadoop/etc/hadoop/yarn-site.xml文件，设置YARN资源管理器地址：

     vi /usr/local/hadoop/etc/hadoop/yarn-site.xml

     在文件中添加以下内容：

     <configuration>
       <property>
         <name>yarn.resourcemanager.address</name>
         <value>localhost:8032</value>
       </property>
     </configuration>

6. 格式化HDFS文件系统

   

   • 使用以下命令格式化HDFS文件系统：

     hdfs namenode -format

7. 启动Hadoop服务

   • 启动HDFS服务：

     start-dfs.sh

   • 启动YARN服务：

     start-yarn.sh

FAQs

1. 问题：如何检查Hadoop服务是否正常运行？

   • 解答：可以使用以下命令查看Hadoop服务的状态：

     jps

     如果看到NameNode、SecondaryNameNode、ResourceManager和NodeManager进程,则表示Hadoop服务正常运行。

2. 问题：如何访问Hadoop Web界面？

   • 解答：在浏览器中输入以下地址，即可访问Hadoop Web界面：

     http://localhost:50070

     （对于YARN，访问地址为：http://localhost:8088）