CentOS 单机安装 CDH

Cloudera Distribution Including Apache Hadoop（CDH）是一个由Cloudera维护的Hadoop发行版，它包括了Hadoop的核心组件以及一些其他有用的工具，CentOS是一个基于Red Hat Enterprise Linux的免费操作系统，广泛用于服务器部署,本文将详细介绍如何在CentOS单机上安装CDH。

准备工作

1. 硬件要求

   • 处理器：至少双核CPU
   • 内存：至少4GB（推荐8GB或更高）
   • 硬盘：至少100GB的可用空间

2. 软件要求

   • 操作系统：CentOS 7
   • Java：Java Development Kit（JDK）1.8或更高版本

3. 网络配置

   确保网络畅通,能够访问CDH的下载站点。

   

安装步骤

1. 下载CDH安装包

   访问Cloudera官网,下载适合CentOS的CDH安装包。

2. 安装依赖项

   • 打开终端，运行以下命令安装依赖项：

     sudo yum install -y yum-utils
     sudo yum-config-manager --add-repo https://archive.cloudera.com/cm5/redhat/7/x86_64/cm5.repo
     sudo yum install -y cloudera-manager-daemons

3. 配置Cloudera Manager

   • 安装Cloudera Manager：

     sudo yum install -y cloudera-manager-server
     sudo systemctl start cloudera-scm-server
     sudo systemctl enable cloudera-scm-server

   • 访问浏览器，输入Cloudera Manager的默认端口（默认为7180）,按照向导进行配置。

4. 安装Hadoop组件

   

   • 在Cloudera Manager中,添加一个新的Hadoop集群。
   • 选择“单节点Hadoop集群”选项。
   • 按照向导完成安装，包括选择Hadoop版本、配置HDFS、YARN、MapReduce等组件。

5. 验证安装

   • 使用以下命令启动HDFS和YARN服务：

     sudo systemctl start hadoop-hdfs-namenode
     sudo systemctl start hadoop-hdfs-datanode
     sudo systemctl start hadoop-yarn-resourcemanager
     sudo systemctl start hadoop-yarn-nodemanager

   • 使用以下命令检查服务状态：

     sudo systemctl status hadoop-hdfs-namenode
     sudo systemctl status hadoop-hdfs-datanode
     sudo systemctl status hadoop-yarn-resourcemanager
     sudo systemctl status hadoop-yarn-nodemanager

常见问题解答（FAQs）

1. 问题：为什么我的Hadoop服务无法启动？

   • 解答：首先检查服务依赖项是否安装正确，如Java、Hadoop相关依赖等，检查日志文件以查找错误信息，通常在/var/log/hadoop/hdfs/和/var/log/hadoop/yarn/目录下。

2. 问题：如何查看Hadoop集群的存储空间使用情况？

   • 解答：可以使用hdfs dfs -df -h命令查看HDFS的存储空间使用情况，以下命令将显示HDFS根目录的存储空间使用情况：

     hdfs dfs -df -h /

通过以上步骤，您可以在CentOS单机上成功安装CDH，安装过程中可能遇到一些问题，但通过查阅相关文档和日志文件，通常可以找到解决方案,希望本文对您有所帮助。