在当今大数据时代，Hadoop集群作为处理海量数据的重要工具，在数据分析、机器学习等领域发挥着关键作用，以下是关于在CentOS系统上搭建Hadoop集群的详细指南：

一、前期准备

1、硬件要求：至少需要三台CentOS服务器或虚拟机，每台建议配置2GB以上内存和20GB以上硬盘空间。

2、软件要求：安装Java运行环境（JRE），推荐使用OpenJDK 1.8版本。

3、网络配置：确保所有节点能够相互通信，可通过修改/etc/hosts文件实现主机名与IP地址的映射，方便后续操作。

二、安装步骤

1、创建虚拟机：使用VMware等虚拟机软件创建三台CentOS虚拟机，分别命名为node01（主节点）、node02、node03。

2、安装CentOS：按照常规步骤安装CentOS操作系统，设置root密码，选择安装必要的软件组件，如网络服务器、Unix兼容性和基本开发工具等。

3、配置网络：将各节点的网络模式设置为桥接模式，并配置静态IP地址，确保网络互通。

4、关闭防火墙：为避免端口访问问题，在所有节点上关闭防火墙。

5、安装Java：下载并安装Java开发工具包（JDK），创建目录存放JDK，解压安装包并进行环境变量配置。

6、安装Hadoop：下载Hadoop安装包，解压到指定目录，如/export/servers或/opt/bigdata等，然后进行环境变量配置。

三、集群配置

1、配置SSH免密登录：在主节点上生成SSH密钥对，并将公钥复制到从节点上，实现免密登录。

2、配置Hadoop环境变量：编辑/etc/profile文件，添加HADOOP_HOME、PATH、CLASSPATH等环境变量。

3、修改Hadoop配置文件：主要包括coresite.xml、hdfssite.xml、mapredsite.xml、yarnsite.xml等文件，根据实际需求进行配置，如设置HDFS的NameNode地址、副本因子、资源管理器地址等。

4、格式化NameNode：在主节点上执行hdfs namenode format命令，初始化HDFS。

四、启动集群

1、启动HDFS：在主节点上执行startdfs.sh脚本，启动NameNode和DataNode进程。

2、启动YARN：同样在主节点上执行startyarn.sh脚本，启动ResourceManager和NodeManager进程。

五、验证集群状态

1、通过Web界面查看：打开浏览器，访问http://<主节点IP>:9870（NameNode的Web UI）和http://<主节点IP>:8088（ResourceManager的Web UI），查看集群的状态信息，包括节点列表、资源使用情况等。

2、使用Hadoop命令检查：在任意节点上执行hdfs dfsadmin report命令，查看HDFS的详细信息，如数据块分布、节点状态等；执行yarn node list命令，查看YARN节点的注册信息。

六、常见问题及解决方法

1、SSH连接问题：若出现SSH连接失败的情况，可检查SSH服务是否已启动，以及防火墙是否已关闭相应端口。

2、Hadoop进程无法启动：查看日志文件（通常位于$HADOOP_HOME/logs目录下），根据错误提示进行排查和解决，常见的问题包括配置文件错误、端口冲突、环境变量设置不正确等。

3、数据节点无法连接NameNode：检查网络连接是否正常，以及NameNode和DataNode的配置文件是否正确，特别是与网络相关的配置项，如主机名、IP地址等。

七、FAQs

1、Q：为什么选择CentOS作为Hadoop集群的操作系统？

A：CentOS具有稳定性高、安全性好、易于管理等优点，且与大多数服务器硬件兼容性良好，适合作为企业级应用的服务器操作系统，因此在搭建Hadoop集群时是一个常用的选择。

2、Q：Hadoop集群中的NameNode和DataNode有什么区别？

A：NameNode是HDFS的核心节点，负责管理文件系统的命名空间和控制客户端对文件的访问；DataNode则负责存储实际的数据块，并定期向NameNode汇报数据块的信息，NameNode是管理者，DataNode是存储者。