关于distcp报错的分析
背景介绍
DistCp是Hadoop提供的一个用于大规模集群内部和集群之间数据拷贝的工具，它使用Map/Reduce实现文件分发、错误处理和恢复以及报告生成，在实际使用过程中，用户可能会遇到各种报错问题，本文将详细探讨DistCp报错的常见原因及其解决方法。
常见报错及解决方法
1. java.lang.OutOfMemoryError: unable to create new native thread
问题描述：
在使用DistCp工具将老的HDFS集群上的文件夹迁移到新HDFS集群上时，经常出现在map跑到一定阶段后报错"java.lang.OutOfMemoryError: unable to create new native thread"，并且因为是提交到yarn上面跑，所以表现出来的是yarn的nodemanager进程挂掉，一般迁移的目录下文件数量超过10万个时极容易出现此问题。
解决过程：
初步排查： 通过报错的表面信息首先想到的是集群内存不足，但查看集群每台机器的内存，可以看到每台机器还有几个G的剩余内存，基本可以排除内存不足的问题。
进一步分析： 通过网上查资料发现此报错也有可能是创建的线程数过多，达到了系统设置的阀值而无法创建新线程报错，系统线程数限制有以下因素：
/proc/sys/kernel/pid_max：操作系统线程ID的最大值，即系统PID号数值的限制，全局参数。
/proc/sys/kernel/threadmax：内核所能使用的线程的最大数目，即系统的总线程数限制，全局参数。
max_user_process（ulimit u）：系统限制某用户下最多可以运行多少进程或线程，此参数受全局参数影响。
/proc/sys/vm/max_map_count：单个程序所能使用内存映射空间的数量限制，单个JVM最大能开启的线程数为此值一半。
验证并解决： 查看服务器上相关参数pid_max值为32678，其他几个参数都超过10万，所以准备验证pid_max参数是否为限制所在，修改服务器的pid_max值为50000，重新测试，重新执行distcp操作，观察到线程数可突破到4万+还未报错。
通过分析确定排除集群内存不足问题，是由于服务器的/proc/sys/kernel/pid_max默认值为32768限制，在文件数量非常多的情况下导致线程数超过系统限制而报错，增大/proc/sys/kernel/pid_max的值，同时注意其他几个限制线程的参数，最终解决了这个问题，虽然此次通过调整线程数解决了问题，但是最终的原因还是因为客户的小文件数量过多，因为一个小文件就必须由一个map来完成，所以当小文件过多时就会启动非常多的map任务，可通过har归档方式将小文件合并后再进行distcp迁移。
2. Checksum mismatch between source and target paths
问题描述：
在使用DistCp工具进行文件拷贝时，有时会遇到“Checksum mismatch between source and target paths”的错误信息，这表示源文件和目标文件的校验和不匹配。
解决方法：
原因分析： 这个错误通常发生在源文件和目标文件的内容不一致时，可能的原因包括网络传输错误、文件损坏等。
解决方案：
确保源文件和目标文件没有在传输过程中被修改或损坏。
如果确定源文件和目标文件应该相同，可以使用skipCrcCheck选项跳过校验和检查。
hadoop distcp skipCrcCheck hdfs://source/path hdfs://target/path 另一种方法是使用update选项，这样只有在源文件和目标文件大小不一样时才会进行覆盖。
hadoop distcp update hdfs://source/path hdfs://target/path3. Source and target differ in blocksize
问题描述：
当两个HDFS集群的文件块大小（block size）不一致时，使用DistCp进行文件拷贝可能会报错：“Source and target differ in blocksize. Use pb to preserve blocksizes during copy.”
解决方法：
原因分析： HDFS在写文件时设置了块大小，默认是128M，如果不同集群间块大小不一致，会导致拷贝失败。
解决方案：
使用pb选项保留原集群的块大小。
hadoop distcp pb hdfs://source/path hdfs://target/path确保两个集群的块大小一致，可以通过配置文件进行调整。
NameNode安全模式
问题描述：
在使用DistCp工具进行文件拷贝时，有时会遇到NameNode处于安全模式而导致无法读取或写入数据的问题。
解决方法：
原因分析： NameNode在启动时会进入安全模式，以防止在启动过程中对元数据的修改，此时无法进行正常的读写操作。
解决方案：
确保NameNode已经退出安全模式，可以通过以下命令检查：
hdfs dfsadmin safemode get如果NameNode仍处于安全模式，可以等待一段时间让其自动退出，或者手动退出安全模式：
hdfs dfsadmin safemode leave缺少必要的jar包
问题描述：
在使用DistCp工具时，有时会遇到“Cannot initialize Cluster”的错误信息，这可能是由于缺少必要的jar包导致的。
解决方法：
原因分析： Hadoop运行时需要依赖多个jar包，如果某些jar包缺失，可能会导致初始化失败。
解决方案：
确保所有必要的jar包都已正确安装，特别是hadoopmapreduceclientcommon.jar这个包。
如果缺少jar包，可以从Hadoop官方网站下载并安装相应的版本。
归纳与建议
监控资源使用情况： 定期监控集群的资源使用情况，包括CPU、内存、磁盘空间等，以便及时发现并解决问题。
合理配置参数： 根据实际需求合理配置DistCp的相关参数，如并发数、块大小等，以提高数据传输效率并减少错误发生的概率。
备份与恢复： 在进行大规模数据迁移前，务必做好充分的备份工作，以防万一出现问题能够及时恢复数据。
日志分析： 定期分析DistCp生成的日志文件，及时发现潜在的问题并进行优化。
相关FAQs
Q1: DistCp在传输过程中出现“java.io.IOException: File system exception”错误怎么办？
A1: 这种错误通常是由于文件系统异常引起的，可能是由于网络不稳定或磁盘故障等原因导致的，解决方法包括：检查网络连接是否正常；检查磁盘是否有故障；尝试重新运行DistCp命令；如果问题仍然存在，可以考虑重启相关服务或联系技术支持。
Q2: DistCp在拷贝大量小文件时性能较差，有什么优化方法？
A2: 当需要拷贝大量小文件时，可以考虑先将这些小文件合并成大文件，然后再进行传输，这样可以显著提高传输效率并减少出错的可能性，具体操作可以使用Hadoop的Archive工具（如har）来实现。
hadoop archive archiveName combined.har p /source/path/* hadoop distcp combined.har hdfs://target/path/
