Hive执行SQL报错的常见原因及解决方案
常见错误类型及其原因
1、返回码1（Return Code 1）：
原因：通常是由于语法错误或配置问题引起的。
具体表现：在执行SQL时，Hive会返回类似于“Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask”的错误信息。
2、返回码2（Return Code 2）：
原因：通常与内存溢出有关。
具体表现：在YARN日志中可以看到任务失败的信息，如“Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask”。
3、返回码3（Return Code 3）：
原因：可能是任务执行过程中出现了异常，例如数据倾斜或资源不足。
具体表现：错误信息类似“Error while processing statement: FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask”。
具体解决方案
1、解决返回码1的问题：
检查语法：确保SQL语句的语法正确，没有拼写错误或缺少必要的标点符号。
配置文件：检查Hive和Yarn的配置文件，确保所有参数设置正确，检查hivesite.XML和yarnsite.xml文件中的配置是否正确。
2、解决返回码2的问题：
增加内存设置：调整Yarn和Hive的内存设置，例如增加yarn.scheduler.maximumallocationmb和yarn.scheduler.minimumallocationmb的值。
关闭虚拟内存检查：在yarnsite.xml中设置yarn.nodemanager.vmemcheckenabled为false。
示例配置：
```xml
<property>
<name>yarn.scheduler.minimumallocationmb</name>
<value>512</value>
</property>
<property>
<name>yarn.scheduler.maximumallocationmb</name>
<value>4096</value>
</property>
<property>
<name>yarn.nodemanager.resource.memorymb</name>
<value>4096</value>
</property>
<property>
<name>yarn.nodemanager.vmemcheckenabled</name>
<value>false</value>
</property>
```
3、解决返回码3的问题：
关闭自动装载：如果数据量较大，可以设置hive.auto.convert.join=false来避免自动装载导致的内存不足问题。
调整Tez配置：如果使用Tez执行引擎，可以通过调整tez.grouping.minsize和tez.grouping.maxsize来控制内存使用。
示例配置：
```sql
set tez.grouping.minsize=1G;
set tez.grouping.maxsize=1G;
```
4、其他常见问题及解决方案：
空指针异常（NullPointerException）：
原因：可能是分区表未指定分区，或者在使用Union all时前后字段名、数据类型不匹配。
解决方法：检查SQL语句中的分区表是否指定了分区，确保Union all操作中的字段名和数据类型一致，可以尝试关闭Costbased Optimizer，通过设置hive.cbo.enable=false来解决。
相关问答FAQs
1、Q: 为什么Hive执行SQL时会报返回码2的错误？
A: 返回码2通常与内存溢出有关，这可能是由于Yarn容器分配的内存不足，导致任务无法完成，解决方法包括调整Yarn和Hive的内存设置，如增加yarn.scheduler.maximumallocationmb和yarn.scheduler.minimumallocationmb的值，并关闭虚拟内存检查。
2、Q: 如何解决Hive执行SQL时的空指针异常？
A: 空指针异常可能是由于分区表未指定分区，或者在使用Union all时前后字段名、数据类型不匹配，解决方法包括检查SQL语句中的分区表是否指定了分区，确保Union all操作中的字段名和数据类型一致，可以尝试关闭Costbased Optimizer，通过设置hive.cbo.enable=false来解决。
