Hive:一次错误解决的详细记录(关于内存和权限)
前言
有那么一些大大的sql,是用来建各种宽表的。这些操作对impala来说,压力还是比较大的,而且在这个时候正好有别人的impala查询什么的,经常会报错。这是背景,因此我尝试用hive看能不能解决。
下面这个错误,之前解决过,但是随着数据量的增大,即使扩大了impala的内存限制,早晚还是会出问题了。
Memory limit exceeded Cannot perform hash aggregation. Partitioned input data too many times. This could mean there is too much skew in the data or the memory limit is set too low.