企业官网建设流程全解析

局域网 手机网站建设,阿里云做企业网站,设计与网站建设案例,技成培训网官方网站我们有一个表分成了8桶#xff0c;今天早上跑批报错了#xff0c;消息是#xff1a; The number of buckets for table xxx is 8, whereas the number of files is 16上hdfs去查看一下#xff0c;果然是16个文件。可是我明明只分8桶#xff0c;为什么会有16个文件#xf…我们有一个表分成了8桶今天早上跑批报错了消息是The number of buckets for table xxx is 8, whereas the number of files is 16上hdfs去查看一下果然是16个文件。可是我明明只分8桶为什么会有16个文件而且直接select * from table xxx它又不会出错。经仔细检查ETL逻辑发现这个表是增量表每天会加载一批增量数据过来以前用的是insert overwrite table xxx select … from xxy union all …的方法这张表却是insert into table xxx select … from xxy 的方法说明新增的数据hive并没有合并到老文件里只是新加了一个“补丁文件”导致文件数据增多。修复一个增量sql就解决了。但是为什么直接单表select就没问题而join其它表就有问题了还得研究。