码迷,mamicode.com
首页 > 数据库 > 详细

记Hive SQL中TEMPORARY VIEW的一个数据对不上的坑

时间:2020-12-29 11:28:30      阅读:0      评论:0      收藏:0      [点我收藏+]

标签:bsp   一个   写入   from   情况   inner   十分   产生   text   

问题背景:

(无关操作已省略)

Spark ETL执行以下SQL:

CREATE TEMPORARY VIEW A select user_id, ...;

CREATE TEMPORARY VIEW B select user_id, ... from A ...; 

INSERT OVERWRITE TABLE  C select * from A union all ( select * from B)

发现A和B表union之后写入C表的数据中, 来源于B的user_id和来源于A的user_id竟然完全不同。

十分困惑,因为表B的数据完全来源于表A,不应该出现这种情况。

 

原因:

etl会多次产生表A,create B产生一次,union的时候产生一次,两次session对不起来。
真是巨坑。

记Hive SQL中TEMPORARY VIEW的一个数据对不上的坑

标签:bsp   一个   写入   from   情况   inner   十分   产生   text   

原文地址:https://www.cnblogs.com/wilde/p/14179689.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!