hive函数之~行转列与列转行

标签：top   连接   猪八戒   ems   cells   bsp   order   for   load   

4、行转列

1．相关函数说明

CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字符串;

CONCAT_WS(separator, str1, str2,...)：它是一个特殊形式的 CONCAT()。第一个参数剩余参数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是 NULL，返回值也将为 NULL。这个函数会跳过分隔符参数后的任何 NULL 和空字符串。分隔符将被加到被连接的字符串之间;

COLLECT_SET(col)：函数只接受基本数据类型，它的主要作用是将某字段的值进行去重汇总，产生array类型字段。

2．数据准备

表6-6 数据准备

3．需求

把星座和血型一样的人归类到一起。结果如下：

4．创建本地constellation.txt，导入数据

node03服务器执行以下命令创建文件，注意数据使用\t进行分割

cd /export/servers/hivedatas

vim constellation.txt

6．按需求查询数据

hive (hive_explode)> select
                        t1.base,
                        concat_ws(‘|‘, collect_set(t1.name)) name
                    from
                        (select
                            name,
                            concat(constellation, "," , blood_type) base
                        from
                            person_info) t1
                    group by
                        t1.base;

5、列转行

1．函数说明

EXPLODE(col)：将hive一列中复杂的array或者map结构拆分成多行。

LATERAL VIEW

用法：LATERAL VIEW udtf(expression) tableAlias AS columnAlias

解释：用于和split, explode等UDTF一起使用，它能够将一列数据拆成多行数据，在此基础上可以对拆分后的数据进行聚合。

2．数据准备

cd /export/servers/hivedatas

vim movie.txt

数据字段之间使用\t进行分割

3．需求

将电影分类中的数组数据展开。结果如下：

4．创建hive表并导入数据

创建hive表

create table movie_info(
    movie string,
    category array<string>)
row format delimited fields terminated by "\t"
collection items terminated by ",";

加载数据

load data local inpath "/export/servers/hivedatas/movie.txt" into table movie_info;

5．按需求查询数据

select
    movie,
    category_name
from
    movie_info lateral view explode(category) table_tmp as category_name;

hive函数之~行转列与列转行

标签：top   连接   猪八戒   ems   cells   bsp   order   for   load   

原文地址：https://www.cnblogs.com/lojun/p/13251412.html