码迷,mamicode.com
首页 > 其他好文 > 详细

BG.Hive - part3

时间:2017-03-16 16:04:43      阅读:273      评论:0      收藏:0      [点我收藏+]

标签:array   apach   3.0   问题   创建   substring   没有   turn   span   

1. Hive数据导入 - Load

  Load,加载,不会进行任何数据转换和处理的操作,只会进行数据Move操作,将元数据移动到HDFS指定目录

  a> hdfs dfs -put ‘hdfs的hive目录‘

  b> LOAD DATA [LOCAL] INPATH ‘filepath‘ [OVERWRITE] INTO TABLE tablename [PARTITION(partcol1=val1,partcol2=val2...)]

    filepath: 要加载的数据文件路径,可以是相对路径,也可以是绝对路径,或者hdfs url;filepath为文件则移动文件,如果是目录,则将该目录下所有的文件移动到目标目录(表/分区)

    LOCAL: 要加载的文件为本地文件 (file:///user/hive/...)

    OVERWRITE: 目标目录(表/分区)下的数据会全部删除,然后覆盖;没有改关键字,则是增加的模式;

  vim load.txt  #创建本地文件, 数据如下

1,Niko,Shanghai,2016-01-01
2,Jim,Beijing,2017-01-01
3,Ye,GuangZhou,2018-01-01

  hive> create table loaddata(id int, name string, city string, createdate date)  #在Hive中创建表
    > row format delimited
    > fields terminated by ‘,‘
    > stored as textfile;

  hive> load data local inpath ‘/root/load.txt‘ into table loaddata;  #Load本地文件到表中

  hive> load data inpath ‘file:///root/load.txt‘ into table loaddata;  #使用权全路径加载本地文件

  hive> select * from loaddata;  #查询loaddata表,数据已经导入,由于前面2次都没有使用overwrite,可以发现,表中有6条数据

  hive> load data local inpath ‘/root/load.txt‘ overwrite into table loaddata;  #通过overwrite加载数据,成功后会发现loaddata表只有3条数据。之前的数据被清除了

  hive> truncate table loaddata;  #清空表

  hdfs dfs -put load.txt ‘/user/hive/‘

  hive> load data inpath ‘/user/hive/load.txt‘ into table loaddata;  #由hdfs加载数据到loaddata表

  hive> load data inpath ‘hdfs://bigdata.hadoop.master:9000/user/hive/load.txt‘ into table loaddata;  #使用hdfs全uri指定文件进行导入

  

  hdfs dfs -mkdir /user/hive/loadfolder  #在hdfs中创建目录

  hdfs dfs -cp file:///root/load.txt ‘/user/hive/loadfolder/load1.txt‘  #将本地文件复制到hdfs

  hdfs dfs -cp file:///root/load.txt ‘/user/hive/loadfolder/load2.txt‘  #将本地文件复制到hdfs,生成2份

  hive> load data inpath ‘/user/hive/loadfolder/‘ into table loaddata;  #将hdfs目录作为路径到如Hive,会发现该目录下的2个文件数据都已经导入了Hive表中。并在Hive的目录下生成了2个文件。

  

2. Hive数据导入 - Insert

  INSERT OVERWRITE  #覆盖目标表,immutable不限制

  INSERT INTO  #向目标表appent,immutable限制

  hive> create table insertdata like loaddata;  #创建表

  hive> alter table insertdata set tblproperties (‘immutable‘=‘true‘);  #将insertable的数据设置为不可变

    immutable,当设置为true时,表中存在数据,不允许在修改数据;表中没有数据时,可以新增数据

  hive> insert into insertdata select * from loaddata;  #在insertdata没有数据的情况下,该语句执行成功

  hive> insert into insertdata select * from loaddata;  #再次执行,FAILED: SemanticException [Error 10256]: Inserting into a non-empty immutable table is not allowed insertdata

  hive> insert overwrite table insertdata select * from loaddata;  #Overwrite,在inserttable中有数据的情况下也能执行

  hive> from loaddata insert overwrite table insertdata select *;  #from在前面,overwrite

  hive> from loaddata insert into insertdata select *;  #from在前面,into;需要先关闭immutable

  hive> create table insertdata2 like loaddata;  #在创建一个表

  hive> from loaddata  #使用from同时向多张表插入数据
    > insert overwrite table insertdata select *
    > insert into table insertdata2 select *;

  

3. Hive数据导出

  导出到本地文件系统

  导出到HDFS

  Hive -e 或 -f,导入到其他表

  hive> insert overwrite local directory ‘/root/loadexport‘ select * from loaddata;  #将loaddata表数据导入到本地文件

  hive> insert overwrite directory ‘/user/hive/loadexport‘ select * from loaddata;  #导出到HDFS,字段分隔符为^A

  hive -e ‘select * from loaddata‘;  #将查询结果进行显示

  hive -e ‘select * from loaddata‘ >> loaddatae.txt;  #通过>>管道符,将查询结果写入loaddata.txt文件;>>代表追加;>代表覆盖;字段间分割符为Tab

  vim loaddata_query.hql  #编写查询语句的文件,内容为  use hellohive  (\n)  select * from loaddata;

  hive -f loaddata_query.hql > loaddatae.txt;  #通过hive-f的方式,将查询结果覆盖到loaddatae.txt文件

 

4. Hive复杂类型

  数组,ARRAY<date_type>:有顺序的并且数组元素都必须是相同的数据类型,由0开始索引

  键值对,MAP<primitive_type,data_type>:例如map<int,string>

  结构体,STRUCT<col_name1:data_type,col_name2:data_type...>

  联合体,UNIONTYPE<data_type,data_type...>

  fields terminated by: 字段间分隔符(默认\001 ^A);collection items terminated by: 集合元素间分隔符(默认\002 ^B);map keys terminated by: map键值间分隔符(默认\003 ^C);lines terminated by: 行分隔符(默认\n)

hive> create external table if not exists vendor(      #创建表--复杂数据类型
> id int comment ‘供应商ID‘,
> name string comment ‘供应商名称‘,
> contacter array<string> comment ‘联系人‘,
> productline map<string,double> comment ‘产品线和产品价格‘,
> address struct<country:string,city:string,zip:int> comment ‘地址(国家,城市,邮编)‘
> )
> row format delimited
> fields terminated by ‘,‘
> collection items terminated by ‘ ‘
> map keys terminated by ‘:‘
> lines terminated by ‘\n‘
> stored as textfile;

 

  创建数据文件,vendorrecord.txt

1,VendorA,Name1 Name2 Name3,P1:100.0 P2:200.0 P3:50,CN Shanghai 200000
2,VendorB,Name1 Name2 Name3,P1:1000 P2:20 P3:80,CN Beijing 100000
3,VendorC,Name100 Name200 Name300,P100:3 P200 33.8,CN Shanghai 200000

 

 

  导入数据到vendor表

  hive> load data local inpath ‘/root/vendorrecord.txt‘ into table vendor;

  hive> select * from vendor;  #查询导入的数据,结果如下

 

OK
1 VendorA ["Name1","Name2","Name3"] {"P1":100.0,"P2":200.0,"P3":50.0} {"country":"CN","city":"Shanghai","zip":200000}
2 VendorB ["Name1","Name2","Name3"] {"P1":1000.0,"P2":20.0,"P3":80.0} {"country":"CN","city":"Beijing","zip":100000}
3 VendorC ["Name100","Name200","Name300"] {"P100":3.0,"P200":null,"33.8":null} {"country":"CN","city":"Shanghai","zip":200000}
Time taken: 1.752 seconds, Fetched: 3 row(s)

 

  hive> select contacter from vendor;  #查询联系人  数组

  hive> select contacter[0] from vendor;  #查询每条记录的第一个联系人  数组下标  数组

  hive> select size(contacter) from vendor;  #查询每条记录的联系人个数  数据元素个数  数组

  hive> select array_contains(contacter,‘Name1‘) from vendor;  #查询每条记录的联系人是否包含某个名称  判断数组是否包含某个元素,返回值为true,false  数组

  hive> select sort_array(contacter) from vendor;  #查询每条记录时对联系人进行排序  数组排序  数组

  hive> select productline from vendor;  #查看产品线

  hive> select productline[‘P1‘] from vendor;  #查看某个产品的所有价格  MAP根据Key查询Value  MAP

  hive> select size(productline) from vendor;  #查看产品个数  MAP键值对个数  MAP

  hive> select map_keys(productline) from vendor;  #查看所有产品  查询MAP的所有key  MAP

  hive> select map_values(productline) from vendor;  #查看所有产品价值  查询MAP的所有Value  MAP

  hive> select address.country from vendor;  #查看所有记录所在的国家  查看STRUCT的某个属性  STRUCT

 

5. Hive常见优化

  小文件合并

  小文件过多,导致HDFS的NameNode负载过大;每个HDFS文件都在NameNode中会有对应的记录,NameNode是直接于在与内存中的

  小文件过多,导致Metastore解析文件负担过大;

  建议每次执行完一个SQL后就进行小文件合并;

  扫描文件 -- 列剪裁

  控制参数: hive.optimize.cp=true;

  使用select具体的列代替select *

  扫描文件 -- 分区剪裁

  控制参数: hive.optimize.pruner=true;

  在查询子句中使用分区字段当作查询条件

  Join优化 -- 控制启动的Job个数

  无论多少张表Join,如果Join的Key都一样,则都会合并为一个MR作业

  Join优化 -- 左边表为小表

  在Reduce阶段,Join左边的表会全部加载到内存;此原则不适用于mapjoin

  Join优化 -- MapJoin

  Join放生在Map端,无需Reduce任务;MapJoin绝对不存在数据倾斜;Map Join要求查询的表很小(通常小于100M)

  select /*+mapjoin(a)*/ a.id,b.name from TableA a join TableB b on a.id=b.id

  Group by优化

  控制参数: hive.groupby.skewindata=true;  默认为false

  主要优化数据倾斜问题

  控制参数设置为true后,查询语句的执行计划会生成2个MR作业,第一个为预聚合,第二个是根据预聚合的结果进行最终聚合

  空值:大量空值容易导致数据倾斜 => 数据预处理

 

6. UDFs

  UDFs : User Defined Functions  Inupt 1 Output 1

  UDAF : User Defined Aggregation Function  Input N Output 1

  UDTF : User Defined Table- Generating Function  Inpurt 1 Output N

  内置UDF: string, Data ....

  内置UDAF:Count, Sum, AVG ...

  内置UDTF: Explode ...

  自定义UDFs:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF

  show functions;  desc function year;  desc function extended year;

  UDF源码,insight.io  如(+)源码:https://www.insight.io/github.com/apache/hive/blob/master/ql/src/java/org/apache/hadoop/hive/ql/udf/generic/GenericUDFOPPlus.java

  Group by 操作源码:https://www.insight.io/github.com/apache/hive/blob/master/ql/src/java/org/apache/hadoop/hive/ql/exec/GroupByOperator.java

  a> 编写UDF函数的程序,并打成Jar包  b> 在Hive中使用add jar的方式安装该Jar包  c> 在Hive中调用该函数

  编写UDF函数,输入身份证号,输出年龄

  在ItelliJ IDEA中编写函数,代码如下;并生成Jar包(Project Structure => Artifacts => Add...)  

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;
import java.util.Calendar;
import java.lang.*;

public class getAgeFromId extends UDF {
    Calendar cal = Calendar.getInstance();
    int year = cal.get(Calendar.YEAR);

    public Text evaluate (Text s) throws Exception
    {
        if(s == null){return  null;}
        if(s.getLength() != 18)
        {
            throw new Exception("Exactly one argument is expected.");
        }
        int age = year - Integer.parseInt(s.toString().substring(6,10));
        return new Text(Integer.toString(age));
    }
}

 

  hive> add jar /root/Hive_UDF.jar  #在Hive中导入Jar包

  hive> create temporary function getAge as ‘getAgeFromId‘;  #根据自定义的函数在Hive中创建临时函数

  hive> select getage(‘111222199001013333‘);  #测试自定义函数

  上面由于时临时函数,当Hive重启后,该函数将不可用

  解决方案:

  vim /opt/hive-2.1.1/conf/.hiverc  #将下面的语句写入hiverc文件; hiverc隐藏文件在每次Hive启动时,里面的每条语句都会被重新执行

    add jar /root/Hive_UDF.jar

    create temporary function getAge as ‘getAgeFromId‘;

 

 

  

BG.Hive - part3

标签:array   apach   3.0   问题   创建   substring   没有   turn   span   

原文地址:http://www.cnblogs.com/Niko12230/p/6552658.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!