续接(三) 3 habse(1.2)集成hive(1.2.1) 》不兼容集成,需要自己编译!!! hive1.x与hbase0.98版本兼容 hive2.x与hbase1.x版本以上兼容 hive0.x与hbase0.98以下兼容 Hive提供了与HBase的集成,使得能够在HBase表上使用hiv ...
分类:
其他好文 时间:
2020-06-27 17:32:18
阅读次数:
54
hive2启动-hive --service hiveserver2 &-service mysqld start- beeline -u jdbc:hive2://localhost:10000配置依赖-hive-jdbc 对应hive版本: 2.1.1-hive-common 对应hive版本:... ...
分类:
数据库 时间:
2020-06-26 19:57:06
阅读次数:
53
1、hive的企业级调优 1.1 Fetch抓取(鸡肋) Fetch抓取是指,==Hive中对某些情况的查询可以不必使用MapReduce计算== 例如:select * from employee; 在这种情况下,Hive可以简单地读取employee对应的存储目录下的文件,然后输出查询结果到控制 ...
分类:
其他好文 时间:
2020-06-26 18:44:35
阅读次数:
56
1. order by,sort by,distribute by,cluster by的区别? 2. 聚合函数是否可以写在order by后面,为什么? 需求催生技术进步 一、课前准备 二、课堂主题 三、课堂目标 1. 掌握hive表的数据压缩和文件存储格式 2. 掌握hive的JDBC代码操作 ...
分类:
其他好文 时间:
2020-06-26 18:42:15
阅读次数:
58
DDL数据定义 4.1 创建数据库 CREATE DATABASE [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=prop ...
分类:
其他好文 时间:
2020-06-26 16:46:06
阅读次数:
72
目录 Hive 简介 什么是Hive 为什么使用 Hive Hive 特点 Hive 和 RDBMS 的对比 Hive的架构 1、用户接口: shell/CLI, jdbc/odbc, webui Command Line Interface 2、跨语言服务 : thrift server 提供了一 ...
分类:
其他好文 时间:
2020-06-26 14:53:40
阅读次数:
70
一.集群规划 Name Master Slave1 Slave2 IP 192.168.2.98 192.168.2.99 192.168.2.100 Jdk版本 1.8.0.171 1.8.0.171 1.8.0.171 Hadoop版本 2.7.3 2.7.3 2.7.3 Hive版本 2.1. ...
分类:
其他好文 时间:
2020-06-26 12:36:13
阅读次数:
86
一.基本数据类型 HIVE MySQL JAVA 长度 例子 TINYINT TINYINT byte 1byte有符号整数 2 SMALINT SMALINT short 2byte有符号整数 20 INT INT int 4byte有符号整数 20 BIGINT BIGINT long 8byt ...
分类:
其他好文 时间:
2020-06-26 12:30:19
阅读次数:
48
DWD(Data Warehouse Detail):数据明细层,结构和粒度与原始表保持一致,对ODS层数据进行清洗(取出空值、脏数据、超过极限范围的数据)。 DWD层的数据来源于ODS原始数据层,在原始数据层的Hive表里,只有一个字段,存储了原始的一条条日志信息,下面以事件(如商品点击事件,展示 ...
分类:
其他好文 时间:
2020-06-26 01:33:52
阅读次数:
262
一、安装 一、课前准备 1. 安装好hadoop2.X版本的三节点集群,并配置好JAVA_HOME和HADOOP_HOME两个环境变量。 二、课堂主题 讲解hive1.2.2版本的三种常见安装部署模式 三、课堂目标 1. 熟练搭建内嵌式hive环境 2. 熟练搭建本地式hive环境 3. 熟练搭建远 ...
分类:
其他好文 时间:
2020-06-26 01:33:04
阅读次数:
115