1.应用层建内部表，数仓表用外部表 2.存储格式一般选orcfile，除非需要直接load数据的表则选textfile 3.建表时要指定库名 hive的建表样例 create table if not exists 表名( 字段名 字段类型 comment'字段描述' 。。。。。。。。。。。。。。。 ...
分类：
其他好文 时间：
2019-12-13 18:01:38
阅读次数：
88
1．用户接口：Client CLI（hive shell）、JDBC/ODBC(java访问hive)、WEBUI（浏览器访问hive） 2．元数据：Metastore 元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等； ...
分类：
其他好文 时间：
2019-11-20 21:53:13
阅读次数：
78
Hive数据倾斜 key分布不均匀 业务数据本身的特性 SQL语句造成数据倾斜 解决方法 hive设置hive.map.aggr=true和hive.groupby.skewindata=true 还有其他解决方案 Hive内部表和外部表的区别 Hive 创建内部表时，会将数据移动到数据仓库指向的路 ...
分类：
其他好文 时间：
2019-11-17 10:23:34
阅读次数：
94
如下图所示，从逻辑上来看，Hive包含了3大部分。HiveClientsHiveServicesHiveStorageandComputing用户操作Hive的接口主要有三个：CLI，Client和WUI。其中最常用的是CLI，Cli启动的时候，会同时启动一个Hive副本。Client是Hive的客户端，用户连接至HiveServer。在启动Client模式的时候，需要指出HiveServer所在
分类：
其他好文 时间：
2019-10-18 15:30:57
阅读次数：
91
ORACLE表、索引和分区 一、数据库表 每种类型的表都有不同的特性，分别应用与不同的领域 ? 堆组织表 ? 聚簇表(共三种) ? 索引组织表 ? 嵌套表 ? 临时表 ? 外部表和对象表 1.行迁移 ? 建表过程中可以指定以下两个参数： ? PCTFREE：自由空间，默认值10 ? PCTUSED（ ...
分类：
数据库 时间：
2019-09-27 01:37:27
阅读次数：
108
最近买了一本hive看，发现书中有一个错误： 我的验证如下： 1.外部表数据存在自己表所属的目录下 2.还发现了 CTAS 操作不能 建立外部表 ...
分类：
其他好文 时间：
2019-09-08 09:18:19
阅读次数：
85
Hive四大表类型内部表、外部表、分区表和桶表 Hive四大表类型内部表、外部表、分区表和桶表 Hive四大表类型内部表、外部表、分区表和桶表 Hive四大表类型内部表、外部表、分区表和桶表 一、概述 总体上Hive有四种表：外部表，内部表（管理表），分区表，桶表。分别对应不同的需求。下面主要讲解各 ...
分类：
其他好文 时间：
2019-09-03 18:10:55
阅读次数：
81
Youwanttoaccessemployeedetailscontainedinflatfilescreatedbyanapplication.Whichtwomethodswillachievethis?A)UseaBFILEcolumninatabletoaccesstheflatfile.B)UseanOracleLoadertypeExternaltable.C)UseanOracleD
分类：
其他好文 时间：
2019-08-28 14:33:36
阅读次数：
112
问题： 将MongoDB数据导入Hive，按照https://blog.csdn.net/thriving_fcl/article/details/51471248文章，在hive建外部表与mongodb做映射后，执行后出现 FAILED: Execution Error, return code ...
分类：
数据库 时间：
2019-07-22 13:39:09
阅读次数：
600
Greenplum的gpload工具使用可读外部表和Greenplum并行文件服务器（gpfdist或者gpfdists）来装载数据。它处理并行的基于文件的外部表设置并且允许用户在一个单一配置文件中配置他们的数据格式、外部表定义以及gpfdist或者gpfdists设置。使用gpload工具，需要编写gpload的控制文件，这个控制文件是一个yaml格式文件，如下图所示：然后执行gpload进行装
分类：
其他好文 时间：
2019-06-19 18:35:04
阅读次数：
209
