背景介绍 使用SQL 引擎一词是有点随意的。例如Hive 不是一个引擎，它的框架使用MapReduce、TeZ 或者Spark 引擎去执行查询，而且它并不运行SQL，而是HiveQL，一种类似SQL 的语言，非常接近SQL。“SQL-in-Hadoop” 也不适用，虽然Hive 和Impala 主要 ...
分类：
数据库 时间：
2019-01-10 10:57:21
阅读次数：
251
一、数据类型 二、分隔符 Hive默认的分隔符。 三、文件存储格式 TEXTFILE ：即通常说的文本格式，默认长期，数据不做压缩，磁盘开销大、数据解析开销大。 SEQUENCEFILE ：Hadoop提供的一种二进制格式，使用方便、可分割、可压缩，并且按行进行切分 。RCFILE ：一种行列存储相 ...
分类：
其他好文 时间：
2018-09-06 18:16:54
阅读次数：
219
头号知识点： 按住Ctrl键查看源代码时，点击Attach Source，在弹出的选择框中External Location，选在Jar包中的带Source文件，切记！ Properties类： Properties 类表示了一个持久的属性集！Properties可保存在流中或从流中加载，属性列表中 ...
分类：
其他好文 时间：
2018-08-24 17:16:47
阅读次数：
213
hive文件存储格式包括以下几类： 1、TEXTFILE 2、SEQUENCEFILE 3、RCFILE 4、ORCFILE(0.11以后出现) 其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理； SEQUENCEFILE，RCFILE ...
分类：
其他好文 时间：
2018-07-18 14:13:14
阅读次数：
179
第二课：第4讲02_04_Linux文件管理命令详解1.cpcopycpSRCFILEDSETcpfile1f2f3一个文件到一个文件多个文件到一个目录-r递归复制文件夹及其下面文件-f强制-i询问-p:保持文件的modeowershiptiemstampe-a保留文件全部属性。archive归档管理文件，不改变任何属性，常用在备份。-l不保持链接-P-d链接保持mvmove剪切install（不
分类：
系统相关 时间：
2018-06-29 11:07:07
阅读次数：
178
上一篇文章聊了聊基于PAX的混合存储结构的RCFile，其实这里笔者还了解一些八卦，RCfile的主力团队都是来自中科院的童鞋在Facebook完成的，算是一个由华人主导的编码项目。但是RCfile仍然存在一些缺陷，后续被 HortonWorks 盯上之后上马了 ORCFile 格式，而老对头 Cl ...
分类：
其他好文 时间：
2018-05-25 13:44:26
阅读次数：
225
前段时间一直在忙碌写毕设与项目的事情，很久没有写一些学习心得与工作记录了，开了一个新的坑，希望能继续坚持写作与记录分布式存储相关的知识。为什么叫小视角呢？因为属于随想型的内容，可能一个由小的视角来审视海量数据的存储与计算技术，把知识点分为两到三章来梳理。 管中窥豹，可见一斑，希望能利用这个过程提高自 ...
分类：
其他好文 时间：
2018-05-04 19:33:01
阅读次数：
211
参考 https://www.cloudera.com/documentation/enterprise/5 5 x/topics/impala_datetime_functions.html hdfs文件操作 Impala和关系数据库 Impala | 关系型数据库 | Impala使用类似于Hi ...
分类：
其他好文 时间：
2018-04-14 00:40:13
阅读次数：
2791
一、数据类型 1、基本数据类型 Hive 支持关系型数据中大多数基本数据类型 和其他的SQL语言一样，这些都是保留字。需要注意的是所有的这些数据类型都是对Java中接口的实现，因此这些类型的具体行为细节和Java中对应的类型是完全一致的。例如，string类型实现的是Java中的String，flo ...
分类：
数据库 时间：
2018-04-07 18:51:36
阅读次数：
217
http://blog.csdn.net/zhaorongsheng/article/details/72903431 官网关于orcfile的介绍 背景 Hive的rcfile格式已经使用多年，但是，它会将所有的列都当做二进制来处理，没有与类型挂钩。因此，Hive0.11版本引入orcFile。O ...
分类：
其他好文 时间：
2018-03-15 19:15:16
阅读次数：
280
