为什么要比较，起因是为了提高Hadoop集群的存储和计算效率，尤其是离线Hive作业的效率，为什么比较的是这三者，是因为三者是目前Hive离线作业中正在大规模使用或可能大规模使用的三种主流的相对成熟的...
分类：
其他好文 时间：
2016-12-22 23:07:10
阅读次数：
1959
背景 随着大数据时代的到来，越来越多的数据流向了Hadoop生态圈，同时对于能够快速的从TB甚至PB级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、Spark SQL、Impala、Presto等，同时也产 ...
分类：
其他好文 时间：
2016-12-21 20:30:38
阅读次数：
322
1.概述 在存储业务数据的时候，随着业务的增长，Hive 表存储在 HDFS 的上的数据会随时间的增加而增加，而以 Text 文本格式存储在 HDFS 上，所消耗的容量资源巨大。那么，我们需要有一种方式来减少容量的成本。而在 Hive 中，有一种 ORC 文件格式可以极大的减少存储的容量成本。今天， ...
分类：
其他好文 时间：
2016-12-07 14:09:35
阅读次数：
415
一、cstore_fdw的简介 https://github.com/citusdata/cstore_fdw，此外部表扩展是由citusdata公司开发，使用orc_file格式对数据进行列式存储。 优点1：因为有压缩，所以在disk上的存储大大减少，压缩比能达到2-4倍 优点2：数据内部分块存储 ...
分类：
其他好文 时间：
2016-12-05 11:42:10
阅读次数：
217
错误 : ORA-00959: tablespace 'PSAPTEMP' does not exist 解决办法: CREATE TEMPORARY TABLESPACE PSAPTEMP TEMPFILE 'E:/Oracle/ORC/sapdata3/temp_1/temp.data1' SI ...
分类：
其他好文 时间：
2016-12-01 03:13:09
阅读次数：
143
结合：存储+压缩（snappy） 1.orc orc tblproperties("orc.compress"="SNAPPY") 2.parquet hive shell中：set parquet.compression=SNAPPY 因为找不到。 ...
分类：
其他好文 时间：
2016-11-16 22:03:59
阅读次数：
236
1.存储格式 textfile rcfile orc parquet 2.存储方式 按行存储 -》textfile 按列存储 -》parquet 3.压缩比 4.存储textfile的原文件 并加载数据 5.大小 6.保存为tectfile，经过mapreduce 7.结果的大小 8.保存为orc格 ...
分类：
其他好文 时间：
2016-11-15 23:41:32
阅读次数：
253
一、原题ViewtheExhibitandexaminethestructureoftheCUSTOMERStable.YouwanttogenerateareportshowingthelastnamesandcreditlimitsofallcustomerswhoselastnamesstartwithA,B,orC,andcreditlimitisbelow10,000.Evaluatethefollowingtwoqueries:SQL>SELECTcust_last_name,cus..
分类：
其他好文 时间：
2016-10-22 21:31:25
阅读次数：
227
解析 orc 格式 为 json 格式： 把解析的 json 写入 到文件 ...
分类：
其他好文 时间：
2016-07-19 20:24:25
阅读次数：
227
背景随着大数据时代的到来，越来越多的数据流向了Hadoop生态圈，同时对于能够快速的从TB甚至PB级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、Spark SQL、Impala、Presto等，同时也产生了多个高性能的列式存储格式，例如RCFile、ORC、Parquet等，本文主要从实现的角度上对比分析...
分类：
其他好文 时间：
2016-07-10 18:54:37
阅读次数：
650
