Apache Parquet是Hadoop生态圈中一种新型列式存储格式，它可以兼容Hadoop生态圈中大多数计算框架(Mapreduce、Spark等)，被多种查询引擎支持（Hive、Impala、Drill等），并且它是语言和平台无关的。Parquet最初是由Twitter和Cloudera合作开 ...
分类：
其他好文 时间：
2018-05-17 11:58:34
阅读次数：
192
本文由 网易云 发布。 Kudu是Cloudera开源的新型列式存储系统，是Apache Hadoop生态圈的新成员之一（incuba ng），专门为了对快速变化的数据进行快速的分析，填补了以往Hadoop存储层的空缺。本文主要对Kudu的动机、背景，以及架构进行简单介绍。 背景——功能上的空白 H ...
分类：
其他好文 时间：
2018-05-09 16:50:55
阅读次数：
166
本文由 网易云 发布。 这篇博文主要的内容不是分析说明kudu的性能指标情况，而是分析为什么kudu的scan性能会这么龊！当初对外宣传可是加了各种 逆天黑科技的呀：列独立存储、bloom filter、压缩、原地修改、b+tree、mvcc ... ... 这里先贴个kudu和parquet小部分 ...
分类：
其他好文 时间：
2018-04-23 13:51:26
阅读次数：
485
==>?什么是parquet????????Parquet?是列式存储的一种文件类型==>?官网描述：????????????Apache Parquet i
分类：
其他好文 时间：
2018-03-08 02:56:50
阅读次数：
5516
一.基本功能: </br></br> </br></br> </br></br> </br></br> </br></br></br> 二.扩展Parquet功能: </br></br> </br></br> </br></br> </br></br> 下载parquet的jar包在/usr/lib ...
分类：
其他好文 时间：
2018-03-04 18:11:41
阅读次数：
502
Parquet性能测试调优及其优化建议 一、我们为什么选择parquet 1、选择parquet的外部因素 （1） 我
分类：
其他好文 时间：
2018-02-17 22:06:04
阅读次数：
904
因为从事大数据方面的工作，经常在操作过程中数据存储占空间过大，读取速率过慢等问题，我开始对parquet格式存储进行了研究，下面是自己的一些见解（使用的表都是项目中的，大家理解为宽表即可）：一、SparkSql中两种格式存储的读写性能（以资源产品拓扑信息宽表为例）1、假设：由于对于parquet存储格式来说，针对列式的查询读取操作以及列式的计算性能更高于普通的存储格式，所以在读取相同的sql过程中
分类：
其他好文 时间：
2018-02-11 10:43:25
阅读次数：
169
深入分析Parquet列式存储格式 Parquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开发，2015年5月从Apache的孵化器里毕业成为Apache顶级项目，最新的版本是1.8.0。 列式存储 列式存储和行式存储相比有哪些优势呢？ 1.可以跳过不符合条件的数据，只 ...
分类：
其他好文 时间：
2018-02-03 20:50:06
阅读次数：
216
解决方法： 将driver_executor和executor_memory调大，调节原则：使用的资源有多大，就尽量去调节到最大的大小。 2、spark汇聚数据到hbase失败 解决办法： hive.Context.setConf("parquet.memory.min.chunk.size","1 ...
分类：
其他好文 时间：
2018-01-19 11:48:21
阅读次数：
1625
Apache Parquet是Hadoop生态圈中一种新型列式存储格式，它可以兼容Hadoop生态圈中大多数计算框架(Hadoop、Spark等)，被多种查询引擎支持（Hive、Impala、Drill等），并且它是语言和平台无关的。Parquet最初是由Twitter和Cloudera(由于Imp... ...
分类：
其他好文 时间：
2018-01-16 13:54:34
阅读次数：
241
