一。读写Parquet(DataFrame) Spark SQL可以支持Parquet、JSON、Hive等数据源，并且可以通过JDBC连接外部数据源。前面的介绍中，我们已经涉及到了JSON、文本格式的加载，这里不再赘述。这里介绍Parquet，下一节会介绍JDBC数据库连接。 Parquet是一种 ...
分类：
其他好文 时间：
2019-04-13 10:47:33
阅读次数：
461
处理parquet数据 RuntimeException: file:/Users/arthurlance/app/spark-2.2.0-bin-2.6.0-cdh5.7.0/examples/src/main/resources/people.json is not a Parquet file ...
分类：
其他好文 时间：
2019-03-30 18:50:04
阅读次数：
267
创建parquet table :create table mytable(a int,b int) STORED AS PARQUET;创建带压缩的parquet table:create table mytable(a int,b int) STORED AS PARQUET TBLPROPER ...
分类：
其他好文 时间：
2019-01-29 20:28:59
阅读次数：
501
kudu 1.7 官方：https://kudu.apache.org/ 一 简介 kudu有很多概念，有分布式文件系统（HDFS），有一致性算法（Zookeeper），有Table（Hive Table），有Tablet（Hive Table Partition），有列式存储（Parquet），有 ...
分类：
其他好文 时间：
2019-01-21 13:46:36
阅读次数：
110
Hive 的存储格式 | textfile | sequencefile | rcfile | orc | parquet | ...
分类：
其他好文 时间：
2019-01-12 17:48:12
阅读次数：
245
parquet列式文件实战 parquet code demo http://www.programcreek.com/java-api-examples/index.php?source_dir=hiped2-master/src/main/java/hip/ch3/parquet/Example ...
分类：
其他好文 时间：
2019-01-10 17:00:33
阅读次数：
120
1、sparksql的概述（1）sparksql的介绍： SparkSQL是Spark用来处理结构化数据（结构化数据可以来自外部结构化数据源也可以通过RDD获取）的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 外部的结构化数据源包括JSON、Parquet(默认)、RMDBS、Hive等。当前SparkSQL使
分类：
数据库 时间：
2019-01-05 13:37:33
阅读次数：
251
Hive支持的存储数据的格式主要有：TEXTFILE 、SEQUENCEFILE、ORC、PARQUET 一. 列式存储和行式存储 左边为逻辑表，右边第一个为行式存储，第二个为列式存储 1. 行式存储的特点 查询满足条件的一整行数据的时候，列存储则需要去每个聚集的字段找到对应的每个列的值，行存储只需 ...
分类：
其他好文 时间：
2018-12-23 23:59:36
阅读次数：
343
结果： 分析：Spark读取parquet数据默认为目录，因此可以只指定到你要读取的上级目录即可（本地除外），当保存为parquet时，会自动拆分，因此只能指定为上级目录。 ...
分类：
其他好文 时间：
2018-12-12 11:48:19
阅读次数：
386
