Parquet + Spark SQL

标签：提高   stream   使用   html   nbsp   bsp   文件   dev   article   

海量数据存储 推荐用 Parquet列式存储 替代 HDFS上的文件

下面两篇文章讲解 用Parquet列式存储来存储数据，主要是提高查询性能、和存储压缩

《Spark SQL下的Parquet使用最佳实践和代码实战》http://blog.csdn.net/sundujing/article/details/51438306
《操作技巧：将 Spark 中的文本转换为 Parquet 以提升性能》http://www.ibm.com/developerworks/cn/analytics/blog/ba-parquet-for-spark-sql/index.html

离线：Kafka -> HDFS -> Parquet -> Spark SQL
实时：Kafka -> Spark Streaming -> Parquet -> Spark SQL（ML、Graphx等）

Parquet + Spark SQL

标签：提高   stream   使用   html   nbsp   bsp   文件   dev   article   

原文地址：http://www.cnblogs.com/lsx1993/p/6098657.html