标签：能力 编写 pre shell python 实时 spark 操作 管道
一、与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势。
1、Spark为我们提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数据）的大数据处理。
2、Spark可以将Hadoop集群中的应用在内存中的运行速度提升100倍，甚至能够将应用在磁盘上的运行速度提升10倍。
3、Spark让开发者可以快速的用Java、Scala或Python编写程序。它本身自带了一个超过80个高阶操作符集合。而且还可以用它在shell中以交互式地查询数据。
4、除了Map和Reduce操作之外，它还支持SQL查询，流数据，机器学习和图表数据处理。开发者可以在一个数据管道用例中单独使用某一能力或者将这些能力结合在一起使用。
二、
标签：能力 编写 pre shell python 实时 spark 操作 管道
原文地址：http://www.cnblogs.com/lexiaofei/p/6727058.html
