Spark : Spark入门

标签：查询   RoCE   hadoop   lib   使用   计算   硬盘   hoc   替代   

Spark拥有hadoop mapreduce所具有的优点，但输出结果可以保存在内存中，从而不需要读写hdfs

spark负责数据的计算，用来替代mapreduce编程模型，不能替代hdfs等存储系统

spark的特点：

• 运算速度快，内存中计算可达hadoop的100倍，硬盘中也能快10倍
• 易于使用，可以使用java，scala，python等进行编程
• 通用，SQL，streaming实时计算，MLib机器学习，graphX图计算
• 可以运行在各种平台上

BatchProcessing：批处理
Stream Processing：流式处理
Ad-hoc Queries：即席查询

快不仅是因为基于内存，还有DAG

• Lineage：血统
• 每个看做一个RDD，即RDD之间的依赖关系形成的链

Spark : Spark入门

标签：查询   RoCE   hadoop   lib   使用   计算   硬盘   hoc   替代   

原文地址：https://www.cnblogs.com/wbyixx/p/11111802.html