Spark中的local模式的配置以及测试

标签：测试   1.5   oca   env   配置文件   hdf   开发   lin   模式   

一：介绍

1.Spark的模式

　　Local：本地运行模式，主要用于开发、测试
　　Standalone：使用Spark自带的资源管理框架运行Spark程序，30%左右
　　Yarn: 将spark应用程序运行在yarn上，绝大多数使用情况，60%左右
　　Mesos：

二：安装

1.解压

2.建立软连接

3.复制配置文件

4.修改env.sh文件

 三：运行测试

1.启动HDFS

2.准备测试路径

3.开始测试　　

　　./run-example SparkPi 10<----------------10代表迭代的次数

4.shell的测试

5.shell效果

Spark中的local模式的配置以及测试

标签：测试   1.5   oca   env   配置文件   hdf   开发   lin   模式   

原文地址：http://www.cnblogs.com/juncaoit/p/6368686.html