Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01

标签：sparkconf   sparkcontext   map   filter   sortbykey   

创建一个Scala IDEA工程：

点击“Next”：

点击“Finish”完成工程的创建：

修改项目的属性：

首先修改Modules选项：

在src下创建两个文件夹，并把其属性改为source：

再修改Libraries：

因为要开发Spark程序，所以需要把Spark的开发需要的jar包导进来：

导入包完成后，在工程的scala下面创建一个package：

创建一个Object对象：

完成初始类的创建：

首先构建Spark Driver的模板代码：

该程序是对前面的搜狗日志的处理代码，只不过这个时候在IDEA中编写而已。

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01

标签：sparkconf   sparkcontext   map   filter   sortbykey   

原文地址：http://blog.csdn.net/stark_summer/article/details/43058291