第9节课笔记-彻底实战IntelliJ IDEA 下的Spark程序开发

标签：

彻底实战IntelliJ IDEA 下的Spark程序开发
下载IntelliJ IDEA
下载git
Spark源码下载:git clone git://github.com/apache/spark.git
导入maven 工程

IntelliJ IDEA 启动的向导中Sacal下载需要下载，这是IDEA下载的，和系统层的不一样
4.指定JDK1.8.x和Scala2.10.4
5.file ->Project Stucture 来设置工程lib 核心是添加Spark的jar
6.添加Spark jar 依赖，spark1.6.0-bin-hadop2.6.tgz 里 spark-assemblyu-1.6.0-hadoop2.6.0.jar

7.创建scala工程，选择scala方式

复制昨天eclipse上的代码执行，正常
 
广告点击排名
排名处理：wordCountOrdered=pairs.reduceByKey(_+_).map(pair=>(pair._2,pair._1)).sortByKey(false).map(pair=>(pair._1,pair._2))     
//reduceByKey相同的键合计，key和value互换后排序，接着又换回来。
50分钟

第9节课笔记-彻底实战IntelliJ IDEA 下的Spark程序开发

标签：

原文地址：http://www.cnblogs.com/jackie-fan/p/5143569.html