import org.apache.spark.{SparkConf, SparkContext} import scala.util.parsing.json.JSON object JSONParse { def main(args: Array[String]): Unit = { val i ...
分类：
Web程序 时间：
2020-02-17 00:45:38
阅读次数：
120
（1）编写独立应用程序实现数据去重 package my.scala import org.apache.spark.{SparkConf, SparkContext} object case2 { def main(args: Array[String]): Unit = { val conf = ...
分类：
其他好文 时间：
2020-02-14 20:35:56
阅读次数：
246
spark graphx图操作 import org.apache.spark.graphx.{Edge, Graph, VertexId} import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContex ...
分类：
其他好文 时间：
2020-01-31 18:51:08
阅读次数：
65
package com.home.spark.ml import org.apache.spark.SparkConf import org.apache.spark.ml.feature.MaxAbsScaler import org.apache.spark.ml.linalg.Vectors ...
分类：
其他好文 时间：
2020-01-17 11:50:03
阅读次数：
223
任何Spark程序员都是从SparkContext开始的，SparkContext的初始化需要一个SparkConf对象，SparkConf对象中包含了Spark集群配置的各种参数。 SparkConf conf = new SparkConf().setMaster("local").setApp ...
分类：
其他好文 时间：
2020-01-08 22:34:05
阅读次数：
79
一.示例 1.统计PV和UV 1.1统计PV val conf = new SparkConf() conf.setMaster("local").setAppName("pvuv") val sc = new SparkContext(conf) val lineRDD = sc.textFile ...
分类：
其他好文 时间：
2019-12-30 14:16:01
阅读次数：
89
进阶算子： import org.apache.spark.rdd.RDD import org.apache.spark.{HashPartitioner, SparkConf, SparkContext} /** * 进阶算子 */ object FunctionDemo2 { def main ...
分类：
其他好文 时间：
2019-12-12 18:03:32
阅读次数：
79
import org.apache.spark.rdd.RDDimport org.apache.spark.{Partitioner, SparkConf, SparkContext} object Transformation { def main(args: Array[String]): U ...
分类：
其他好文 时间：
2019-12-10 22:41:03
阅读次数：
147
import org.apache.spark.{SparkConf, SparkContext} object wc2 { def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").s ...
分类：
其他好文 时间：
2019-12-03 15:30:38
阅读次数：
89
代码： import org.apache.log4j.{Level, Logger}import org.apache.spark.{SparkConf, SparkContext}object WorldCount { def main(args: Array[String]): Unit ={ ...
分类：
其他好文 时间：
2019-12-02 13:48:52
阅读次数：
85
