from pyspark import SparkContext from pyspark import SparkConf from pyspark.mllib.regression import LabeledPoint from pyspark.mllib.tree import Gradie ...
分类：
其他好文 时间：
2018-04-17 19:53:15
阅读次数：
265
SparkConf sparkConf = new SparkConf(); sparkConf .setAppName("Internal_Func") .setMaster("local"); JavaSparkContext javaSparkContext = new JavaSparkCo... ...
分类：
数据库 时间：
2018-04-08 21:20:29
阅读次数：
551
对付看把 到这里格式变化太大了，懒得调整了，这是大概spark1.5版本时候的一些参数默认值，现在2.x会有变化 这些皆可在 spark-default.conf配置，或者部分可在 sparkconf().set设置 应用程序属性 | | 属性名称 | 默认值 | 含义| | spark.app.n ...
分类：
其他好文 时间：
2018-03-08 12:11:50
阅读次数：
345
在Spark中，Dataframe简直可以称为内存中的文本文件。 就像在电脑上直接操作txt、 csv、 json文件一样简单。 val sparkConf = new SparkConf().setAppName("df2db").setMaster("local[1]") val sc = ne ...
分类：
数据库 时间：
2018-03-01 20:07:32
阅读次数：
945
package?mydemo
import?org.apache.spark.{SparkConf,?SparkContext}
object?MyWordCountDemo?{
??def?main(args:?Array[String]):?Unit?=?{
分类：
其他好文 时间：
2018-02-28 11:16:58
阅读次数：
115
我们在初始化SparkConf时，或者提交Spark任务时，都会有master参数需要设置，如下： conf = SparkConf().setAppName(appName).setMaster(master) sc = SparkContext(conf=conf) /bin/spark-sub ...
分类：
其他好文 时间：
2018-01-16 18:10:31
阅读次数：
113
kmeans Scala程序 import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.mllib.clustering.{KMeans, KMeansModel} import org.apache.spar ...
分类：
编程语言 时间：
2017-12-22 00:36:40
阅读次数：
231
Java程序 import java.util.Arrays; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSpar ...
分类：
编程语言 时间：
2017-12-22 00:30:57
阅读次数：
218
要点: 代码针对于 spark 1.6.1源码 1, TaskScheduler如何注册application, executor如何反注册 2, DAGScheduler 3, spark UI 一、SparkConf概述 SparkContext需要传入SparkConf来进行初始化，Spark ...
分类：
其他好文 时间：
2017-12-17 23:42:12
阅读次数：
172
package com.ghc.bigdata import org.apache.spark.{SparkConf,SparkContext} /** * Created by Yu Li on 12/6/2017. */ object SparkScalaApp { def main(args: ...
分类：
其他好文 时间：
2017-12-06 13:03:45
阅读次数：
157
