package com.yl.wordcountimport java.io.Fileimport org.apache.spark.{SparkConf, SparkContext}import scala.collection.Iteratorimport scala.io.Source/** ...
分类：
其他好文 时间：
2016-08-03 00:05:29
阅读次数：
1383
1、Driver：运行 Application 的 main() 函数并且创建 SparkContext。 2、Client：用户提交作业的客户端。 3、Worker：集群中任何可以运行 Application 代码的节点，运行一个或多个 Executor进程。 4、Executor ：运行在 Wo ...
分类：
Web程序 时间：
2016-07-29 16:33:53
阅读次数：
210
AttributeError: 'SparkConf' object has no attribute '_get_object_id' 初始化SparkContext时出现这种错误是因为把SparkConf对象放在了参数第一个的位置，由于pyspark命令行会默认创建一个SparkContext, ...
分类：
其他好文 时间：
2016-07-20 22:38:10
阅读次数：
355
sparkSQL 1、主要的数据结构 DataFreames 2、开始使用：SQLContext 创建步骤： Val sc:sparkContext Val sqlContext=new org.apache.spark.sql.SQLContext(sc) Import sqlContext.im ...
分类：
数据库 时间：
2016-07-09 23:45:18
阅读次数：
211
前言: Spark Application的运行架构由两部分组成:driver program(SparkContext)和executor。Spark Application一般都是在集群中运行，比如Spark Standalone,YARN,mesos,这些集群给spark Applicatio ...
分类：
其他好文 时间：
2016-05-26 10:09:06
阅读次数：
135
一、从csv文件创建DataFrame
本文将介绍如何从csv文件创建DataFrame。
如何做？
从csv文件创建DataFrame主要包括以下几步骤：
1、在build.sbt文件里面添加spark-csv支持库；
2、创建SparkConf对象，其中包括Spark运行所有的环境信息；
3、创建SparkContext对象，它是进入Spark的核心切入点，...
分类：
其他好文 时间：
2016-05-23 15:07:15
阅读次数：
250
0、Spark的wc.note
package RddApiimport org.apache.spark.{SparkConf, SparkContext}/** * hadoop * spark * tachyon * hadoop * hbase * spark *//** * Created by Administrator on 2016/4/2...
分类：
其他好文 时间：
2016-05-18 19:20:18
阅读次数：
259
/** * Created by wu-yj on 2016/5/6. */import java.sql.{Connection, DriverManager, PreparedStatement}import org.apache.spark.{SparkConf, SparkContext}i ...
分类：
其他好文 时间：
2016-05-17 17:23:28
阅读次数：
316
SparkContext创建：高层DAGScheduler, 底层TaskScheduler, SchedulerBackend
application=driver+executor
Spark的程序分成两个部分：driver和executor
driver驱动executor
Driver部分的源代码：SparkConf+SparkContext
executor具体执行...
分类：
其他好文 时间：
2016-05-12 12:43:38
阅读次数：
172
package RDD
import org.apache.spark.{SparkConf, SparkContext}
/**
* Created by legotime on 2016/5/5.
*/
object pairRDD {
def myfunc1(index: Int, iter: Iterator[(String)]) : Iterator[String] =...
分类：
其他好文 时间：
2016-05-07 11:30:22
阅读次数：
872
