码迷,mamicode.com
首页 >  
搜索关键字:sparkcontext    ( 295个结果
【互动问答分享】第15期决胜云计算大数据时代Spark亚太研究院公益大讲堂
“决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂【第15期互动问答分享】Q1:AppClient和worker、master之间的关系是什么?:AppClient是在StandAlone模式下SparkContext.runJob的时候在Client机器上应用程序的代表,要完成程序的registerApplication等功能;当程序完成..
分类:其他好文   时间:2014-10-08 17:59:06    阅读次数:166
【互动问答分享】第15期决胜云计算大数据时代Spark亚太研究院公益大讲堂
“决胜云计算大数据时代”                                                           Spark亚太研究院100期公益大讲堂 【第15期互动问答分享】   Q1:AppClient和worker、master之间的关系是什么?         AppClient是在StandAlone模式下SparkContext.runJob的时候...
分类:其他好文   时间:2014-10-08 16:47:15    阅读次数:212
Spark技术内幕:Executor分配详解
当用户应用new SparkContext后,集群就会为在Worker上分配executor,那么这个过程是什么呢?本文以Standalone的Cluster为例,详细的阐述这个过程。...
分类:其他好文   时间:2014-10-05 03:14:47    阅读次数:258
Spark技术内幕之任务调度:从SparkContext开始
SparkContext是开发Spark应用的入口,它负责和整个集群的交互,包括创建RDD,accumulators and broadcast variables。理解Spark的架构,需要从这个入口开始。...
分类:其他好文   时间:2014-10-01 22:56:01    阅读次数:276
Spark分析之Job Scheduling Process
经过前面文章的SparkContext、DAGScheduler、TaskScheduler分析,再从总体上了解Spark Job的调度流程1、SparkContext将job的RDD DAG图提交给DAGScheduler;2、DAGScheduler将job分解成Stage DAG,将每个Sta...
分类:其他好文   时间:2014-08-02 04:07:42    阅读次数:1266
Spark运行架构
1、构建Spark Application运行环境;在Driver Program中新建SparkContext(包含sparkcontext的程序称为Driver Program);Spark Application运行的表现方式为:在集群上运行着一组独立的executor进程,这些进程由spar...
分类:其他好文   时间:2014-08-02 01:34:22    阅读次数:292
Spark Web界面
1.7 Spark Web 界面 每一个SparkContext发布一个web界面,默认端口是4040,它显示了应用程序的有用信息。这包括: Ø  一系列的调度阶段和任务 Ø  对于RDD大小和内存使用的总结 Ø  环境信息 Ø  运行的执行器(executor)的信息 你可以通过浏览器访问http://:4040,当然,你必去先启动SparkContext。比如命令:./bin/sp...
分类:Web程序   时间:2014-07-28 16:35:43    阅读次数:1584
第一个GraphX程序
程序功能:收集顶点指向的邻居中所在地 /* * 找出每个顶点所指向的邻居中所在的地区 */ import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf import scala.collection.mutable.Map impor...
分类:其他好文   时间:2014-07-16 16:34:28    阅读次数:299
Spark源码系列(四)图解作业生命周期
这一章我们探索了Spark作业的运行过程,但是没把整个过程描绘出来,好,跟着我走吧,let you know!我们先回顾一下这个图,Driver Program是我们写的那个程序,它的核心是SparkContext,回想一下,从api的使用角度,RDD都必须通过它来获得。下面讲一讲它所不为认知的一面...
分类:其他好文   时间:2014-06-25 11:13:39    阅读次数:288
Spark1.0.0 编程模型
Spark Application可以在集群中并行运行,其关键是抽象出RDD的概念(详见RDD 细解),也使得Spark Application的开发变得简单明了。下图浓缩了Spark的编程模型。       1:Spark应用程序的结构       Spark应用程序可分两部分:driver部分和executor部分初始化SparkContext和主体程序 ...
分类:其他好文   时间:2014-06-22 21:48:06    阅读次数:311
295条   上一页 1 ... 27 28 29 30 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!