码迷,mamicode.com
首页 >  
搜索关键字:spark技术    ( 104个结果
Spark技术内幕: Task向Executor提交的源码解析
从org.apache.spark.scheduler.DAGScheduler#submitMissingTasks开始,分析Stage是如何生成TaskSet的。如果一个Stage的所有的parent stage都已经计算完成或者存在于cache中,那么他会调用submitMissingTask...
分类:其他好文   时间:2014-10-27 06:56:06    阅读次数:249
Apache Spark技术实战之6 -- spark-submit常见问题及其解决
编写了独立运行的Spark Application之后,需要将其提交到Spark Cluster中运行,一般会采用spark-submit来进行应用的提交,在使用spark-submit的过程中,有哪些事情需要注意的呢? 本文试就此做一个小小的总结。
分类:Web程序   时间:2014-10-26 21:11:13    阅读次数:275
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(5)
从控制台我们可以看见有两个DataNode,此时我们点击“LiveNodes”查看一下其信息:从控制台中看到了我们的两个Datanode节点SparkWorker1和SparkWorker2,这正是我们预期中的!第三步:启动yarn集群使用jps命令可以发现SparkMaster机器上启动了ResourceManager进程:而在SparkWo..
分类:其他好文   时间:2014-10-21 10:27:47    阅读次数:163
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(5)
从控制台我们可以看见有两个DataNode,此时我们点击“Live Nodes”查看一下其信息: 从控制台中看到了我们的两个Datanode节点SparkWorker1和SparkWorker2,这正是我们预期中的! 第三步:启动yarn集群 使用jps命令可以发现SparkMaster机器上启动了ResourceManager进程: 而在Spa...
分类:其他好文   时间:2014-10-21 10:24:25    阅读次数:230
Spark技术内幕: Task向Executor提交的源码解析
在上文《Spark技术内幕:Stage划分及提交源码分析》中,我们分析了Stage的生成和提交。但是Stage的提交,只是DAGScheduler完成了对DAG的划分,生成了一个计算拓扑,即需要按照顺序计算的Stage,Stage中包含了可以以partition为单位并行计算的Task。我们并没有分析Stage中得Task是如何生成并且最终提交到Executor中去的。 这就是本文的主题。...
分类:其他好文   时间:2014-10-19 18:38:46    阅读次数:299
Spark技术内幕:Stage划分及提交源码分析
在一个RDD触发了一个action(比如count,collect)时,任务是如何被提交到?什么是Stage?DAGScheduler的作用是什么?它是如何划分Stage的?本文将基于源码,进行深入分析。...
分类:其他好文   时间:2014-10-19 00:08:01    阅读次数:308
【互动问答分享】第17期决胜云计算大数据时代Spark亚太研究院公益大讲堂
“决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂 【第17期互动问答分享】Q1:为了加快sparkshuffle的执行速度是否可以把spark_local_dirs指向一块固态硬盘上面,这样做是否有效果。可以把spark_local_dirs指向一块固态硬盘上面,这样会非常有效的提升Spark执行速度;同..
分类:其他好文   时间:2014-10-17 19:00:33    阅读次数:178
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(4)
7,在SparkWorker1和SparkWorker2上完成和SparkMaster同样的Hadoop 2.2.0操作,建议使用SCP命令把SparkMaster上安装和配置的Hadoop的各项内容拷贝到SparkWorker1和SparkWorker2上; 8,启动并验证Hadoop分布式集群 第一步:格式化hdfs文件系统: 第二步:进入...
分类:其他好文   时间:2014-10-16 16:28:02    阅读次数:269
2014年spark开发者大赛火热进行中!
2014年最热门的IT技术大赛,由Spark亚太研究院联合国内领先的IT技术创新。面向云计算大数据从业者、Spark技术爱好者及数百所高校在读学生。无论是对Spark有浓厚兴趣的初学者、或者Spark应用高手,还是Spark源码级别大牛,都可以借助本次大赛,一展才华,就Spark技术与应用实践展开交流及切磋。...
分类:其他好文   时间:2014-10-14 19:40:09    阅读次数:221
发现最有正能量的网络达人”,Spark开发者大赛火热进行!
2014-10-13Spark亚太研究院2014年9月30日,2014 Spark开发者大赛在北京正式启动。本次大赛由Spark亚太研究院联合国内领先的IT技术创新与发展的互联网媒体平台51CTO传媒及国内最大的IT在线教育平台51CTO学院在亚太范围内发起。面向云计算大数据从业者、Spark技术爱...
分类:其他好文   时间:2014-10-14 00:26:37    阅读次数:215
104条   上一页 1 ... 5 6 7 8 9 ... 11 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!