转自：http://www.cnblogs.com/hseagle/p/3673132.html概要本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的，另外试图讲清楚运行着的task其输入的数据从哪获取，处理的结果返回到哪里，如何返回。准备spark已经安装完毕spark运...
分类：
Web程序 时间：
2014-12-18 14:52:05
阅读次数：
267
转自http://www.cnblogs.com/hseagle/p/3673123.html概要本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。实验环境搭建在进行后续操作前，确保下列条件已满足。下载spark binary 0.9.1安装scala...
分类：
Web程序 时间：
2014-12-18 14:49:26
阅读次数：
187
转自http://www.cnblogs.com/hseagle/p/3664933.html版本：未知楔子源码阅读是一件非常容易的事，也是一件非常难的事。容易的是代码就在那里，一打开就可以看到。难的是要通过代码明白作者当初为什么要这样设计，设计之初要解决的主要问题是什么。在对Spark的源码进行具...
分类：
Web程序 时间：
2014-12-18 13:17:29
阅读次数：
285
转自:http://www.cnblogs.com/Scott007/p/3889959.html, 博客时间2014-08-05版本：未知1 概述 Spark的on Yarn模式，其资源分配是交给Yarn的ResourceManager来进行管理的，但是目前的Spark版本，Applicatio....
分类：
其他好文 时间：
2014-12-18 11:52:11
阅读次数：
559
Running Spark on YARNSupport for running onYARN (Hadoop NextGen)was added to Spark in version 0.6.0, and improved in subsequent releases.PreparationsR...
分类：
其他好文 时间：
2014-12-18 10:23:30
阅读次数：
506
Submitting ApplicationsThespark-submitscript in Spark’sbindirectory is used to launch applications on a cluster. It can use all of Spark’s supportedcl...
分类：
移动开发 时间：
2014-12-18 10:22:51
阅读次数：
430
如何做集成，其实特别简单，网上其实就是教程。http://blog.csdn.net/fighting_one_piece/article/details/40667035 看这里就成。 我用的是第一种集成。。做的时候，出现了各种问题。 大概从从2014.12.17 早晨5点搞到2014.12.1....
分类：
Web程序 时间：
2014-12-17 20:39:08
阅读次数：
241
两者都兼具强大和优雅。两者的编程体验都是非常棒的。对于常规编程任务，两者之个方面的表现都差不多。scala是从学术界走来的，python是从工业界走来的。Scala比python更强调函数式编程和函数式的思维方式。如果要开发大型的应用，scala会比python可靠些，因为scala将更多的约..
分类：
编程语言 时间：
2014-12-17 18:54:36
阅读次数：
250
转自: http://scala-ide.org/docs/current-user-doc/faq/index.htmlGeneralWhat Eclipse Platforms are supported?The Scala IDE 3.0 officially supports bothEcl...
分类：
其他好文 时间：
2014-12-17 18:21:08
阅读次数：
224
Spark Programming GuideOverviewLinking with SparkInitializing SparkUsing the ShellResilient Distributed Datasets (RDDs)Parallelized CollectionsExterna...
分类：
其他好文 时间：
2014-12-17 18:13:49
阅读次数：
310
