码迷,mamicode.com
首页 >  
搜索关键字:spark rdd    ( 7287个结果
Apache Spark源码走读之9 -- Spark源码编译
本来源码编译没有什么可说的,对于java项目来说,只要会点maven或ant的简单命令,依葫芦画瓢,一下子就ok了。但到了Spark上面,事情似乎不这么简单,按照spark officical document上的来做,总会出现这样或那样的编译错误,让人懊恼不已。
分类:其他好文   时间:2014-05-18 20:25:57    阅读次数:391
Apache Spark源码走读之8 -- Spark on Yarn
Hadoop2中的Yarn是一个分布式计算资源的管理平台,由于其有极好的模型抽象,非常有可能成为分布式计算资源管理的事实标准。其主要职责将是分布式计算集群的管理,集群中计算资源的管理与分配。Yarn为应用程序开发提供了比较好的实现标准,Spark支持Yarn部署,本文将就Spark如何实现在Yarn...
分类:其他好文   时间:2014-05-16 04:20:26    阅读次数:455
Spark1.0.0 学习路线
接触了Spark也快有半年了,版本从0.8.0到现在的1.0.0SNAPSHOT,从头到尾被spark这个优秀的框架深深吸引,也为scala的优雅所折服。4.19日“2014 中国Spark技术峰会”召开,可以看出随着Spark技术的完善,越来越多的企业已经开始使用或开始关注Spark的发展了。回顾学习过程,觉得很有必要整理一份学习路线,对所学的内容加以沉淀,同时也为同行作为参考。因为Spark1...
分类:其他好文   时间:2014-05-15 06:07:33    阅读次数:357
HDFS HA系列实验之四:HA+Federation
本篇的配置环境是基于HDFS HA系列实验之二:HA+JournalNode+zookeeper  上进行的。1:原理图   A:实验环境之组成DNS:productserverHA1(nameservices为cluster1):product201、product202HA2(nameservices为cluster2):product211、product212DN:product203、p...
分类:其他好文   时间:2014-05-15 05:59:29    阅读次数:323
Java领域的IM解决方案
Java领域的即时通信的解决方案可以考虑openfire+spark+smack。当然也有其他的选择。 Openfire是基于Jabber协议(XMPP)实现的即时通信服务器端版本,目前建议使用3.6.4版本,这个版本是当前最新的版本,而且网上可以找到下载的源代码。 即时通信客户端可使用spark2.5.8,这个版本是目前最新的release版本,经过测试发现上一版本在视频支持,msn网关支持...
分类:编程语言   时间:2014-05-13 15:55:13    阅读次数:252
Spark on YARN--WordCount、TopK
1、首先利用http://dongxicheng.org/framework-on-yarn/spark-eclipse-ide/搭建好的Eclipse(Scala)开发平台编写scala文件,内容如下:import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ object HdfsWordCount {...
分类:其他好文   时间:2014-05-13 05:35:12    阅读次数:379
Spark0.9 安装
1、下载Scala     wget  http://www.scala-lang.org/files/archive/scala-2.10.3.tgz    tar xvzf scala-2.10.3.tgz -C /usr/local 2、下载Spark    wget http://www.apache.org/dist/incubator/spark/spark-0.9.0-inc...
分类:其他好文   时间:2014-05-11 02:06:21    阅读次数:368
spark shuffle过程分析
spark shuffle流程分析 回到ShuffleMapTask.runTask函数 现在回到ShuffleMapTask.runTask函数中: overridedef runTask(context:TaskContext): MapStatus = { 首先得到要reduce的task的个数。 valnumOutputSplits= dep.partitioner.num...
分类:其他好文   时间:2014-05-09 22:58:33    阅读次数:574
Flex4 Halo组件 List 和 DataGrid
Flex1 到 Flex3 使用的都是 Halo组件,这里将介绍Halo 组件中的List 和 DataGrid 。其中 DataGrid 是显示多列数据中最常用的方式。但是在Spark中还有没对应DataGrid的组件。 先写个“食物”的模型 Dinner.as 。 package model { [Bindable] public class Dinner { public...
分类:其他好文   时间:2014-05-09 02:34:26    阅读次数:306
Spork: Pig on Spark实现分析
介绍 Spork是Pig on Spark的highly experimental版本,依赖的版本也比较久,如之前文章里所说,目前我把Spork维护在自己的github上:flare-spork。 本文分析的是Spork的实现方式和具体内容。 Spark Launcher 在hadoop executionengine包路径下,写了一个Spark启动器,同MapReduceLauncher类似,会在launchPig的时候,把传入的物理执行计划进行翻译。 MR启动器翻译的是MR的操作,以及进一步的MR...
分类:其他好文   时间:2014-05-09 02:08:17    阅读次数:358
7287条   上一页 1 ... 725 726 727 728 729 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!