Hadoop2中的Yarn是一个分布式计算资源的管理平台,由于其有极好的模型抽象,非常有可能成为分布式计算资源管理的事实标准。其主要职责将是分布式计算集群的管理,集群中计算资源的管理与分配。Yarn为应用程序开发提供了比较好的实现标准,Spark支持Yarn部署,本文将就Spark如何实现在Yarn...
分类:
其他好文 时间:
2014-05-16 04:20:26
阅读次数:
455
Ubuntu 10.04下架设流媒体服务器目前主流的流媒体服务器有微软的windows media
server、RealNetworks的Helix server和苹果公司的Darwin Streaming Server. 微软的windows media
server只能在windows 200...
分类:
其他好文 时间:
2014-05-16 00:08:39
阅读次数:
545
send($data)`. The sent data will then* be the
result of the `yield` expression. Thus it can be received using a code like*
`$data = yield;`.*/ /* What...
分类:
其他好文 时间:
2014-05-15 17:46:37
阅读次数:
311
接触了Spark也快有半年了,版本从0.8.0到现在的1.0.0SNAPSHOT,从头到尾被spark这个优秀的框架深深吸引,也为scala的优雅所折服。4.19日“2014 中国Spark技术峰会”召开,可以看出随着Spark技术的完善,越来越多的企业已经开始使用或开始关注Spark的发展了。回顾学习过程,觉得很有必要整理一份学习路线,对所学的内容加以沉淀,同时也为同行作为参考。因为Spark1...
分类:
其他好文 时间:
2014-05-15 06:07:33
阅读次数:
357
本篇的配置环境是基于HDFS HA系列实验之二:HA+JournalNode+zookeeper 上进行的。1:原理图 A:实验环境之组成DNS:productserverHA1(nameservices为cluster1):product201、product202HA2(nameservices为cluster2):product211、product212DN:product203、p...
分类:
其他好文 时间:
2014-05-15 05:59:29
阅读次数:
323
Java领域的即时通信的解决方案可以考虑openfire+spark+smack。当然也有其他的选择。
Openfire是基于Jabber协议(XMPP)实现的即时通信服务器端版本,目前建议使用3.6.4版本,这个版本是当前最新的版本,而且网上可以找到下载的源代码。
即时通信客户端可使用spark2.5.8,这个版本是目前最新的release版本,经过测试发现上一版本在视频支持,msn网关支持...
分类:
编程语言 时间:
2014-05-13 15:55:13
阅读次数:
252
1、首先利用http://dongxicheng.org/framework-on-yarn/spark-eclipse-ide/搭建好的Eclipse(Scala)开发平台编写scala文件,内容如下:import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
object HdfsWordCount {...
分类:
其他好文 时间:
2014-05-13 05:35:12
阅读次数:
379
/* Endian swapping module.Simple example with
Avalon streaming interfaces and a CSR busAvalon-ST has readyLatency of
0Avalon-MM has fixed readLatency ...
分类:
其他好文 时间:
2014-05-11 23:21:17
阅读次数:
423
Hadoop Streaming 是一个工具, 代替编写Java的实现类,而利用可执行程序来完成map-reduce过程
工作流程 :
InputFile --> mappers --> [Partitioner] --> reducers -->
outputFiles
理解 :
1 输入文件,可以是指定远程文件系统内的文件夹下的 *
2 通过集群自己分解到各个PC...
分类:
编程语言 时间:
2014-05-11 14:46:35
阅读次数:
519
1、下载Scala
wget http://www.scala-lang.org/files/archive/scala-2.10.3.tgz
tar xvzf scala-2.10.3.tgz -C /usr/local
2、下载Spark
wget http://www.apache.org/dist/incubator/spark/spark-0.9.0-inc...
分类:
其他好文 时间:
2014-05-11 02:06:21
阅读次数:
368