自从建了Spark交流的QQ群之后，热情加入的同学不少，大家不仅对Spark很热衷对于Storm也是充满好奇。大家都提到一个问题就是有关storm内部实现机理的资料比较少,理解起来非常费劲。尽管自己也陆续对storm的源码走读发表了一些博文，当时写的时候比较匆忙，有时候衔接的不是太好，此番做了一些整...
分类：
其他好文 时间：
2014-05-30 07:25:09
阅读次数：
286
分布式数据集创建之textFile
文本文件的RDDs能够通过SparkContext的textFile方法创建，该方法接受文件的URI地址（或者机器上的文件本地路径，或者一个hdfs://,
sdn://,kfs://,其他URI).这里是一个调用样例：scala> val distFile...
分类：
其他好文 时间：
2014-05-29 18:58:27
阅读次数：
429
折腾了好几天，终于可以在CenOS下用eclipse写spark程序了当前环境是CentOS6.5,jdk7,scala2.10.4,spark0.9.1前期因为对linux不熟悉的原因花了不少时间查阅命令。折腾了不少时间，终于把jdk8，scala2.11.0环境变量配置好了。在此环境下可以正常编...
分类：
其他好文 时间：
2014-05-23 06:01:28
阅读次数：
312
本来源码编译没有什么可说的，对于java项目来说，只要会点maven或ant的简单命令，依葫芦画瓢，一下子就ok了。但到了Spark上面，事情似乎不这么简单，按照spark
officical document上的来做，总会出现这样或那样的编译错误，让人懊恼不已。
分类：
其他好文 时间：
2014-05-18 20:25:57
阅读次数：
391
Hadoop2中的Yarn是一个分布式计算资源的管理平台，由于其有极好的模型抽象，非常有可能成为分布式计算资源管理的事实标准。其主要职责将是分布式计算集群的管理，集群中计算资源的管理与分配。Yarn为应用程序开发提供了比较好的实现标准，Spark支持Yarn部署，本文将就Spark如何实现在Yarn...
分类：
其他好文 时间：
2014-05-16 04:20:26
阅读次数：
455
接触了Spark也快有半年了，版本从0.8.0到现在的1.0.0SNAPSHOT，从头到尾被spark这个优秀的框架深深吸引，也为scala的优雅所折服。4.19日“2014 中国Spark技术峰会”召开，可以看出随着Spark技术的完善，越来越多的企业已经开始使用或开始关注Spark的发展了。回顾学习过程，觉得很有必要整理一份学习路线，对所学的内容加以沉淀，同时也为同行作为参考。因为Spark1...
分类：
其他好文 时间：
2014-05-15 06:07:33
阅读次数：
357
本篇的配置环境是基于HDFS HA系列实验之二：HA+JournalNode+zookeeper 上进行的。1：原理图 A：实验环境之组成DNS：productserverHA1（nameservices为cluster1）：product201、product202HA2（nameservices为cluster2）：product211、product212DN：product203、p...
分类：
其他好文 时间：
2014-05-15 05:59:29
阅读次数：
323
Java领域的即时通信的解决方案可以考虑openfire+spark+smack。当然也有其他的选择。
Openfire是基于Jabber协议(XMPP)实现的即时通信服务器端版本，目前建议使用3.6.4版本，这个版本是当前最新的版本，而且网上可以找到下载的源代码。
即时通信客户端可使用spark2.5.8,这个版本是目前最新的release版本，经过测试发现上一版本在视频支持,msn网关支持...
分类：
编程语言 时间：
2014-05-13 15:55:13
阅读次数：
252
1、首先利用http://dongxicheng.org/framework-on-yarn/spark-eclipse-ide/搭建好的Eclipse(Scala)开发平台编写scala文件，内容如下：import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
object HdfsWordCount {...
分类：
其他好文 时间：
2014-05-13 05:35:12
阅读次数：
379
