折腾了好几天，终于可以在CenOS下用eclipse写spark程序了当前环境是CentOS6.5,jdk7,scala2.10.4,spark0.9.1前期因为对linux不熟悉的原因花了不少时间查阅命令。折腾了不少时间，终于把jdk8，scala2.11.0环境变量配置好了。在此环境下可以正常编...
分类：
其他好文 时间：
2014-05-23 06:01:28
阅读次数：
312
本来源码编译没有什么可说的，对于java项目来说，只要会点maven或ant的简单命令，依葫芦画瓢，一下子就ok了。但到了Spark上面，事情似乎不这么简单，按照spark
officical document上的来做，总会出现这样或那样的编译错误，让人懊恼不已。
分类：
其他好文 时间：
2014-05-18 20:25:57
阅读次数：
391
hadoop streaming允许我们使用任何可执行脚本来处理按行组织的数据流，数据取自UNIX的标准输入STDIN,并输出到STDOUT
通过设定mapper为‘RandomSample.py 10’,我们按十分之一的采样率，没有设定特殊的reducer，一般默认使用IdentityReducer（把输入直接转向输出）
通过HDFS的命令getMerge（输出合并）或其他文件操作，可以获得...
分类：
其他好文 时间：
2014-05-18 15:12:21
阅读次数：
380
Hadoop2中的Yarn是一个分布式计算资源的管理平台，由于其有极好的模型抽象，非常有可能成为分布式计算资源管理的事实标准。其主要职责将是分布式计算集群的管理，集群中计算资源的管理与分配。Yarn为应用程序开发提供了比较好的实现标准，Spark支持Yarn部署，本文将就Spark如何实现在Yarn...
分类：
其他好文 时间：
2014-05-16 04:20:26
阅读次数：
455
Ubuntu 10.04下架设流媒体服务器目前主流的流媒体服务器有微软的windows media
server、RealNetworks的Helix server和苹果公司的Darwin Streaming Server. 微软的windows media
server只能在windows 200...
分类：
其他好文 时间：
2014-05-16 00:08:39
阅读次数：
545
1：下载darwin源代码DarwinStreamingSrvr6.0.3-Source.tar,补丁patch
dss-6.0.3.patch$wgethttp://dss.macosforge.org/downloads/DarwinStreamingSrvr6.0.3-Source.tar$w...
send($data)`. The sent data will then* be the
result of the `yield` expression. Thus it can be received using a code like*
`$data = yield;`.*/ /* What...
分类：
其他好文 时间：
2014-05-15 17:46:37
阅读次数：
311
接触了Spark也快有半年了，版本从0.8.0到现在的1.0.0SNAPSHOT，从头到尾被spark这个优秀的框架深深吸引，也为scala的优雅所折服。4.19日“2014 中国Spark技术峰会”召开，可以看出随着Spark技术的完善，越来越多的企业已经开始使用或开始关注Spark的发展了。回顾学习过程，觉得很有必要整理一份学习路线，对所学的内容加以沉淀，同时也为同行作为参考。因为Spark1...
分类：
其他好文 时间：
2014-05-15 06:07:33
阅读次数：
357
本篇的配置环境是基于HDFS HA系列实验之二：HA+JournalNode+zookeeper 上进行的。1：原理图 A：实验环境之组成DNS：productserverHA1（nameservices为cluster1）：product201、product202HA2（nameservices为cluster2）：product211、product212DN：product203、p...
分类：
其他好文 时间：
2014-05-15 05:59:29
阅读次数：
323
Java领域的即时通信的解决方案可以考虑openfire+spark+smack。当然也有其他的选择。
Openfire是基于Jabber协议(XMPP)实现的即时通信服务器端版本，目前建议使用3.6.4版本，这个版本是当前最新的版本，而且网上可以找到下载的源代码。
即时通信客户端可使用spark2.5.8,这个版本是目前最新的release版本，经过测试发现上一版本在视频支持,msn网关支持...
分类：
编程语言 时间：
2014-05-13 15:55:13
阅读次数：
252
