接触了Spark也快有半年了，版本从0.8.0到现在的1.0.0SNAPSHOT，从头到尾被spark这个优秀的框架深深吸引，也为scala的优雅所折服。4.19日“2014 中国Spark技术峰会”召开，可以看出随着Spark技术的完善，越来越多的企业已经开始使用或开始关注Spark的发展了。回顾学习过程，觉得很有必要整理一份学习路线，对所学的内容加以沉淀，同时也为同行作为参考。因为Spark1...
分类：
其他好文 时间：
2014-05-15 06:07:33
阅读次数：
357
前言
不管这篇写到哪里，就以这篇作为结尾，结束这个流水回顾系列文了。
Computer History Museum
计算机历史博物馆（网站）是在Google旁边，参观Google之前的行程。
记得那是一个阳光明媚的日子，在前往硅谷朝圣的路上，内心还是有点小激动的。
临走前我买了顶帽子作纪念，也刚好用来抵御湾区的大太阳。
Google
大家在计算机历史博物馆外...
分类：
其他好文 时间：
2014-05-13 16:00:22
阅读次数：
230
Java领域的即时通信的解决方案可以考虑openfire+spark+smack。当然也有其他的选择。
Openfire是基于Jabber协议(XMPP)实现的即时通信服务器端版本，目前建议使用3.6.4版本，这个版本是当前最新的版本，而且网上可以找到下载的源代码。
即时通信客户端可使用spark2.5.8,这个版本是目前最新的release版本，经过测试发现上一版本在视频支持,msn网关支持...
分类：
编程语言 时间：
2014-05-13 15:55:13
阅读次数：
252
在linux下使用shell时，我们常遇到这样的情况，即：前面所输入的所有命令需要重新做一遍，这时候在一条一条输就会觉得很麻烦，而且以后很可能这些命令还得重新执行一遍。这时，如果把shell下的history中的命令提取出来就好了，放到一个shell脚本中，就可以方便我们以后使用了。..
分类：
系统相关 时间：
2014-05-13 13:05:02
阅读次数：
328
1、首先利用http://dongxicheng.org/framework-on-yarn/spark-eclipse-ide/搭建好的Eclipse(Scala)开发平台编写scala文件，内容如下：import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
object HdfsWordCount {...
分类：
其他好文 时间：
2014-05-13 05:35:12
阅读次数：
379
1、下载Scala
wget http://www.scala-lang.org/files/archive/scala-2.10.3.tgz
tar xvzf scala-2.10.3.tgz -C /usr/local
2、下载Spark
wget http://www.apache.org/dist/incubator/spark/spark-0.9.0-inc...
分类：
其他好文 时间：
2014-05-11 02:06:21
阅读次数：
368
spark shuffle流程分析
回到ShuffleMapTask.runTask函数
现在回到ShuffleMapTask.runTask函数中：
overridedef runTask(context:TaskContext):
MapStatus = {
首先得到要reduce的task的个数。
valnumOutputSplits=
dep.partitioner.num...
分类：
其他好文 时间：
2014-05-09 22:58:33
阅读次数：
574
1.document.write(""); 输出语句 2.JS中的注释为//
3.传统的HTML文档顺序是:document->html->(head,body)
4.一个浏览器窗口中的DOM顺序是:window->(navigator,screen,history,location,documen...
分类：
Web程序 时间：
2014-05-09 19:40:08
阅读次数：
470
在刚装好的Oracle中，我们使用SqlPlus会发现非常的蹩脚，不仅退格键不好用，方向键也不行调出history，下面有几种解决方法。1.可以使用ctrl+Backspace键强制输出输入的错误，也可以exportstty
erase ^h，当然这只是临时的方法，想一劳永逸请看下面。2.在orac...
分类：
数据库 时间：
2014-05-09 05:49:16
阅读次数：
414
Flex1 到 Flex3 使用的都是 Halo组件，这里将介绍Halo 组件中的List 和 DataGrid 。其中 DataGrid 是显示多列数据中最常用的方式。但是在Spark中还有没对应DataGrid的组件。
先写个“食物”的模型 Dinner.as 。
package model {
[Bindable]
public class Dinner {
public...
分类：
其他好文 时间：
2014-05-09 02:34:26
阅读次数：
306
