override def preStart() { webUi = new WorkerWebUI(this, workDir, Some(webUiPort)) webUi.bind() //创建并绑定UI registerWithMaster() //注册到Master}d...
分类：
其他好文 时间：
2014-07-06 12:54:32
阅读次数：
220
Master.preStart(){ webUi.bind() context.system.scheduler.schedule(0 millis, WORKER_TIMEOUT millis, self, CheckForWorkerTimeOut) //定时任务检测是否有DEAD WORK.....
分类：
移动开发 时间：
2014-07-06 12:51:21
阅读次数：
249
创建zybo cluster的spark集群（计算层面）： 1.每个节点都是同样的filesystem，mac地址冲突，故： vi ./etc/profile export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/b...
分类：
其他好文 时间：
2014-07-05 17:29:31
阅读次数：
549
原创文章，转载请注明： 转载自www.cnblogs.com/tovin/p/3822985.html一、软件下载 maven下载安装 ：http://10.100.209.243/share/soft/apache-maven-3.2.1-bin.zip jdk下载安装： http://...
GraphX是Spark中用于图和图并行计算的API,可以认为是GraphLab(C++)和Pregel(C++)在Spark(Scala)上的重写及优化，跟其他分布式图计算框架相比，GraphX最大的贡献是，在Spark之上提供一栈式数据解决方案，可以方便且高效地完成图计算的一整套流水作业。
分类：
其他好文 时间：
2014-07-05 16:50:56
阅读次数：
210
gulp是一个nodejs的streaming构建工具，所谓的streaming大致意思就是把构建流程想成一个个链接的管道（pipe）。
为什么要这样做呢？
要解释原因，就不得不提到unix。unix本身只提供了数量相对较少的命令，但是你可以命令的组合完成很强大的功能。命令和命令之间的衔接通常就用的是pipe。
类似，使用gulp，你仅仅只需要记住5个命令。这5个命令就是gulp提供给我们的一套streaming构建的架子，也就相当于提供了unix中的pipe功能。至于说pipe中每个命令的功能，则可以使...
分类：
Web程序 时间：
2014-07-03 18:29:11
阅读次数：
277
早在Spark Submit 2013里就有介绍到Spark SQL，不过更多的是介绍Catalyst查询优化框架。经过一年的开发，在今年Spark Submit 2014上，Databricks宣布放弃Shark 的开发，而转投Spark SQL，理由是Shark继承了Hive太多，优化出现了瓶颈，如图：
今天把Spark最新的代码签了下来，测试了一下：
1、编译Spar...
分类：
数据库 时间：
2014-07-03 16:06:04
阅读次数：
534
这一章想讲一下Spark的缓存是如何实现的。这个persist方法是在RDD里面的，所以我们直接打开RDD这个类。 def persist(newLevel: StorageLevel): this.type = { // StorageLevel不能随意更改 if (storageL...
分类：
其他好文 时间：
2014-07-03 12:53:15
阅读次数：
314
实验目的:
让Nginx支持flv和mp4格式文件，支持RTMP协议的直播和点播；
同时打开RTMP的HLS功能
?资料:
HTTP Live Streaming（缩写是 HLS）是一个由苹果公司提出的基于HTTP的流媒体网络传输协议。
HLS只请求基本的HTTP报文，与实时传输协议（RTP)不同，HLS可以穿过任何允许HTTP数据通过的防火墙或者代理服务器。
它也很容易使用内容分...
分类：
其他好文 时间：
2014-07-02 16:37:24
阅读次数：
170
