欢迎转载，转载请注明出处，徽沪一郎。概要Hadoop2中的Yarn是一个分布式计算资源的管理平台，由于其有极好的模型抽象，非常有可能成为分布式计算资源管理的事实标准。其主要职责将是分布式计算集群的管理，集群中计算资源的管理与分配。Yarn为应用程序开发提供了比较好的实现标准，Spark支持Yarn部...
分类：
其他好文 时间：
2014-07-07 14:18:32
阅读次数：
297
欢迎转载，转载请注明出处，徽沪一郎。概要本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。实验环境搭建在进行后续操作前，确保下列条件已满足。下载spark binary 0.9.1安装scala安装sbt安装java启动spark-shell单机模式运...
分类：
其他好文 时间：
2014-07-07 14:14:34
阅读次数：
231
欢迎转载，转载请注明出处，徽沪一郎。概要图的并行化处理一直是一个非常热门的话题，这里头的重点有两个，一是如何将图的算法并行化，二是找到一个合适的并行化处理框架。Spark作为一个非常优秀的并行处理框架，将一些并行化的算法移到其上面就成了一个很自然的事情。Graphx是一些图的常用算法在Spark上的...
分类：
其他好文 时间：
2014-07-07 14:11:44
阅读次数：
391
欢迎转载，转载请注明出处，徽沪一郎。概要本来源码编译没有什么可说的，对于java项目来说，只要会点maven或ant的简单命令，依葫芦画瓢，一下子就ok了。但到了Spark上面，事情似乎不这么简单，按照spark officical document上的来做，总会出现这样或那样的编译错误，让人懊恼不...
分类：
其他好文 时间：
2014-07-07 14:07:04
阅读次数：
268
欢迎转载，转载请注明出处，徽沪一郎。楔子源码阅读是一件非常容易的事，也是一件非常难的事。容易的是代码就在那里，一打开就可以看到。难的是要通过代码明白作者当初为什么要这样设计，设计之初要解决的主要问题是什么。在对Spark的源码进行具体的走读之前，如果想要快速对Spark的有一个整体性的认识，阅读Ma...
分类：
其他好文 时间：
2014-07-07 14:05:42
阅读次数：
285
欢迎转载，转载请注明出处，徽沪一郎。楔子在Spark源码走读系列之2中曾经提到Spark能以Standalone的方式来运行cluster，但没有对Application的提交与具体运行流程做详细的分析，本文就这些问题做一个比较详细的分析，并且对在standalone模式下如何实现HA进行讲解。没有...
分类：
其他好文 时间：
2014-07-07 14:05:03
阅读次数：
352
首要要做配置操作，配置两个域名，我这里使用的是Apache。附件中的demo1和demo2 DocumentRoot "D:/htdocs/iframe/demo1" ServerName www.iframe1.cn DocumentRoot "D:/htdocs/iframe/...
分类：
其他好文 时间：
2014-07-07 13:57:31
阅读次数：
304
1.打开Apache的配置文件httpd.conf，并去掉#Include conf/extra/httpd-vhosts.conf前面的#！！2.打开Apache的apache/conf/extra下的次配置文件httpd-vhosts.conf3.将此文件下的原有的扩展配置文件（如下）：删除一个...
分类：
其他好文 时间：
2014-07-07 13:53:28
阅读次数：
223
源自《Linux 运维之道》丁一明编著 一书的总结三种访问方式功能Apache+DAVSvnserveSvnserve+SSH认证http基本认证、LDAP支持md5Ssh认证权限对版本整体设置，也可以指定设置权限客队版本整体设置权限，也可以指定目录仅对版本库整体设置权限加密支持ssl加密无支持ss...
分类：
其他好文 时间：
2014-07-07 13:15:41
阅读次数：
201
今天遇到一个很头痛的问题，插入数据库时总是不成功，返回的是内部服务器错误，我一直以为是apache出什么状况了，搜了好多方法，乱改一通，没有丝毫效果。后来在firebug下看见是插入数据库出错了，是这样一条错误信息：#1062 - Duplicate entry 'test2' for key 'P...
分类：
数据库 时间：
2014-07-07 13:00:56
阅读次数：
194
