欢迎转载，转载请注明出处，徽沪一郎。概要本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的，另外试图讲清楚运行着的task其输入的数据从哪获取，处理的结果返回到哪里，如何返回。准备spark已经安装完毕spark运行在local mode或local-cluster mod...
分类：
其他好文 时间：
2014-07-07 14:20:42
阅读次数：
267
欢迎转载，转载请注明出处，徽沪一郎。楔子在Spark源码走读系列之2中曾经提到Spark能以Standalone的方式来运行cluster，但没有对Application的提交与具体运行流程做详细的分析，本文就这些问题做一个比较详细的分析，并且对在standalone模式下如何实现HA进行讲解。没有...
分类：
其他好文 时间：
2014-07-07 14:05:03
阅读次数：
352
负载均衡是集群部署中的一种，通过多个节点来承担邮件服务的工作，每个获取Web页面的新请求都被动态路由到一个负载较低的节点上。即把负载压力根据某种算法合理分配到集群中的每一台计算机上，以减轻主服务器的压力，降低对主服务器的硬件和软件要求，适用于大容量用户使用。集群技术解析集群（Cluster）技术是指...
分类：
其他好文 时间：
2014-07-01 18:00:42
阅读次数：
267
监听和替换多台服务器之间的来回切换一.安装tar zxvf keepalived-1.1.15.tar.gzcd keepalived-1.1.15./configure --prefix=/usr/local/keepalivedmake && make install# 这段配置只是为了使用的方...
分类：
其他好文 时间：
2014-07-01 17:48:39
阅读次数：
215
一.安装tar zxvf haproxy-1.4.22.tar.gzcd haproxy-1.4.22make TARGET=linux26 PREFIX=/usr/local/haproxy install ( 注意要大写) 注:linux26就是linux内核的版本号可以用uname -...
分类：
其他好文 时间：
2014-07-01 16:54:10
阅读次数：
213
相信很多同学和我差不多，半桶水，貌似在配置lvs双机的时候，直接用的keepalived，ipvsadm就用来看看，感觉没啥用，今天无聊到处逛发现，某大神说，keepalived只是ipvsadm的一部分组件附上ipvsadm的命令参考对ipvsadm 的命令参考，并根据自己使用的经验，进行了一个简...
分类：
其他好文 时间：
2014-07-01 13:10:44
阅读次数：
161
配置mongodb分片群集(sharding cluster)Sharding cluster介绍这是一种可以水平扩展的模式，在数据量很大时特给力，实际大规模应用一般会采用这种架构去构建monodb系统。要构建一个 MongoDB Sharding Cluster，需要三种角色：Shard Serv...
分类：
数据库 时间：
2014-06-30 22:41:02
阅读次数：
285
这是一个先进实用的架构，采用了haproxy、lvs、keeplived进行负载均衡，使用couchbase、squid进行缓存，使用mysql数据库主从方式，使用lucene搜索等技术，提供了HA、HP的服务性能，值得采纳。对用JAVA开发的项目来说，根据“成熟稳定、先进科学、实用可靠“的原则，可以使用这样一种架构，采用多个集群来保证系统的高性能、高可靠性、伸缩性、可维护性和安全的需要，服务器可以线性扩展，使用开源免费软件和廉价服务器，提供极高的性价比。...
分类：
其他好文 时间：
2014-06-29 23:11:10
阅读次数：
729
关于网上lvs+keepalived的文章很多，但是多数都是DR模式的方案，对于nat模式的并不多见，因此，在此写一份nat模式的文章，仅供分享也当笔记保存。网络拓扑结构：现在的Linux系统内核都是支持lvs的，所以我们直接可以用yum安装ipvsadmyum源的替换，将系统的yum源替换成163的yum..
分类：
其他好文 时间：
2014-06-29 21:33:36
阅读次数：
700
故障重现：某集团准备测试使用SCVMM2012R2来管理当前企业内部异构虚拟环境及群集，计划测试后正式上线，测试途中，添加了一个现有的Hyper-v群集，But，添加失败了，在SCVMM中，无法删除失败的群集，而且继续添加群集。解决思路：首先尝试使用Powershell语句，强行Remove群集，..
分类：
其他好文 时间：
2014-06-29 21:11:05
阅读次数：
424
