1. Master 单节点可用性
Master节点在Spark中所承载的作用是分配Application到Worker节点，维护Worker节点，Driver，Application的状态。
在Sp...
分类：
其他好文 时间：
2017-04-01 18:32:13
阅读次数：
856
阿里巴巴分布式调度系统被命名为“伏羲”，主要负责管理集群的机器资源和调度并发的计算任务，为上层分布式应用提供稳定、高效、安全的资源管理和任务调度服务。本文将向读者展示阿里是如何使用伏羲来对5000节点集群进行调度与性能优化的。 ...
分类：
其他好文 时间：
2017-03-16 19:00:09
阅读次数：
156
远程debug，特别是在集群方式时候，会很方便了解代码的运行方式，这也是码农比较喜欢的方式
虽然scala的语法和java不一样，但是scala是运行在JVM虚拟机上的，也就是scala最后编译成字节...
分类：
移动开发 时间：
2017-03-09 21:04:34
阅读次数：
345
当在YARN上运行Spark作业，每个Spark executor作为一个YARN容器运行。Spark可以使得多个Tasks在同一个容器里面运行。 以下参数配置为例子： spark-submit --master yarn-cluster #使用集群调度模式(一般使用这个参数) --num-exec ...
分类：
其他好文 时间：
2016-12-09 08:38:44
阅读次数：
305
搭建haproxy+keepalived高可用群集。一、案例概述1.haproxy是目前比较流行的一种集群调度工具，是一款免费开源的软件，并且具有一定得安全性；haproxy较适用于负载较大的web节点，并且支持数万的并发量。同类调度工具还有很多，如LVS和Nginx。相比较而言，LVS性能最好，但是搭..
分类：
Web程序 时间：
2016-11-10 22:04:54
阅读次数：
283
防伪码：不必向我解释色彩，我的眼里自有一片湛蓝第七章使用Haproxy搭建Web集群前言：Haproxy是目前比较流行的一种集群调度工具，同类集群调度工具很多，如LVS和Nginx。相比较而言，LVS性能最好，但是搭建相对复杂，Nginx的upstream模块支持集群功能，但是对集群节点的检查功能..
分类：
Web程序 时间：
2016-11-04 02:33:53
阅读次数：
200
操作系统：CentOS6.5Haproxy软件版本:haproxy-1.4.24Nginx软件版本：nginx-1.6.2Haproxy是目前比较流行的一种集群调度工具，之前提到Nginx的upstream模块也能实现集群的负载均衡，但是Nginx不能对节点进行健康检查，性能也没有Haproxy好负载均衡常用的调度算法：RR（RoundRobin..
分类：
Web程序 时间：
2016-03-07 17:09:01
阅读次数：
411
quartz2.2.1集群调度机制调研及源码分析引言quartz集群架构调度器实例化调度过程触发器的获取触发trigger:Job执行过程:总结:附：引言quratz是目前最为成熟,使用最广泛的java任务调度框架,功能强大配置灵活.在企业应用中占重要地位.quratz在集群环境中的使用方式是每个企...
分类：
其他好文 时间：
2016-01-20 17:12:57
阅读次数：
143
正如前面“Mesos:动机”一节中所述，Mesos的主要目标就是去帮助管理不同框架（或者应用栈）间的集群资源。比如说，有一个业务需要在同一个物理集群上同时运行Hadoop，Storm及Spark。这种情况下，现有的调度器是无...
分类：
其他好文 时间：
2015-10-26 22:46:45
阅读次数：
328
简介我们知道Nginx、LVS都可以做负载均衡，它们都具有各自的特点，今天介绍另一款比较流行的集群调度工具Haproxy，首先介绍负载均衡常用调度算法，然后介绍Haproxy搭建Web集群的案例环境，接下来重点介绍Haproxy搭建Web集群的安装配置和日志配置，最后介绍了Haproxy的参数优化..
分类：
Web程序 时间：
2015-09-10 02:04:40
阅读次数：
342
