RPC即远程过程调用，适用于集群管理，集群节点就是RPCServer，而我们发起远程调用的web服务器就是RPCClient。所以是少数rpcClient（可能一个）对多个RPCServer（集群节点）。今天讲述的RPC开发希望实现这样一个效果，在RPCClient上（也就是web服务器）执行一条s...
分类：
其他好文 时间：
2015-09-07 19:34:08
阅读次数：
355
SLURM 安装与配置SLURM 介绍SLURM 是一个可用于大型计算节点集群的高度可伸缩的集群管理器和作业调度系统。SLURM 维护着一个待处理工作的队列并管理此工作的整体资源利用。SLURM 将作业分发给一组已分配的节点来执行。本质上，SLURM 是一个强健的集群管理器，它高度可移植、可伸缩至大型节点集群、容错好，而且更重要的是它是开源的。关于 SLURM 的架构可以参考 http://slur...
分类：
其他好文 时间：
2015-09-02 09:29:37
阅读次数：
2347
一、集群健康API查看集群状态信息：curl
http://localhost:9200/_cluster/health;echo查看集群节点信息：curlhttp://localhost:9200/_nodes/stats/host?pretty
分类：
其他好文 时间：
2015-09-01 00:12:37
阅读次数：
174
常用的负载均衡开源软件有：nginx、lvs、keepalived商业的硬件负载设备：F5、Netscale1.LB、LVS介绍LB集群是loadbalance集群的简写，翻译成中文就是负载均衡集群LVS是一个实现负载均衡集群的开源软件项目LVS架构从逻辑上可分为调度层(Director)、server集群层(Realserver)和共..
分类：
其他好文 时间：
2015-08-30 01:12:47
阅读次数：
268
用zookeeper原生包写了一个demo，实现了连接Zookeeper，创建节点、修改节点、删除节点、获取数据等功能。
Zookeeper是一个高性能、分布式应用协调服务，能够实现诸如状态同步、配置管理，集群管理等一致性协调服务。Zookeeper服务有两个角色：Leader负责写服务和数据同步，follower提供读服务，当其中一个leader挂点后，会在follower中重新选择一个主机作为...
分类：
其他好文 时间：
2015-08-27 11:14:35
阅读次数：
124
IPMI是一种可扩展的标准，它定义了如何监控硬件和传感器、控制系统部件以及记录重大事件，随着ipmi技术在服务器中的应用，利用ipmi的众多优势就成为服务器管理特别是集群管理中不可缺少的部分。本文首先介绍了ipmi的一些基本概念，然后给出了如何利用ipmitool这一工具实现linux..
分类：
系统相关 时间：
2015-08-21 11:30:48
阅读次数：
398
待解决的问题最近在做一个服务器集群管理的web项目，需要处理一些极其耗时的操作，比如磁盘格式化分区。对于这个需求，最开始的想法是，为了让节点上的rpc service端尽可能简单（简单到只需要popen执行一条指令即可，有时间我再专门写一篇博客讲讲这个项目的rpc是如何实现的），我们选择了让web端...
分类：
系统相关 时间：
2015-08-19 23:35:51
阅读次数：
2352
我们知道redis
cluster的部署是很麻烦的,如果在一台服务器启动多个redis实例的话，需要一个个的cp配置文件到指定的目录，然后一个个的修改端口及相关的信
息。。。以前经常这么干。如果采用docker后，我们可以更加方便的启动redis，
我们只需要传递端口参数，在dockerfile里定..
分类：
其他好文 时间：
2015-08-14 01:17:50
阅读次数：
171
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务。分布式应用可以使用它来实现诸如：统一命名服务、配置管理、分布式锁服务、集群管理等功能。公司常用到的是Java服务集群的管理。 1.函数介绍 [cpp]?...
分类：
编程语言 时间：
2015-08-12 10:24:27
阅读次数：
383
讨论Spark的配置监控和性能优化（某课程笔记）
上完这节课以后，你将能够描述集群的概念
通过修改Spark的属性，环境变量，或者是日志属性来配置Spark
使用Web端界面，以及各种不同的外部工具来监控Spark和应用程序
在Spark集群中有三种主要的组成部分。驱动程序，是放置主程序中SparkContext的地方,要运行一个集群，你需要一个集群管理器
它可以是单机...
分类：
其他好文 时间：
2015-08-01 19:09:22
阅读次数：
124
