对于kafka的consumer接口,提供两种版本, high-level 一种high-level版本,比较简单不用关心offset, 会自动的读zookeeper中该Consumer group的last offset 参考,https://cwiki.apache.org/confluence...
分类:
其他好文 时间:
2014-06-28 22:39:15
阅读次数:
1224
系统版本:CentOS 6.3_x86_64zabbix版本:zabbix-2.2.3zabbix服务端IP:172.16.10.721.yum安装LAMP环境# yum -y install gcc gcc-c++ autoconf httpd php mysql mysql-server php...
分类:
其他好文 时间:
2014-06-27 00:39:01
阅读次数:
1087
Hbase是一个分布式,版本化(versioned),构建在 Apache Hadoop和 Apache ZooKeeper上的列数据库.本文使用默认的Zookeeper,构造HDFS基础上的分布式Hbase。1 安装环境操作系统:Ubuntu-12.04 JDK版本:jdk1.7.0_51 计算....
分类:
其他好文 时间:
2014-06-26 00:31:04
阅读次数:
302
本文详细讲解了Spark在Standalone模式下的Master的HA的源码分析。
为了解决Standalone模式下的Master的SPOF,Spark采用了ZooKeeper提供的选举功能。Spark并没有采用ZooKeeper原生的Java API,而是采用了Curator,一个对ZooKeeper进行了封装的框架。采用了Curator后,Spark不用管理与ZooKeeper的连接,这些对于Spark来说都是透明的。Spark仅仅使用了100行代码,就实现了Master的HA。当然了,Spark是...
分类:
其他好文 时间:
2014-06-25 07:59:09
阅读次数:
183
关于如何快速开发一套属于自己的运维监控系统。记得刚入行的时候,对于监控方面,用的是nagios和cacti,现在大多数中小公司好多都开始搞zabbix了,熟悉zabbix的人,知道他的性能的瓶颈其实主要还是在数据库上,尤其是zabbx_server针对数据库一些不高效逻辑的查询和写入引起的。..
分类:
其他好文 时间:
2014-06-24 16:07:19
阅读次数:
305
测试使用agentd监听获取数据。服务端的安装可以查看http://blog.chinaunix.net/space.php?uid=25266990&do=blog&id=3380929下载http://www.zabbix.com/downloads/2.0.3/zabbix_agents_2....
分类:
系统相关 时间:
2014-06-23 06:30:18
阅读次数:
261
1.Zookeeper是什么?
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务。ZooKeeper的设计非常易于编程,它使用的是类似于文件系统那样的树形数据结构。他的数据都存在内存中,所以速度非常快,当然为了避免内存数据的丢失,所以数据也可以同时保存在硬盘上。
2.Zookeeper能做什么?
场景一:有一组服务器向客户端提供某种服务(例如:我前面做的分布式网...
分类:
其他好文 时间:
2014-06-22 16:55:46
阅读次数:
216
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。Zookeeper是hadoop的一个子项目,其发展历程无需赘述。在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制不适合在某些...
分类:
其他好文 时间:
2014-06-21 08:57:48
阅读次数:
430
东西都上传到这里了:https://github.com/RexKang/Zabbix/tree/master/OS/Linux-disk-discovery 需要用到的东西:Zabbix的LLD:https://www.zabbix.com/documentation/2.0/manual/dis...
分类:
系统相关 时间:
2014-06-20 19:30:34
阅读次数:
393
本文主要写了一些在Linux(CentOS)服务器上配置ntp的经验,事件缘由来源于配置Zabbix监控ntp服务时的测试配置。NTP时间同步协议的服务端(ntpd服务)和客户端(ntpdate服)不能同时运行,即在运行ntpd服务后不能运行ntpdate服务,否则ntpdate服务会提示启动失败,而且日志中也..
分类:
其他好文 时间:
2014-06-17 17:02:24
阅读次数:
279