1.1监控Hbase运行状况
1.1.1操作系统
1.1.1.1IO
a.群集网络IO,磁盘IO,HDFS IO
IO越大说明文件读写操作越多。当IO突然增加时,有可能:1.compact队列较大,集群正在进行大量压缩操作。
2.正在执行mapreduce作业
可以通过CDH前台查看整个集群综合的数据或进入指定机器的前台查看单台机器的数据:
b.Io wait
磁盘IO对集群的...
分类:
其他好文 时间:
2016-07-13 01:35:32
阅读次数:
314
原文链接:https://blog.twitch.tv/gos-march-to-low-latency-gc-a6fa96f06eb7#.lrmfby2xs 下面我们会介绍https://www.twitch.tv视频直播网站在使用Go过程中的GC耗时演变史。 我们是视频直播系统且拥有数百万的在线用户,消息和聊天系统全部是用Go写的,该服务单台机器同时连接了50万左右的用户。在Go1.4到1....
分类:
编程语言 时间:
2016-07-07 21:10:18
阅读次数:
423
本篇源自Hadoop官网,先将中文翻译如下。 目标 本文章主要是描述如何安装和配置几个节点的Hadoop clusters,甚至于数以千计的节点数。为了了解详细的安装步骤,需要先了解如何安装在单台机器上。 本文档不包含高级的设置点,比如:安全性或者高可用性。 准备 需要安装Java环境 从Apach ...
分类:
其他好文 时间:
2016-07-06 21:47:51
阅读次数:
141
Jmeter 是java 应用,对于CPU和内存的消耗比较大,因此,当需要模拟数以千计的并发用户时,使用单台机器模拟所有的并发用户就有些力不从心,甚至会引起JAVA内存溢出错误。为了让jmeter工具提供更大的负载能力,jmeter短小精悍一有了使用多台机器同时产生负载的机制。 那么,是如何实现多台 ...
分类:
其他好文 时间:
2016-07-06 14:34:25
阅读次数:
139
随着互联网的发展,数据量的不断增大。 单台实例已经远远无法满足业务的需要。 对数据库分库分表的需求不断的增加随之而来的就是数据库中间件的开发。 一、 单台实例主要面临下面几个问题: 1. 数据量太大单台机器无法承载 2. 数据查询效率太低,单表数据达到一定的量业务性能就无法满足 3. 数据库优化上的 ...
分类:
数据库 时间:
2016-07-05 22:10:46
阅读次数:
331
1:lamp和lnmp解释lampn分别代表:linux、apache、mysql、php、nginx。安装大概思路如下:linux环境安装就省略了。1:mysql安装在两个环境都一样的。2:lnmp环境下nginx的安装。3:lamp环境下apache的安装。4:php在安装的时候应该算最复杂的了吧。其中,针对不同环境的编译选项不..
分类:
其他好文 时间:
2016-05-15 19:55:15
阅读次数:
253
为什么要做web cache,我想大家最主要的是解决流量的压力。随着网站流量的提升,如果只是单台机器既处理静态文件,又处理动态脚本,显然效率很难上升,不能处理日益上涨的流量压力。与此同时某些网站的页面内容并不是经常变化,因此我们可以分两层架构来组织网站。前端web缓存+后端web服务器,可以参看这里 ...
分类:
Web程序 时间:
2016-05-15 02:31:51
阅读次数:
300
使用 JMeter 分布式性能测试 作为一个纯 JAVA 的GUI应用,JMeter 对于CPU和内存的消耗还是很惊人的, 所以当需要模拟数以千计的并发用户时,使用单台机器模拟所有的并发用户就有些力不从心, 甚至还会引起JAVA内存溢出的错误。不过,JMeter 也可以像 LoadRunner 一样 ...
分类:
其他好文 时间:
2016-05-02 23:02:49
阅读次数:
243
Jmeter分布式运行Jmeter是java应用,对于CPU和内存的消耗比较大,因此,当需要模拟数以千计的并发用户时,使用单台机器模拟所有的并发用户就有些力不从心,甚至会引起JAVA内存溢出错误。为了让jmeter工具提供更大的负载能力,jmeter短小精悍一有了使用多台机器同时产生负载的机..
分类:
其他好文 时间:
2016-04-11 15:52:13
阅读次数:
159
单表记录条数达到百万到千万级别时就要使用分表了。 数据切分可以是物理上的,对数据通过一系列的切分规则将数据分布到不同的DB服务器上,通过路由规则路由访问特定的数据库,这样一来每次访问面对的就不是单台服务器了,而是N台服务器,这样就可以降低单台机器的负载压力。 数据切分也可以是数据库内的, 对数据通过 ...
分类:
数据库 时间:
2016-04-11 01:45:11
阅读次数:
246