首先有必要先介绍一下有关RAID卡的使用,有关Cache问题也有个人理解:生产系统上的物理机磁盘配置大多都是RAID5,之前会经常性的遇到磁盘IO在某个时间极度的跟不上节奏,稍微写入量,磁盘utils就能够飙到80%多;最后发现是RAID卡的模式改变导致的性能影响;一般RAID卡的电池都会进行充放电 ...
分类:
其他好文 时间:
2016-07-16 06:31:35
阅读次数:
179
1.1监控Hbase运行状况
1.1.1操作系统
1.1.1.1IO
a.群集网络IO,磁盘IO,HDFS IO
IO越大说明文件读写操作越多。当IO突然增加时,有可能:1.compact队列较大,集群正在进行大量压缩操作。
2.正在执行mapreduce作业
可以通过CDH前台查看整个集群综合的数据或进入指定机器的前台查看单台机器的数据:
b.Io wait
磁盘IO对集群的...
分类:
其他好文 时间:
2016-07-13 01:35:32
阅读次数:
314
典型应用于以下场合 1.处理多个描述字时,比如同时处理套接字和磁盘IO、终端IO 2.一个客户同时处理多个套接字 3.服务器既要处理监听套接字,又要处理已连接套接字 4.既要处理TCP、也要处理UDP 5.一个服务器要处理多个服务和协议 I/O多路复用不局限于网络编程,也可以用于其他程序。 UNIX ...
分类:
其他好文 时间:
2016-07-11 01:01:58
阅读次数:
149
通过数据库评估存储设备IO性能
---------Oracle11g IO校准功能介绍
前言
I/O子系统是ORACLE数据库的一个重要组成部分,因为I/O操作是贯穿数据库管理全过程,它操作的对象包括日志、表、索引、数据字典、以及一些排序、undo操作等等,每个数据库读取或者写入磁盘上的数据,都会产生磁盘IO,可以这么说一个正常业务的数据库系统,80%的性能消耗都与IO有关,相对于网络、CP...
分类:
数据库 时间:
2016-07-08 11:52:33
阅读次数:
388
很多数据库系统性能不理想是因为系统没有经过整体优化,存在大量性能低下的SQL 语句。这类SQL语句性能不好的首要原因是缺乏高效的索引。没有索引除了导致语句本身运行速度慢外,更是导致大量的磁盘读写操作,使得整个系统性能都受之影响而变差。 解决这类系统的首要办法是优化这些没有索引或索引不够好的SQL语句... ...
分类:
数据库 时间:
2016-07-07 12:29:03
阅读次数:
196
前几天微博上有同学问我磁盘util达到了100%时程序性能下降的问题,由于信息实在有限,我也没有办法帮太大的忙,这篇blog只是想给他列一下在磁盘util很高的时候如何通过blktrace+debugfs找到发生IO的文件,然后再结合自己的应用程序,分析出这些IO到底是谁产生的,最终目的当然是尽量减 ...
分类:
其他好文 时间:
2016-07-04 01:06:41
阅读次数:
261
无论是图片,文档,声音,在网络IO,磁盘io中都是以字节流的方式存在及传递的,但是我们拿到字节流怎么解析呢?这句话就涉及了编码,解码两个过程,从字符数据转化为字节数据就是编码,从字节数据转化为字符数据是解码,可能有人疑问,一个字符不是一个字节,两个字节吗?一堆字符不就是一堆字节吗,需要转什么?好,刚才所说 的以及涉及到编码了,有的编码是一个字节一个字符,就像ASCII码,但是汉字以及其他语言文字太多,很明显一个字节不能表示所有字符,所以才会引申出如 此多的编码,现在主要讨论ISO-8859-1,utf-8,...
分类:
编程语言 时间:
2016-07-03 19:21:44
阅读次数:
288
1.2、只通过索引访问数据有些时候,我们只是访问表中的几个字段,并且字段内容较少,我们可以为这几个字段单独建立一个组合索引,这样就可以直接只通过访问索引就能得到数据,一般索引占用的磁盘空间比表小很多,所以这种方式可以大大减少磁盘IO开销。如:select
id,namefromco..
分类:
数据库 时间:
2016-07-01 16:39:10
阅读次数:
217
操作系统:CentOS6.4GlusterFS:3.4.2测试工具:atop,iperf,iozone,fio,postmark配置规划下载并安装1、下载地址:http://bits.gluster.org/pub/gluster/glusterfs/3.4.2/x86_64/需要下载的rpm包2、RPM安装包glusterfs-3.4.2-1.el6.x86_64.rpmglusterfs-api-3.4.2-1.el6.x86_64.rp..
分类:
其他好文 时间:
2016-06-27 00:06:56
阅读次数:
683
1 /// -rw=read(100%顺序读) -rw=write(100%顺序写) -rw=randread(100%随机读) -rw=randwrite(100%随机写), 2 ///-rw=rw -rwmixread=70,混合顺序70%读30%写 3 ///-direct=1绕过内存 -io ...
分类:
其他好文 时间:
2016-06-26 23:45:30
阅读次数:
307