前几天碰到jbd2进程占用大量的磁盘io，用iotop查看到的情况大致如下：系统版本：CentOS6.5-64bit经查为ext4文件系统的一个bug:先给出解决方案，处理此问题的优先级为：1、yumupdatekernel用yum升级系统内核，重启之后查看是否有效；2、缓解方法：修改commit值，降低文件系统提..
分类：
数据库 时间：
2016-06-22 15:57:02
阅读次数：
875
一、介绍 rrdcached是一个高性能的RRD缓存守护进程，在不带来大量磁盘读/写文件i/o负荷的情况下，允许gmetad实例维护多个RRD文件。rrdcached可通过命令套接字控制，并且包含在大多数linux版本的标准rrdtool安装包中。 但是版本有要求，1.4.1以上的rrdtool已包 ...
分类：
系统相关 时间：
2016-06-12 12:13:38
阅读次数：
1798
一，测试环境 1） 硬件环境完全相同： 包括：cpu/内存/网络/磁盘Io/机器数量等 2）软件环境： 相同数据 相同测试用例 3） 不同计算框架，其中spark-sql 都是基于yarn的 4）spark-sql executor内存总量不大于 hive使用内存峰值 二，不同框架在两个测试用例下的 ...
分类：
数据库 时间：
2016-06-06 16:56:54
阅读次数：
761
前段时间听了boss栋的nio的讲座，有很多没有理解的地方，最近特意又研究了一下，写一下心得。 计算机中io分为网络io以及磁盘io，我们这里主要说的就是网络io。 http://blog.csdn.net/zhxue123/article/details/22285957中提到： epoll跟AI ...
分类：
其他好文 时间：
2016-06-03 22:59:29
阅读次数：
331
1、先熟悉两个特殊的设备：（1）/dev/null：回收站、无底洞。（2）/dev/zero：产生字符。 2、测试磁盘写能力 复制代码 代码如下: 复制代码 time dd if=/dev/zero of=/testw.dbf bs=4k count=100000 因为/dev//zero是一个伪设 ...
分类：
系统相关 时间：
2016-06-02 21:44:34
阅读次数：
195
1. 发现硬盘 disk_discovery.sh #!/bin/bash diskarray=(`cat /proc/diskstats |grep -E "\bsd[a-z]\b|\bxvd[a-z]\b|\bvd[a-z]\b"|awk '{print $3}'|sort|uniq 2>/de ...
分类：
移动开发 时间：
2016-06-02 00:52:37
阅读次数：
486
1，配置文件 cat /usr/local/zabbix/conf/zabbix_agentd/diskstats.conf UserParameter=disk.discovery,python /usr/local/zabbix/bin/disk_discovery.py UserParamet ...
分类：
其他好文 时间：
2016-06-02 00:49:36
阅读次数：
306
调优概述
大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle调优只能在整个Spark的性能调优中占到一小部分而已。因此大家务必把握住调优...
分类：
其他好文 时间：
2016-05-27 11:43:37
阅读次数：
210
dstat是linux下一款强大的性能监控工具，它是python写的。可以监控如下内容：CPU磁盘IO（带宽和IOPS)网络信息其他我最常用的是dstat-tnrcd5其中：t代表时间戳
分类：
其他好文 时间：
2016-05-26 11:44:21
阅读次数：
167
dstat是linux下一款强大的性能监控工具，它是python写的。下载地址：http://pkgs.repoforge.org/dstat/可以监控如下内容：CPU磁盘IO（带宽和IOPS)网络信息其他我最常用的是dstat-tnrcd5其中：t代表时间戳
分类：
其他好文 时间：
2016-05-26 11:43:49
阅读次数：
217
