一、Hadoop的数据压缩 1.概述 在进行MR程序的过程中，在Mapper和Reducer端会发生大量的数据传输和磁盘IO，如果在这个过程中对数据进行压缩处理，可以有效的减少底层存储(HDFS)读写的字节数，，并且通过减少Map和Reduce阶段数据的输入输出来提升MR程序的速度，提高了网络带宽和 ...
分类：
其他好文 时间：
2019-04-08 10:38:13
阅读次数：
231
NIO 的工作方式 BIO 带来的挑战 BIO : BIO 通信模型，通常由一个独立的 Acceptor 线程负责监听客户端的连接，接受到请求之后，为每个客户端创建一个新的线程进行链路处理，处理完成之后，线程销毁。是典型的 请求 应答通信模型。 BIO 即阻塞 IO，不管是磁盘IO 还是 网络 IO ...
分类：
其他好文 时间：
2019-04-07 12:43:56
阅读次数：
162
磁盘IO工作机制 ref: 《深入分析java web 技术内幕》 by：许令波 几种访问文件的方式 文件读取和写入的 IO 操作都是调用操作系统提供的接口，因为磁盘设备是由操作系统管理的，应用程序要访问物理设备，只能通过系统调用的方式来工作。读和写分别对应 read()/write() 两个系统调 ...
分类：
其他好文 时间：
2019-04-02 12:37:45
阅读次数：
175
* 本篇随笔为《涂抹MySQL》一书的阅读摘抄,详细请查看正版书籍 关键性指标 IOPS（Input/Output operations Per Second） 每秒处理的I/O请求次数 需要说明的一点，通常提到磁盘读写能力，比如形容它每秒读300M写200M这个说的是数据吞吐量(I/O能力的另一个 ...
分类：
数据库 时间：
2019-03-29 14:48:25
阅读次数：
176
iotop命令用来动态地查看磁盘IO情况，用法如下： ...
分类：
系统相关 时间：
2019-03-28 00:49:21
阅读次数：
259
读：ddif=boot.imgof=/dev/nullbs=10000count=10000写：ddif=/dev/zeroof=ming.logbs=10000count=10000conv=fsync注：1、/dev/null表示不占用写IO2、/dev/zero表示不占用读IO3、bs表示字节，count表示次数
分类：
其他好文 时间：
2019-03-26 10:38:19
阅读次数：
217
性能瓶颈定位整体思路，从前到后，从表象到内部 1，首先排除压力机的性能情况，包括cpu、内存 2，应用服务器的硬件指标，cpu，内存，网络IO（ethtool eth0），磁盘IO，如果发现某台机器的这四项中的任何一项到达瓶颈，那么这台机器在这一方面就到达瓶颈了 3，其他服务器，比如数据库服务器，依 ...
分类：
其他好文 时间：
2019-03-23 13:20:36
阅读次数：
131
aio这种逻辑一般只能在磁盘io上实现绑定8颗cpu中的后4颗，从0开始掩码为4、000100005、001000006、010000007、10000000看哪个进程运行在哪个cpu上psaxocomm,pid,psr|grepnginxwatch-n.5‘psaxocomm,pid,psr|grepnginx‘动态观测0.5秒这个命令的执行结果没有人访问，所以可能不会变化yum
分类：
其他好文 时间：
2019-03-16 23:36:05
阅读次数：
239
一.InnoDB 体系架构 1.1后台线程 master thread:刷新内存中的数据到磁盘 io thread:处理 IO 请求,AIO purge thread:清理undo 页的回收 page cleaner thread:刷新脏页 1.2内存 LRU list:最近最少使用算法管理缓冲池 ...
分类：
数据库 时间：
2019-03-13 19:49:05
阅读次数：
210
