Sendfile函数说明 #include ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count); sendfile()是作用于数据拷贝在两个文件描述符之间的操作函数.这个拷贝操作是内核中操作的,所以称为"零拷贝". ...
分类：
系统相关 时间：
2018-04-05 21:30:44
阅读次数：
219
vm.dirty_background_ratio:这个参数指定了当文件系统缓存脏页数量达到系统内存百分之多少时（如5%）就会触发pdflush/flush/kdmflush等后台回写进程运行，将一定缓存的脏页异步地刷入外存；vm.dirty_ratio:而这个参数则指定了当文件系统缓存脏页数量达到系统内存百分之多少时（如10%），系统不得不开始处理缓存脏页（因为此时脏页数量已经比较多，为了避免数
分类：
其他好文 时间：
2018-03-05 12:02:21
阅读次数：
179
用hd-speed等测试虚拟盘速度都能达到90M/s左右，但复制文件到虚拟盘速度最高只有10M/s原因：由于客户机开机加载这个随机驱动和随机进程后，会对磁盘启动进程等有扫描检查的动作，并且对网络有限制，所以会就出现回写盘写速度被限制10M左右，目录为随机目录如下图所示： 解决方法： 开启驱动过滤对随 ...
分类：
其他好文 时间：
2018-02-19 22:24:24
阅读次数：
210
无论计算机上有多少内存都是不够的，因而linux kernel需要回收一些很少使用的内存页面来保证系统持续有内存使用。页面回收的方式有页回写、页交换和页丢弃三种方式：如果一个很少使用的页的后备存储器是一个块设备（例如文件映射），则可以将内存直接同步到块设备，腾出的页面可以被重用；如果页面没有后备存储 ...
分类：
系统相关 时间：
2018-02-13 22:56:12
阅读次数：
234
1 文件缓存回写的时机 (1)周期性回写，周期为dirty_writeback_interval，默认5s； (2)块设备首次出现脏数据； (3)脏页达到限额，包括dirty_bytes、dirty_background_bytes、dirty_ratio、dirty_background_rati ...
分类：
其他好文 时间：
2018-02-13 22:50:51
阅读次数：
242
以前都是使用Sqoop来完成数据从生成的hdfs数据存储上来抽取至oracle的数据库：sqoop抽取语句：sqoopexport--connect"jdbc:oracle:thin:@ip:port:sid"--username用户名--password密码--tablesid.表名--export-dirhdfs://nameservice1/user/XXX(hdfs地址
分类：
数据库 时间：
2018-02-11 16:17:12
阅读次数：
228
原文地址；https://www.cnblogs.com/xiaoxian1369/p/5411877.html 1、要使volatile变量提供理想的线程安全，必须同时满足以下两个条件：1）、对变量的写操作不依赖于当前值；2）、该变量没有包含在具有其他变量的不变式中。 第一个条件的限制使volat ...
分类：
其他好文 时间：
2018-02-02 11:40:06
阅读次数：
139
leveldb的数据存储采用LSM的思想，将随机写入变为顺序写入，记录写入操作日志，一旦日志被以追加写的形式写入硬盘，就返回写入成功，由后台线程将写入日志作用于原有的磁盘文件生成新的磁盘数据.Leveldb在内存中维护一个数据结构memtable,采用skiplist来实现，保存当前写入的数据，当数 ...
分类：
数据库 时间：
2018-01-18 13:27:18
阅读次数：
303
Linux内核实现I/O主要在三个内核子系统：虚拟文件系统（VFS)，页缓存，和页回写。虚拟文件系统(有时也叫做virtualfileswitch)是一种Linux内核的文件操作的抽象机制。它允许内核在无需了解文件系统类型的情况下，使用文件系统函数和操作文件系统数据。VFS实现这种抽象的方法是使用一种通用文件模型，它是所有Linux文件系统的基础。基于函数指针和各种面向对象方法，通用文件模型提供了
分类：
系统相关 时间：
2018-01-15 11:12:13
阅读次数：
264
1. 文件系统的种类 ext ext2 ext3 ext4 JFS XFS 其中ext3 开始支持journal日志模式 与raid卡类似 有 数据模式 排序模式 以及回写模式 数据模式最安全 回写模式性能最高. 2. 文件系统的命令: 1) fdisk fdisk -l 首先查看磁盘情况. fdi ...
分类：
系统相关 时间：
2018-01-12 19:01:06
阅读次数：
248
