标签：color 使用 io 文件 ar 代码 工作 linux
不管是做客户端业务，还是做服务端业务，日志子系统都是非常重要的一个组件。
日志系统的输出目的地可以是disk，也可以是tty，更可以是network。
我的日志系统可以输出到tty，不同log level可以有不同的color，这样看日志非常的醒目，当然这里着重谈的是如何快速的把log内容写到磁盘上。
其实，如何快速的把log内容写到磁盘上，网上文章已经汗牛充栋，真正高质量的没多少，本篇可能也是狗尾续貂之作。不过，我的log子系统能够达到106M/s的输出速率。
详细介绍我的log系统之前，推荐大家看看陈硕大牛的《Linux 多线程服务端编程:使用 muduo C++ 网络库》一书中关于muduo log的实现，muduo的log的思路和实现都是非常漂亮的。网上还有相关的ppt，这里面有很多的干货。
log系统如何快速的把log内容写到磁盘上？其关键就在于写log时要进行顺序写，即每次写log的大小要为4k或者4k的倍数。
鉴于语言描述非本人强项，下面先呈上关键代码，然后再详述之。
struct log_t {
int file;
pthread_mutex_t mutex;
int buf_cursor;
char buf[4 * 1024];
struct iovec iovec_[2];
};
int log_write(log_t* log, char* buf, int len)
{
int ret = 0;
pthread_mutex_lock(&log->mutex);
do {
size = log->buf_cursor + len;
if (size < sizeof(log->buf)) {
memcpy(log->buf + log->buf_cursor, buf, len);
log->buf_cursor = size;
break;
}
log->iovec_[0].iov_base = log->buf;
log->iovec_[0].iov_len = log->buf_cursor;
log->iovec_[1].iov_base = buf;
log->iovec_[1].iov_len = len;
ret = (int)writev(log->file, log->iovec_, 2);
if (IS_NEQ(ret, size)) {
ret = -2;
}
log->cursor += size;
log->buf_cursor = 0;
} while(0);
pthread_mutex_unlock(&log->mutex);
return ret;
}
看上面这段代码的，log有一个4k的buf，如果本次输出的内容能够放到buf里面，那么就把内容拷贝进去，然后退出，否则就调用writev函数把内容写进log文件。
其思路跟陈硕大牛的muduo的log比起来当然是云泥之别，没那么高大上。其方法的关键就是减小锁的粒度、合并多次write为一次write以进行顺序写log内容至磁盘上。
log系统有同步和异步两种区别，上面的实现方式本质是一种同步方式。
所谓的异步输出log就是专门启动一个日志线程，它可以有一个log队列，其他线程作为生产者把内容输出至队列，日志线程就作为消费者从队列中取出log内容，然后把它写到磁盘上。
我现在西二旗一家公司工作，我最近为公司实现了一种异步log系统，其关键流程当然就是上面一段的思路。但是，仅仅靠上面的这种方法是无法实现快速地进行异步log输出的。除了log线程的队列外，参考陈硕的muduo log的思路，我还添加了一个log buf（struct log_buf { int cursor; char buf[1 * 1024 * 1024]; };）,其思路跟同步方式一样，先把log内容放到这个log_buf中，待log_buf快溢出的时候，把log_buf放入队列中。
由于代码的版权归公司所有，所以这里就不贴代码了。异步log的最终效果能达到140M/s的输出速率。
最近不顺心之事甚多，有离去之意，不过咱还没有到homeless的地步，我就不学某个自视甚高的人去乞讨工作了。
不过，如果你觉得你的公司能给本人合适的发展空间，鄙人非常欢迎的，本人qq3028038055。
标签：color 使用 io 文件 ar 代码 工作 linux
原文地址：http://blog.csdn.net/menggucaoyuan/article/details/38460419
