因为工作的需求，最近看了一些项目的源码，包括nginx、tair、leveldb，一直看了下来都没有写东西的习惯，虽然作了不少记录，但都是只有自己才能看懂的笔记。 好多次都说开始写blog，锻炼一下自己的写作能力，在此mark决定以后坚持写。每周至少一篇文章，即使不是完全自主版权也得改改贴贴，...
分类：
数据库 时间：
2014-07-16 23:19:36
阅读次数：
253
郑重声明：本篇博客是自己学习 Leveldb 实现原理时参考了郎格科技系列博客整理的，原文地址：http://www.samecity.com/blog/Index.asp?SortID=12，只是为了加深印象，本文的配图是自己重新绘制的，大部分内容与原文相似，大家可以浏览原始页面 :-)，感兴趣的...
分类：
数据库 时间：
2014-07-07 20:13:14
阅读次数：
379
由于网络上对leveldb的分析文章都比较丰富，一些基础概念和模型都介绍得比较多，所以本人就不再对这些概念以专门的篇幅进行介绍，本文主要以代码流程注释的方式。 首先我们从db的插入和删除开始以对整个体系有一个感性的认识，首先看插入： Status DB::Put(const WriteOptions...
分类：
数据库 时间：
2014-07-07 18:46:50
阅读次数：
451
【注】本文参考了sparkliang的专栏的Leveldb源码分析--3并进行了一定的重组和排版 经过上一篇文章的分析我们队leveldb的插入流程有了一定的认识，而该文设计最多的又是Batch的概念。这篇文章本来应该顺理成章的介绍Batch相关流程和结构了，但是Batch涉及到了一些编码和Key相...
分类：
数据库 时间：
2014-07-07 18:17:30
阅读次数：
232
从【leveldb源码分析--插入删除流程】和WriteBatch其名我们就很轻易的知道，这个是leveldb内部的一个批量写的结构，在leveldb为了提高插入和删除的效率，在其插入过程中都采用了批量集合相邻的多个具有相同同步设置的写请求以批量的方式进行写入。 其成员变量仅包含了一个 std::s...
分类：
数据库 时间：
2014-07-07 17:50:06
阅读次数：
247
既然leveldb是一个按Key序组织的LSM-Tree实现，那么对于Key的比较就是非常之重要了，这个Key的比较在leveldb中是Comparator的形式出现的。我们首先来看看Comparator的基本方法有哪些 // 实际的比较函数 virtual int Compare(const Sl...
分类：
数据库 时间：
2014-07-07 15:40:12
阅读次数：
862
本节讲述内存中LevelDB的数据结构Memtable，Memtable义如其名即为内存中的KV Table，即LSM-Tree中的C0 Tree。我们知道在LSM-Tree中刚插入的的KV数据都是存储在内存中，当内存中存储的数据超过一定量以后再写到磁盘中。而对于leveldb来说这个过程演变为内存...
分类：
数据库 时间：
2014-06-30 11:28:07
阅读次数：
295
caffe中负责整个网络输入的datalayer是从leveldb里读取数据的，是一个google实现的非常高效的kv数据库。
因此我们训练网络必须先把数据转成leveldb的格式。
这里我实现的是把一个文件夹的所有图片转成leveldb的格式。...
分类：
数据库 时间：
2014-06-27 08:01:59
阅读次数：
264
ledisdb现在已经支持replication机制，为ledisdb的高可用做出了保障。使用假设master的ip为10.20.187.100，端口6380，slave的ip为10.20.187.101，端口为6380.首先我们需要master打开binlog支持，在配置文件中指定：use_bin_log : true
在slave的机器上面我们可以通过配置文件指定slaveof开启replic...
分类：
数据库 时间：
2014-06-15 16:44:32
阅读次数：
266
ledisdb是一个用go实现的基于leveldb的高性能nosql数据库，它提供多种数据结构的支持，网络交互协议参考redis，你可以很方便的将其作为redis的替代品，用来存储大于内存容量的数据（当然你的硬盘得足够大！）。同时ledisdb也提供了丰富的api，你可以在你的go项目中方便嵌入，作为你app的主要数据存储方案。与redis的区别ledisdb提供了类似redis的几种数据结构，包...
分类：
数据库 时间：
2014-06-03 05:29:45
阅读次数：
309
