作者:zhanhailiang 日期:2014-12-11
本文主要介绍常见的数据存储方案及相应选型的评估标准的介绍。
Guideline:针对不同应用场景,针对性选择存储方式。
1. 数据存储方案
SQL:
MySQL 5.5/5.6/MariaDB(对于Dev绝大多数场景下透明);
Oracle|MS SQL暂不考虑;
NoSQL:
Memcached 1....
分类:
数据库 时间:
2014-12-12 00:00:33
阅读次数:
347
创建Influxdb数据库时,我们可以看到下面选项,每个选项的含义就是本文要描述的: Influxdb内部数据的存储可以使用不同的存储引擎。当前0.8.7版本支持的是LevelDB, RocksDB, HyperLevelDB, 和 LMDB。 这几个数据库都是kv类型的数据库,相关信息如下: Le...
分类:
数据库 时间:
2014-12-05 17:01:27
阅读次数:
772
http://acm.hust.edu.cn/vjudge/problem/viewProblem.action?id=22452
这道题 题意很简单,就是在一行字符串中给定电压(U)电流(I)功率(P)3个中的任意两个让你求另外一个,注意字符串只包含两个等于符号,并且在3个数值的后面有可能有前缀,也就是说有kV,mA,MW等等,k代表1000,m代表0.001 M代表1000000.
不过做...
分类:
其他好文 时间:
2014-12-03 14:19:47
阅读次数:
195
在BigTable中,数据的存储及索引被分为了三个层次,其中SSTable是数据最终在磁盘上的存储形式,SSTable的全称叫做Sorted String Table,是一个排好序的kV形式的数据的集合,SSTable的结构如下图所示: 左边一个图是SSTable的结构,SSTable由多...
分类:
其他好文 时间:
2014-11-12 21:05:19
阅读次数:
266
数据库数据在Java占用内存简单估算
结论:
1.数据库记录放在JAVA里,用对象(ORM一般的处理方式)需要4倍左右的内存空间,用HashMap这种KV保存需要10倍空间;
2.如果你主要数据是text大文本,那空间一般可以按2倍估算。
以上是一个通用数据测试结论,估大家参考。
数据库记录占用的空间大小比较好算,比如一个int占用4字节,bigi...
分类:
数据库 时间:
2014-10-30 19:11:58
阅读次数:
236
LevelDB 简介一、LevelDB入门LevelDB是Google开源的持久化KV单机数据库,具有很高的随机写,顺序读/写性能,但是随机读的性能很一般,也就是说,LevelDB很适合应用在查询较少,而写很多的场景。LevelDB应用了LSM (Log Structured Merge) 策略,l...
分类:
数据库 时间:
2014-10-15 17:54:15
阅读次数:
249
golang实现的leveldb,是由leveldb原作者写的,所以大家可以放心大胆使用。使用方法如下:https://github.com/syndtr/goleveldb/blob/master/README.mdgodoc地址如下:http://godoc.org/github.com/syndtr/goleveldb/leveldb
分类:
数据库 时间:
2014-10-13 16:56:00
阅读次数:
266
caffe中负责整个网络输入的datalayer是从leveldb里读取数据的,是一个google实现的很高效的kv数据库。因此我们训练网络必须先把数据转成leveldb的格式。这里我实现的是把一个目录的全部图片转成leveldb的格式。工具使用命令格格式:convert_imagedata src...
分类:
数据库 时间:
2014-10-02 10:18:32
阅读次数:
322
tableA = {}tableB = {}setmetatable(tableA,tableB)tableB.__mode = "k" -- tableB.__mode = "v" 或者tableB.__mode = "kv"这样,tableA将是一个weak table当tableA中的键的引用...
分类:
其他好文 时间:
2014-09-28 19:37:55
阅读次数:
169
一:缓存条件,原理MySQL Query Cache是用来缓存我们所执行的SELECT语句以及该语句的结果集,MySql在实现Query Cache的具体技术细节上类似典型的KV存储,就是将SELECT语句和该查询语句的结果集做了一个HASH映射并保存在一定的内存区域中。当客户端发起SQL查询时,Q...
分类:
数据库 时间:
2014-09-19 19:10:55
阅读次数:
322