比特币存储机制 比特币存储系统由两部分组成：kv数据库(levelDB)索引和普通数据文件。普通文件用于存储区块链数据，kv数据库用于存储区块链元数据。用于存储区块链数据的普通文件以blk00000.dat,blk00001.dat文件名格式组成。其中index目录存储用于存储区块元数据。普通区块数据文件 为了快速检索区块数据，每个文件的大小是128MBytes。区块里的数据（区块头和区块里的
分类：
其他好文 时间：
2018-12-18 14:38:50
阅读次数：
239
Sparkshuffle是什么Shuffle在Spark中即是把父RDD中的KV对按照Key重新分区，从而得到一个新的RDD。也就是说原本同属于父RDD同一个分区的数据需要进入到子RDD的不同的分区。现在的spark版本默认使用的是sortshuffle;shuffle在哪里产生shuffle在spark的算子中产生,也就是运行task的时候才会产生shuffle.sortShuffleManag
分类：
其他好文 时间：
2018-12-17 14:26:59
阅读次数：
208
基于内存存储性能好，但是成本较高。内存存储目前用的多的是redis，以及hash数据结构。最好根据业务需求， 以及业务特性将一部分存储存储到磁盘。基于磁盘存储支持高并发写以及较高并发读的数据结构是LSM。 基于磁盘存储相关文章，对于调研以及线上使用可以作为参考： kv存储Aerospike http ...
分类：
其他好文 时间：
2018-12-13 14:59:22
阅读次数：
192
阿里云第一届数据性能大赛 初赛总结 只参加了初赛，复赛没时间参加。最终初赛结果top 59/1653，第一次参加这种性能比赛，收获颇丰。 一、题目 比赛总体分成了初赛和复赛两个阶段，整体要求实现一个简化、高效的 kv 存储引擎 初赛要求支持 Write、Read 接口。 复赛在初赛题目基础上，还需要 ...
分类：
数据库 时间：
2018-12-12 00:42:13
阅读次数：
407
dict字典 字典是一种组合数据，没有顺序的组合数据，数据以键值对形式出现 字典的特征¶ 字典是序列类型，但是是无序序列，所以没有分片和索引 字典中的数据每个都有键值对组成，即kv对 key: 必须是可哈希的值，比如int,string,float,tuple, 但是，list,set,dict 不 ...
分类：
编程语言 时间：
2018-11-22 13:17:57
阅读次数：
213
推荐博客 ： https://blog.csdn.net/Whispers_zmf/article/details/80809609 http://www.cnblogs.com/Kv-Stalin/p/9443622.html HDU 2222 ...
分类：
其他好文 时间：
2018-11-22 00:09:10
阅读次数：
160
使用方法： git 帮助信息： git 变量KV命名： 3.两种patch的比较： 兼容性：很明显，git diff生成的Patch兼容性强。如果你在修改的代码的官方版本库不是Git管理的版本库，那么你必须使用git diff生成的patch才能让你的代码被项目的维护人接受。 除错功能：对于git ...
分类：
其他好文 时间：
2018-11-01 20:28:39
阅读次数：
167
<! flowchart 箭头图标 勿删 1 为什么需要服务发现 简单来说，服务化的核心就是将传统的一站式应用根据业务拆分成一个一个的服务，而微服务在这个基础上要更彻底地去耦合（不再共享DB、KV，去掉重量级ESB），并且强调DevOps和快速演化。这就要求我们必须采用与一站式时代、泛SOA时代不同 ...
分类：
编程语言 时间：
2018-10-23 10:55:27
阅读次数：
169
redis 是什么 redis 是什么 我们都知道 mysql、oracle 是关系型数据库，它们的特点就是像一个 Excel 表格一样，而且都是用 SQL 语句。但是你可能看到一种东西叫NoSQL。NoSQL 泛指非关系型数据库，他的存储结构和关系型数据库不一样，一般是存储的数据都是 KV 格式的 ...
分类：
其他好文 时间：
2018-10-16 20:53:28
阅读次数：
190
block结构示意图 sstable中Block 头文件如下: 重启点在上个章节已经介绍过了 "“重启点”是干什么的呢？简单来说就是进行数据压缩，减少存储空间。我们一再强调，Block内容里的KV记录是按照Key大小有序的，这样的话，相邻的两条记录很可能Key部分存在重叠，比如key i=“the ...
分类：
数据库 时间：
2018-10-15 14:48:15
阅读次数：
292
