1、Bloom Filter 过滤器数据分片与路由 分区算法：一致性哈希算法 2、备份机制与一致性 3、CAP理论 4、幂等性：分布式系统状态管理基石 5、一致性模型：强、弱、最终一致。 6、备份机制：法7,Leader-Follower模式 7、共识协议：一致性协议。Paxos或者Raft 8、算 ...
分类：
其他好文 时间：
2017-11-08 23:27:24
阅读次数：
207
分布式数据库笔记 分布式的基本要求 分布式系统的优点 分布式系统的缺点 区别： 分布式数据系统的分类 体系架构 数据分片（完备性、重构条件、不相交条件） 分布式数据库组件 接受全局管理系统命令 做本地数据库管理 4.通信管理系统 管理全局与局部管理系统直接的通讯协议 每个分片直接的通信 集中式数据库 ...
分类：
数据库 时间：
2017-11-06 14:57:56
阅读次数：
213
redis集群 redis锁 1.Redis集群是一个提供在多个redis节点间共熟数据的程序集。 2.redis集群的数据分片（1）Redis没有使用一致性hash而是引入hash槽的概念。（2）Redis集群共有16384个hash槽（不管redis有几台机器，整个集群一共有16384个hash ...
分类：
其他好文 时间：
2017-09-18 22:31:51
阅读次数：
207
Redis集群是一个提供在多个Redis节点间共享数据的程序集。 Redis集群中不支持处理多个keys的命令。 Redis集群通过分区来提供一定程度的可用性。在某个节点宕机或者不可用的时候可以继续处理命令。 Redis集群数据分片 在Redis集群中，使用数据分片(sharding)而不是一致性h ...
分类：
其他好文 时间：
2017-09-12 22:05:11
阅读次数：
249
恢复内容开始 一、数据分片相关： 数据分片：系统水平扩展。数据分片存的各个机器上 数据复制：保证数据的高可用性，保证读操作的效率，客服端从多个备份数据中选择物理距离较近的读取，提高单次读取效率 数据路由：分片后找到某条记录的存储位置 缺点：数据一致性 二、数据分片和路由的抽象模型 二级映射： 1、k ...
分类：
其他好文 时间：
2017-08-17 21:37:28
阅读次数：
185
事由：mongodb已经进行数据分片，这样就不能使用一些方法就不能使用，例如eval,$group如果尝试使用mongodb会提示 错误原因：分片服务端不支持单服务器实例方法 经过查找，分片服务器的查询和操作只能使用MapReduce或者Aggregate（聚合管道）操作，这两个mongodb的高级 ...
输入格式 1、输入分片与记录 2、文件输入 3、文本输入 4、二进制输入 5、多文件输入 6、数据库格式输入 1、输入分片与记录 1、JobClient通过指定的输入文件的格式来生成数据分片InputSplit。 2、一个分片不是数据本身，而是可分片数据的引用。 3、InputFormat接口负责生 ...
分类：
其他好文 时间：
2017-07-16 15:45:16
阅读次数：
234
solr操作url 使用正常的core，使用命令生成coillection solr create_collection -c students2 -d ../server/solr/my/conf -shards 2 -replicationFactor 2 -router implicit -r ...
分类：
其他好文 时间：
2017-07-06 20:45:34
阅读次数：
159
1，自己定义数字范围分片 自己定义数字范围分片，提前规划好分片字段某个范围属于哪个分片，比方说将第一个500W的数据分片在第一个节点上面。第二个500W的数据分片在第二个节点上，依次类推 2，加入配置文件 在function.xml里面进行配置： <!-- 对自己定义数字分片规则rang-long- ...
分类：
其他好文 时间：
2017-06-28 21:43:44
阅读次数：
185
在前文中，提出了分布式系统（尤其是分布式存储系统）需要解决的两个最主要的问题，即数据分片和数据冗余，下面这个图片（来源）形象生动的解释了其概念和区别： 其中数据即A、B属于数据分片，原始数据被拆分成两个正交子集分布在两个节点上。而数据集C属于数据冗余，同一份完整的数据在两个节点都有存储。当然，在实际 ...
分类：
其他好文 时间：
2017-06-28 14:31:27
阅读次数：
207
