mysql 设置主从mysql 设置主从Table of Contents主从扩展升级读写分离:主主复制: 互为主从, 也叫双主数据分片, 分区 (高级, 难)主从主从:异步实现slave 的 IO thread当有数据需要同步的时候, master 的 bin log dump 会传给 slave...
分类：
数据库 时间：
2015-09-12 00:50:16
阅读次数：
253
分区和桶：hive把表组织成分区，这是一种根据分区列的值进行粗略划分的机制。使用分区可以加快数据分片的查询速度。
表或分区可以进一步划分为桶，它会为数据提供额外的数据结构从而获得更高效的查询处理。比如：根据用户ID来划分桶，我们可以在所有用户集合的随机样本上快速计算基于用户的查询。分区：
分区是在创建表时用PARTITIONED BY子句进行定义。该子句需要定义列的列表。create tab...
分类：
其他好文 时间：
2015-08-30 11:28:43
阅读次数：
244
NoSQL全名 Not Only SQL，而非No SQL
NoSQL是伴随着WEB2.0的兴起而迅速发展，它的出现就是为了解决大规模的非结构化数据的存储，所以目前市面上的NoSQL都天生支持【集群】和【数据分片】
这里的天生支持是指使用内部机制实现，而非类似MySql的集群和分片，需要使用插件MySQL Proxy来实现，所以在配置和使用上更加灵活以及稳定。
...
分类：
数据库 时间：
2015-08-27 23:10:33
阅读次数：
284
1，对于待存储的海量数据，如何将它们分配到各个机器中去？---数据分片与路由当数据量很大时，通过改善单机硬件资源的纵向扩充方式来存储数据变得越来越不适用，而通过增加机器数目来获得水平横向扩展的方式则越来越流行。因此，就有个问题，如何将这些海量的数据分配到各个机器中？数据分布存储之后，又如何进行查找？...
分类：
编程语言 时间：
2015-08-17 21:41:08
阅读次数：
303
sharding 指数据分片cluster 集群，一个集群包含了多个shards，每个shard都由一个replica set组成collection DB中的表的概念，只不过没有schema每个collection在sharding的场景下都分成了多个chunks，chunk大小可以设置chunk 如果超过设定大小，会被拆分成两个，splitting就是负责这个工作的后台进程。migrate指c...
分类：
数据库 时间：
2015-07-19 20:12:44
阅读次数：
242
前言MongoDB是一个由C++语言编写的基于分布式文件存储的数据库，是当前NoSQL数据库中比较热门的一种，旨在为Web应用提供可扩展的高性能数据存储解决方案。本文介绍MongoDB复制集及数据分片。MongoDB简介MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当..
分类：
数据库 时间：
2015-07-14 06:20:20
阅读次数：
268
输入格式1、输入分片与记录
2、文件输入
3、文本输入
4、二进制输入
5、多文件输入
6、数据库格式输入1、输入分片与记录1、JobClient通过指定的输入文件的格式来生成数据分片InputSplit。
2、一个分片不是数据本身，而是可分片数据的引用。
3、InputFormat接口负责生成分片。InputFormat 负责处理MR的输入部分，有三个作用:
验证作业的输入是否规范...
分类：
其他好文 时间：
2015-06-15 00:19:57
阅读次数：
213
输入格式1、输入分片与记录
2、文件输入
3、文本输入
4、二进制输入
5、多文件输入
6、数据库格式输入1、输入分片与记录1、JobClient通过指定的输入文件的格式来生成数据分片InputSplit。
2、一个分片不是数据本身，而是可分片数据的引用。
3、InputFormat接口负责生成分片。InputFormat 负责处理MR的输入部分，有三个作用:
验证作业的输入是否规范...
分类：
其他好文 时间：
2015-06-10 22:34:49
阅读次数：
207
Cluster简介 ????????Redis 3.0引入的cluster。cluster是具有有自动数据分片、容错、针对读取速度有了显著的提升、改进了AOF重写等的redis分布式实现。 ????Redis 集群是一个分布式（distributed）、...
分类：
其他好文 时间：
2015-06-08 13:34:35
阅读次数：
210
阅读目录背景虚拟桶(virtual buckets)实现总结背景关于数据分片讨论最多的是一致性hash，然而它并不是分布式设计中的银弹百试百灵。 在数据稳定性要求比较高的场景下它的缺点是不能容忍的。比如在Redis分布式缓存设计中，使用一致性Hash进行key分片存储，通过虚拟节点最大化降低添加或删...
