本文主要讲述2PC及3PC,以及Paxos以及Raft协议。 两类一致性(操作原子性与副本一致性) 2PC协议用于保证属于多个数据分片上的操作的原子性。这些数据分片可能分布在不同的服务器上,2PC协议保证多台服务器上的操作要么全部成功,要么全部失败。 Paxos协议用于保证同一个数据分片的多个副本之 ...
分类:
其他好文 时间:
2017-06-22 20:57:25
阅读次数:
168
项目中用到Redis,所以准备学习一下,感觉Redis的概念还是很多的,什么主从模式、Sentinal模式、集群模式的,一下子都晕了,我觉得还是有必要先理清这些基本概念再说。 一、单节点实例 单节点实例还是比较简单的,平时做个测试,写个小程序如果需要用到缓存的话,启动一个Redis还是很轻松的,做为 ...
分类:
其他好文 时间:
2017-06-21 23:07:51
阅读次数:
415
HIVE把表组织成“分区”,这是一种根据“分区列”的值对表进行粗略划分的机制,使用分区可以加快数据分片的查询速度。表或分区可以进一步分为“桶”。它会为数据提供额外的结构以获得更高效的查询处理。创建分区表CREATETABLEbills_detail(msgidSTRING,timeSTRING,spidSTRING,o..
分类:
其他好文 时间:
2017-06-07 21:43:30
阅读次数:
150
数据分片的目的在于把一个任务分散到不同的机器上运行,既可以解决单机计算能力上限的问题,也能降低部分任务失败对整体系统的影响。elastic-job并不直接提供数据处理的功能,框架只会将分片项分配至各个运行中的作业服务器(其实是Job实例,部署在一台机器上的多个Job实例也能分片),开发者需要自行处理 ...
分类:
其他好文 时间:
2017-05-30 00:36:13
阅读次数:
7632
redis集群配置1.1介绍redisCluster:在3.0版本以后支持,无中心,在某种情况下会造成数据丢失,其也是通过算法将数据分片保存至某个redis服务器,即不再通过客户端计算key保存的redis服务器,redis服务器需要提前设置好自己所负责的槽位,比如redisA负责处理0-5000的哈希槽位数..
分类:
其他好文 时间:
2017-05-23 21:46:24
阅读次数:
262
conv conv为一个表示会话编号的整数,和tcp的 conv一样,通信双// 方需保证 conv相同,相互的数据包才能够被认可 cmd cmd用来区分分片的作用。IKCP_CMD_PUSH:数据分片 IKCP_CMD_ACK:ack分片 IKCP_CMD_WASK请求告知窗口大小 IKCP_CM ...
分类:
其他好文 时间:
2017-05-08 21:58:12
阅读次数:
180
几个月前,我开始学习个人形象管理,从发型、妆容、服饰到仪表仪态,都开始做全新改造,在塑造个人风格时,最基础的是先了解自己属于哪种风格,然后找到参考对象去模仿,可以是自己欣赏的人、明星或模特等,直至最后去创新,形成自己独特的个人风格。 学习Python也是一样。开始学习一门新的语言,最便捷的方法是去模 ...
分类:
编程语言 时间:
2017-04-28 15:48:42
阅读次数:
207
本文系本人根据官方文档的翻译,能力有限、水平一般,如果对想学习Elasticsearch的朋友有帮助,将是本人的莫大荣幸。 原文出处:https://www.elastic.co/guide/en/elasticsearch/reference/current/_cluster_health.htm ...
分类:
其他好文 时间:
2017-04-26 23:44:43
阅读次数:
245
背景 由于数据链路层MTU的限制,发送端TCP/UDP数据在交付到IP层时需要与MTU相匹配,TCP数据不能超过mss,较长的UDP需要分片(Fragmentation)以满足MTU要求;接收端协议栈也是从网卡接收上述不超过MTU的小帧并重组,早期上述数据分片和组合的工作均由CPU完成,导致占用CP ...
分类:
其他好文 时间:
2017-04-12 15:02:42
阅读次数:
753
版权声明:本文为博主原创文章,未经博主允许不得转载。目录(?)[+]mycat是一个的数据库中间件,基于阿里开源的cobar产品而研发,由几个有志之士的牛人共同完成并开源。提供高可用性数据分片集群,自动故障切换,高可用性,支持读写分离,支持MySQL双主多从,以及一主多从的模式..
分类:
数据库 时间:
2017-03-17 13:35:32
阅读次数:
295