一：TopN的书写编码 1.先上传数据 2.程序 3.结果 4.注意点 Spark中不支持二次排序，如果想实现二次排序，需要根据业务的执行逻辑使用两阶段聚合来进行操作 二：优化 1.两阶段聚合 ...
分类：
其他好文 时间：
2017-02-14 20:28:19
阅读次数：
2073
http://blog.chinaunix.net/uid-16723279-id-3803058.html 《两阶段提交协议与paxos投票算法》 点评：2PC绝对是CP的死党，是分布式情况下强一致性算法，因此缺点也是很明显的， 单点coordinator是个严重问题： 没有热备机制，coordi ...
分类：
其他好文 时间：
2017-01-24 01:24:01
阅读次数：
208
转自： http://www.cnblogs.com/hustcat/p/3577584.html MySQL的事务提交逻辑主要在函数ha_commit_trans中完成。事务的提交涉及到binlog及具体的存储的引擎的事务提交。所以MySQL用2PC来保证的事务的完整性。MySQL的2PC过程如下 ...
分类：
数据库 时间：
2016-12-01 11:45:51
阅读次数：
189
详见：http://blog.yemou.net/article/query/info/tytfjhfascvhzxcyt369 这一几天一直在回顾事务相关的知识，也准备把以前了解皮毛的知识进行一些深入总结，虽然这一些知识并没有用到，但是了解其实现原理还是很有必要的，因为知道了原理，你也能把它实现出 ...
分类：
其他好文 时间：
2016-11-22 12:59:59
阅读次数：
185
详见：http://blog.yemou.net/article/query/info/tytfjhfascvhzxcyt371 两阶段提交的协议大家都比较熟悉了，解释一下每个阶段的异常处理。首先，我们需要持久化协议过程中的状态，这样如果server宕机，那么恢复的时候还能通过日志知道宕机前处于那个 ...
分类：
其他好文 时间：
2016-11-22 11:35:48
阅读次数：
166
kafka是一种分布式的，基于发布订阅的消息系统。具有以下几个方面的特性。 1.能够提供常数时间的消息持久化及访问性能。 2.高吞吐率。廉价的商用机器上能够达到每秒100k条的消息传输。 3.支持kafka server间的消息消息分区，分布式消费，分区内消息的顺序性。 4.支持水平扩展。 5.支持 ...
分类：
其他好文 时间：
2016-11-14 07:45:11
阅读次数：
235
数据存储重要性： 数据是企业最重要的财产； 数据可靠性是企业的命根，一定要保证。 单机存储原理： 存储引擎：存储系统的发动机，它决定存储系统的功能和性能； 引擎类型：哈希存储引擎、B树存储引擎、LSM存储引擎 哈希存储引擎：基于哈希表结构 ：数组+链表；支持Create\Update\Delete\... ...
分类：
其他好文 时间：
2016-11-14 00:50:16
阅读次数：
185
随着大型网站的各种高并发访问、海量数据处理等场景越来越多，如何实现网站的高可用、易伸缩、可扩展、安全等目标就显得越来越重要。 为了解决这样一系列问题，大型网站的架构也在不断发展。提高大型网站的高可用架构，不得不提的就是分布式。在《分布式系统的一致性探讨》一文中主要介绍了分布式系统中存在的一致性问题。 ...
分类：
其他好文 时间：
2016-11-11 12:06:43
阅读次数：
263
【原文地址】https://docs.mongodb.com/manual/ CRUD操作（三） 主要内容： 原子性和事务（Atomicity and Transactions），读隔离、一致性和新近性，分布式查询（Distributed Queries），分布式写操作，模拟两阶段任务提交，在副本集 ...
分类：
数据库 时间：
2016-11-03 23:02:57
阅读次数：
276
Atitit ACID解决方案2PC(两阶段提交) 跨越多个数据库实例的ACID保证 1.1. ACID解决方案1 1.2. 数据库厂商在很久以前就认识到数据库分区的必要性,并引入了一种称为2PC(两阶段提交)的技术来提供跨越多个数据库实例的ACID保证.这个协议分为以下两个阶段:1 1.3. 基本 ...
分类：
数据库 时间：
2016-10-29 07:46:41
阅读次数：
177
