1.基础概念 1.1.什么是事务 什么是事务？举个生活中的例子：你去小卖铺买东西，“一手交钱，一手交货”就是一个事务的例子，交钱和交货必须全部成功，事务才算成功，任一个活动失败，事务将撤销所有已成功的活动。 明白上述例子，再来看事务的定义： 事务可以看做是一次大的活动，它由不同的小活动组成，这些活动 ...
分类：
其他好文 时间：
2019-11-01 18:45:11
阅读次数：
95
集群规模计算集群规模取决于用户数据及应用需求，最终规划值为以下各种计算方式得出的最小集群规模的最大值?容量需求–估算相对容易且准确–大多数案例可以通过容量来决定集群规模?计算需求–准确的估算计算资源只能通过小规模测试并合理估算?其他资源限制–如用户MapReduce应用可能对内存等资源有特殊要求，且单节点可配置资源相对有限，则集群最小规模需满足用户此类资源要求网络建议?建议使用万兆网络或更高速度网
分类：
其他好文 时间：
2019-06-04 14:52:44
阅读次数：
200
微信公众号： "内核小王子" 关注可了解更多关于数据库，JVM内核相关的知识; "如果你有任何疑问也可以加我pigpdong" [^1] 前言 随着微服务化,以及集群规模化,传统的日志检索,指标监控,调用链分析作为功能单一的系统,已经无法更好的帮我们分析问题,我们需要一个监控平台将他们之间的数据进行 ...
分类：
其他好文 时间：
2019-05-21 16:00:10
阅读次数：
134
1. 网站架构的伸缩性设计 1.1. 不同功能进行物理分离实现伸缩 纵向分离（分层后分离）：将业务处理流程上的不同部分分离部署，实现系统伸缩性。 横向分离（业务分割后分离）：将不同的业务模块分离部署，实现系统伸缩性。 1.2. 单一功能通过集群规模实现伸缩 将不同功能分离部署可以实现一定程度的伸缩性 ...
分类：
Web程序 时间：
2019-04-29 15:24:42
阅读次数：
142
ZooKeeper是一个开源分布式协调服务、分布式数据一致性解决方案。可基于ZooKeeper实现命名服务、集群管理、Master选举、分布式锁等功能。高可用为了保证ZooKeeper的可用性，在生产环境中我们使用ZooKeeper集群模式对外提供服务，并且集群规模至少由3个ZooKeeper节点组成。集群至少由3个节点组成ZooKeeper其实2个节点也可以组成集群并对外提供服务，但我们使用集群
分类：
其他好文 时间：
2019-04-10 00:48:37
阅读次数：
208
官方的in-place upgrade直接在线升级，但问题是只能一个一个版本的升无法做到跨版本升级，如果一次跨越多个版本，并且集群规模比较大的化，就需要花费很长的时间了。 实际生产过程中因为是分布式环境，所以机器量一般都比较大，官方升级模式有一个好处就是始终能够对外提供服务。 问题是连续升级的时间消 ...
分类：
其他好文 时间：
2018-12-29 01:07:47
阅读次数：
415
LAXCUS大数据操作系统，集成虚拟化、大数据、数据库、容器、中间件的多集群多用户多任务全栈通用系统软件，运行、开发、维护管理为一体的平台。集群规模：百万级物理节点、EB级计算数据、亿/秒响应。产品从零构建，完全自主可控，开放源代码。 ...
分类：
其他好文 时间：
2018-09-28 10:57:39
阅读次数：
174
从这篇开始记录一下集群迁移的事情早先因为机房没地方，就已经开始规划集群搬机房的事情，最近终于开始动手了，我会把这次不停机迁移的过程遇到的主要问题和矛盾以及各种解决方法记录下来。集群规模说大不大，几百台，总容量30PB左右。Hadoop使用CDH 5.5.1加一些自定义patch的rpm打包编译版本。总的方案是集群不停机，在两个机房之间架设专线，旧机房decommission，拉到新机房recomm
分类：
其他好文 时间：
2018-07-31 17:27:47
阅读次数：
176
集群数量：3、5、7这样的奇数。当然偶数也可以组成集群只是3台与4台组成的集群其实允许的故障数量是一样的，所以4台组成的集群不划算。多机房问题：如果每个机房之间的网络状况良好可以在每个机房都部署ZK服务器来组成一个大的Zookeeper集群。首先确定你的集群规模比如是N台。然后分别计算每个机房的点数。第一个机房N1=（n-1）/2 ，第二个机房N2的取值范围是 1~（N-N1）/2，第三个机房N3
分类：
其他好文 时间：
2018-06-30 15:27:16
阅读次数：
149
经常有用户会问这个问题，你家的产品能处理多大数据量？似乎是这个值越大产品就越牛。这个问题，其实没多大意义。能处理多大的数据量，还有个很关键的因素是期望的响应时间，在脱离这个因素单纯谈大数据产品的数据处理量，就不知道怎么回答了。考虑只有单台机器的简单情况。如果是希望秒级响应的OLAP式汇总，那么GB级都是挺大的数据了，几乎不可能有什么产品能处理TB级数据（除非有巨大内存）。而如果是数小时内完成的ET
分类：
其他好文 时间：
2018-06-12 11:22:12
阅读次数：
134
