Redis Cluster是Redis的分布式解决方案，在Redis 3.0版本正式推出的，有效解决了Redis分布式方面的需求。当遇到单机内存、并发、流量等瓶颈时，可以采用Cluster架构达到负载均衡的目的。 数据分布理论与Redis的数据分区 分布式数据库首要解决把整个数据集按照分区规则映射到 ...
分类：
其他好文 时间：
2018-06-24 23:51:47
阅读次数：
371
一、分区原理 1.为什么要分区？（这个借用别人的一段话来阐述。） 为了减少网络传输，需要增加cpu计算负载。数据分区，在分布式集群里，网络通信的代价很大，减少网络传输可以极大提升性能。mapreduce框架的性能开支主要在io和网络传输，io因为要大量读写文件，它是不可避免的，但是网络传输是可以避免 ...
分类：
其他好文 时间：
2018-06-23 19:11:01
阅读次数：
197
一、Elasticsearch安装 一、下载Elasticsearch并解压 cd /usr/local/src wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.4.tar.gz tar xf e ...
分类：
其他好文 时间：
2018-06-08 14:34:46
阅读次数：
153
一、数据分布 1.数据分布理论 2.Redis数据分区 3.集群功能限制 二、搭建集群 1.准备节点 2.节点握手 3.分配槽 4.用redis-trib.rb搭建集群 三、节点通信 1.通信流程 2.Gossip消息 3.节点选择 四、集群伸缩 1.伸缩原理 2.扩容集群 3.收缩集群 五、请求路 ...
分类：
其他好文 时间：
2018-06-04 23:26:15
阅读次数：
150
1.1 概述： mapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程，这个流程就叫shuffle；(从map的输出到reduce的输入) shuffle: 洗牌、发牌——（核心机制：数据分区，排序，缓存）； 具体来说：就是将maptask输 ...
分类：
其他好文 时间：
2018-06-03 12:34:31
阅读次数：
191
使用虚拟机做嵌入式开发，千万不要一整个盘挂载到/root，如果你这样做了，这绝对是噩梦的伏笔。 IF( 你的虚拟机不幸崩溃了 ) { 第一步：不要慌张 当你的虚拟机崩溃无法启动时，不要慌张，第一时间不要使用snapshot备份的镜像还原，尤其是当你的虚拟机里面包含了重要数据的时候。 第二步：扩容你的 ...
分类：
其他好文 时间：
2018-06-02 11:22:22
阅读次数：
143
背景 当站点的规模不断膨胀，这给数据库带来巨大的查询压力，单单数据库性能优化已经是不够的，需对数据库进行伸缩扩展。有三种方式： 1、数据库主从 2、数据表分库（垂直分区） 3、数据分区（水平分区） PS：事实上，很多大规模的站点基本上经历了从简单主从复制到垂直分区，再到水平分区的步骤。 数据库主从 ...
分类：
数据库 时间：
2018-05-12 15:08:13
阅读次数：
181
MySQL的分区 一 分区表适用于以下场景 1：表非常大以至于无法全部放在内存中，或者只在标的最后部分有热点数据，其他均是历史数据 2：分区表的数据更容易维护。例如想批量删除大量数据可以使用清除整个分区的方式。另外还可以对一个独立分区进行优化、检查、修复等操作。 3：分区表的数据可以分布在不同的物理 ...
分类：
数据库 时间：
2018-04-12 16:14:09
阅读次数：
229
分区表 MSSQL有一个大数据储存方案，可以提高效率那就是分区表。 使用起来跟普通表没有区别。至于具体原理自己度娘吧。 真正性能的提高，是依赖于硬件的加入。也是就说，当把一个表设置成分区表，每一个分区，应该储放在不同的硬盘的。 如果分区表使用的是同一块硬盘，那么性能是不会有提高。 组装电脑 本身案例 ...
分类：
数据库 时间：
2018-04-06 14:02:01
阅读次数：
232
环境说明操作系统：macOSHighSierraDocker版本：docker内容摘要：Docker安装直接访问docker官网，下载dockerCE版本进行安装https://store.docker.com/editions/community/docker-ce-desktop-macdocker默认的本地镜像时存在当前用户目录下的，为了方便管理，将其转移到专用的数据分区中Docker加速器
分类：
系统相关 时间：
2018-03-29 16:00:41
阅读次数：
178
