和Mysql主从复制的原因一样，Redis虽然读取写入的速度都特别快，但是也会产生读压力特别大的情况。为了分担读压力，Redis支持主从复制，Redis的主从结构可以采用一主多从或者级联结构，Redis主从复制可以根据是否是全量分为全量同步和增量同步。下图为级联结构。 全量同步Redis全量复制一般 ...
分类：
其他好文 时间：
2020-03-11 15:46:14
阅读次数：
59
Redis配置文件解析网上都有，这里不赘述了。提供一些值得修改的参数，标注红色的参数尤其需要注意，不然容易出现主从全量同步死循环 NETWORK bind 127.0.0.1 默认是bind 127.0.0.1,注释掉 protected-mode no 默认protected-mode yes，改 ...
分类：
其他好文 时间：
2020-03-05 01:34:08
阅读次数：
116
参考链接： oracle imp/exp版本之间的规则：https://www.cnblogs.com/lcword/p/11779206.html imp/exp导入导出的模式【全量-指定用户-指定表】：https://www.cnblogs.com/lcword/p/11775639.html ...
分类：
数据库 时间：
2020-03-02 23:11:07
阅读次数：
96
需求背景业务系统将各类的报表和统计数据存放于ES中，由于历史原因，系统每天均以全量方式进行统计，随着时间的推移，ES的数据存储空间压力巨大。同时由于没有规划好es的索引使用，个别索引甚至出现超过最大文档数限制的问题，因此我们需要最小的代价来解决这个问题。下面以内网开发、测试环境举例使用python脚本解决这个问题。EachElasticsearchshardisaLuceneindex.There
分类：
编程语言 时间：
2020-02-21 18:33:04
阅读次数：
275
Rsync基本概述 rsync是一款开源，快速，多功能，可实现全量及增量的本地或远程数据同步备份的优秀工具，rsync软件适用于Unix Linux windows等多平台 Rsync简介 rsync英文称为remote synchronizetion rsync具有可使本地和远程两台主机之间的数据 ...
分类：
其他好文 时间：
2020-02-21 12:59:45
阅读次数：
85
1、常见的三种数据的集群存储模式 1. full mirror：全量镜像模式，单纯备份模式，各个节点数据相同，都包含了全量数据，仅主节点可写，保证了数据冗余和读的负载均衡。数据安全性高，横向扩展能力差，资源利用率不高。 2. pure sharding：数据分片，每个节点的数据不相同，所有节点中数据 ...
分类：
其他好文 时间：
2020-02-20 19:54:08
阅读次数：
67
1、Redis数据持久化的必要性 由于redis是基于内存的数据库，面临数据掉电易失的风险，要避免数据丢失，最好将内存数据持久化到磁盘等永久存储介质上。服务重启时，会先加载磁盘文件内的数据到内存，完成数据恢复。 2、RDB（RedisDB） 对内存中的redis全量数据进行 时点快照 并序列化，以文 ...
分类：
其他好文 时间：
2020-02-20 19:53:08
阅读次数：
68
1、增量备份： 增量数据是从上次全量备份之后，更新的新数据，对于mysql来说，binlog日志就是mysql的增量数据；（1）按天进行备份：周一00点全量备份周二00点全量备份......01.sql.gz02.sql.gz......周一增量备份周二增量备份......mysql-bin.000... ...
分类：
数据库 时间：
2020-02-16 10:23:57
阅读次数：
96
在公司的操作es进行查询数据时，es默认分页且只返回十条数据，并且size最大只能传10000，这种查询方式称之为深度分页的方式也就是用 from 和 size 参数分页查询。由于我们当时开发任务紧急，所以在需要获取全量数据时就直接更改了这一限制，改为了10000000（一千万）条。但是这一方式可能 ...
分类：
其他好文 时间：
2020-02-10 17:44:46
阅读次数：
439
1）Mysql数据库备份脚本（完整备份+异地备份）一般Mysql数据库备份会采用在MYSQL从库上执行全量备份+增量备份方式。在从库备份避免Mysql主库备份的时候锁表造成业务影响。#!/bin/bashset-e#当脚本有错误时，便停止执行脚本#备份的数据库名DATABASES=("magedu01""magedu02")USER="root"PASSWORD="dbpwd123"MAIL="1
分类：
系统相关 时间：
2020-02-05 10:15:25
阅读次数：
137
