如果采用redis数据库集群操作方式爬取数据源,那么爬虫客户端最好设置redis数据库的密码,否则对方将无法进行数据库链接操作,并且会报未知错误。 redis-cli -h 192.168.1.53 -p 6379 -a 12345 (依次是 目标主机地址,端口号,对方数据库密码) 如此能确保集群的 ...
分类:
数据库 时间:
2019-03-23 22:38:56
阅读次数:
220
①主从复制[不推荐使用了] 最基本的设置方式就是建立一个主节点和一个或多个从节点,每个从节点要知道主节点的地址。采用双机备份后主节点挂掉了后从节点可以接替主机继续服务,所以这种模式比单节点的高可用性要好很多。 ②注意点 1)在数据库集群中要明确的知道谁是主服务器,主服务器只有一台. 2)从服务器要知 ...
分类:
数据库 时间:
2019-03-19 01:06:11
阅读次数:
190
缓存里放的是一些平时不怎么变动的数据,当用户查询时,可以直接从缓存里查询。缓存集群的并发能力是很强的,而且读缓存的性能是很高的,缓存其实在系统架构里是非常重要的组成部分。很多时候,对于那些很少变化但是大量高并发读的数据,通过缓存集群来抗高并发读,是非常合适的。 但是在使用过程中,会出现热点缓存问题, ...
分类:
其他好文 时间:
2019-03-13 21:43:43
阅读次数:
238
单实例数据库 ID用自增比用UUID更高效,涉及到InnoDB的索引存储模式的问题。 多实例数据库集群 自增机制失效,采用UUID方式,多数据库实例全局唯一。UUID的缺点:1.索引效率低,2.安全容易泄露MAC地址。 综上上述原因,Twitter设计了Snowflake(雪花)算法,单调递增且不泄 ...
分类:
数据库 时间:
2019-03-10 20:49:00
阅读次数:
217
软件架构演进 软件架构的发展经历了从单体结构、垂直架构、SOA架构到微服务架构的过程,以下为具体分类: 1.1.1 单体架构 特点: 1、所有的功能集成在一个项目工程中。 2、所有的功能打一个war包部署到服务器。 3、应用与数据库分开部署。 4、通过部署应用集群和数据库集群来提高系统的性能。 优点 ...
分类:
其他好文 时间:
2019-03-01 18:34:42
阅读次数:
342
数据库集群会产生的问题: 自增ID问题 数据关联查询问题(水平拆分) 数据同步问题 数据库集群 自动增长id产生重复的话,解决: UUID形式 (没有排序 不是自增) 设置数据库步长 其他方案: redis 或者雪花算法 数据库分库分表的策略: 数据库分表分库策略 数据库分表分库原则遵循 垂直拆分与 ...
分类:
其他好文 时间:
2019-01-29 01:13:04
阅读次数:
276
一. 单个数据库服务器的缺点 一. 单个数据库服务器的缺点 数据库服务器存在单点问题数据库服务器资源无法满足增长的读写请求高峰时数据库连接数经常超过上限 二. 如何解决单点问题 增加额外的数据库服务器,组建数据库集群 同一集群中的数据库服务器需要具有相同的数据 集群中的任一服务器宕机后,其它服务器可 ...
分类:
数据库 时间:
2019-01-14 14:31:45
阅读次数:
208
原文:MySQL主从复制架构使用方法一. 单个数据库服务器的缺点 数据库服务器存在单点问题 数据库服务器资源无法满足增长的读写请求 高峰时数据库连接数经常超过上限 二. 如何解决单点问题 增加额外的数据库服务器,组建数据库集群 同一集群中的数据库服务器需要具有相同的数据 集群中的任一服务器宕机后,其... ...
分类:
数据库 时间:
2019-01-13 23:29:27
阅读次数:
250
第1章 课程介绍课程介绍1-1 MyCAT导学 试看1-2 课程介绍 第2章 MyCAT入门这一章中,我们将回顾了垂直切分,水平切分,分库分表等基础概念,然后快速回如何安装和启动MyCAT的,介绍如何以打包好的可执行程序的方式来启动MyCAT。以及如何对其相关的启动配置文件进行配置。2-1 章节综述 ...
分类:
数据库 时间:
2019-01-13 18:11:38
阅读次数:
265
一. 单个数据库服务器的缺点 数据库服务器存在单点问题 数据库服务器资源无法满足增长的读写请求 高峰时数据库连接数经常超过上限 二. 如何解决单点问题 增加额外的数据库服务器,组建数据库集群 同一集群中的数据库服务器需要具有相同的数据 集群中的任一服务器宕机后,其它服务器可以取代宕机服务器 三. M ...
分类:
数据库 时间:
2019-01-13 14:58:14
阅读次数:
164