一、现象 一、现象 凌晨对线上一张表添加索引，表数据量太大(1亿+数据，数据量50G以上)，造成主从延迟几个小时，各个依赖从库的系统无法查询数据，最终影响业务。 凌晨对线上一张表添加索引，表数据量太大(1亿+数据，数据量50G以上)，造成主从延迟几个小时，各个依赖从库的系统无法查询数据，最终影响业务 ...
分类：
数据库 时间：
2019-06-13 13:22:53
阅读次数：
91
web页面数据没有更新，刚开始老夫以为同步断了，上了服务器查看数据库同步状态（show slave status\G），发现是双yes，以为是数据太多堵塞没同步过来呢，待会应该就会好了，第二天看了一眼还是没有同步，查看同步状态还是双yes，同步的位置（pos）和主库是一样的，主库有数据从库没有，然后 ...
分类：
数据库 时间：
2019-06-13 00:38:00
阅读次数：
268
当MySQL单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化： 单表优化 除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单表的 ...
分类：
数据库 时间：
2019-06-12 15:17:27
阅读次数：
126
Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。 与 Hadoop 和 Storm 等其他大数据和 MapReduce 技术相比，Spark 有如下优势。 首先，Spark 为我们提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源 ...
分类：
其他好文 时间：
2019-06-12 11:09:43
阅读次数：
118
第3章 HBase Shell操作 3.1 基本操作 1．进入HBase客户端命令行 2．查看帮助命令 3．查看当前数据库中有哪些表 3.2 表的操作 1．创建表 2．插入数据到表 3．扫描查看表数据 4．查看表结构 5．更新指定字段的数据 6．查看“指定行”或“指定列族:列”的数据 7．统计表数据 ...
分类：
系统相关 时间：
2019-06-12 09:15:56
阅读次数：
200
比如一张表： artile (id,type,content); type:1表示文艺类，2表示小说类，3表示传记，4表示传说，等等5,6,7,8 表数据： id type content 1 3,1 dfasdfasdf 2 1,3,6,8 dfasdf 3 6,8,9 add 现在要找出3传记类 ...
分类：
数据库 时间：
2019-06-10 18:40:25
阅读次数：
165
如果我们需要修改或更新 MySQL 中的数据，我们可以使用 SQL UPDATE 命令来操作。. 语法 以下是 UPDATE 命令修改 MySQL 数据表数据的通用 SQL 语法： UPDATE table_name SET field1=new-value1, field2=new-value2 ...
分类：
数据库 时间：
2019-06-06 14:15:13
阅读次数：
111
今天遇到一个需求，是同一个实例里面的两个库中的几张表需要做单向同步，刚开始想直接使用Otter&Canal的架构去做同步。但是因为这个架构依赖的是binlog进行同步的，但是阿里云RDS对于binlog是有做定时清理操作的。所以如果用canal去通过binlog同步的话 一旦RDS的binlog 清 ...
分类：
数据库 时间：
2019-06-04 14:39:17
阅读次数：
240
1. 创建一个数据表 order_1，同时复制出一份表order_2表结构如下：CREATE TABLE a_order_1 (order_id int(11) NOT NULL AUTO_INCREMENT,order_sn varchar(100) DEFAULT NULL,user_nick ...
分类：
数据库 时间：
2019-06-04 12:42:06
阅读次数：
185
过程：PLSQL——>Database links——>新建一个dblink 新建dblink具体步骤： 1、数据库连接 所有者：XXX（比如:EAPS） 名称：XXX(辨识度高点的名字，比如：EAPS_LINK) 2、连接到 用户名：XXX(目标数据库用户名) 口令：XXX(目标数据库密码) 数据 ...
分类：
数据库 时间：
2019-06-04 09:55:02
阅读次数：
506
