前言 移动互联网时代，海量的用户数据每天都在产生，基于用户使用数据等这样的分析，都需要依靠数据统计和分析，当数据量小时，数据库方面的优化显得不太重要，一旦数据量越来越大，系统响应会变慢，TPS直线下降，直至服务不可用。 补充 在mysql中，每个数据库最多可创建20亿个表，一个表允许定义1024列， ...
分类：
数据库 时间：
2020-05-07 13:43:11
阅读次数：
140
谈到性能优化分析一般会涉及到： Java代码层面的，典型的循环嵌套等 还会涉及到Java JVM：内存泄漏溢出等 MySQL数据库优化：分库分表、慢查询、长事务的优化等 阿里P8架构师谈：MySQL慢查询优化、索引优化、以及表等优化总结 阿里P8架构师谈：架构设计之数据库垂直、水平拆分六大原则（数据 ...
分类：
其他好文 时间：
2020-05-07 13:38:17
阅读次数：
117
处理大数据量数据访问速度缓慢的问题 方案1 水平分库分表，比如根据年份划分， 数据库、 数据库等等 查询的时候根据查询时间，去不同的数据库查询，然后组合结果返回 示例代码 "HistoricalDataManage" 方案2 建立 和`实时数据库`，历史数据库存储所有数据，实时数据库仅保留常用数据 ...
分类：
其他好文 时间：
2020-05-06 21:35:33
阅读次数：
89
原文:.net core 基于Dapper 的分库分表开源框架（core-data） 一、前言 感觉很久没写文章了，最近也比较忙，写的相对比较少，抽空分享基于Dapper 的分库分表开源框架core-data的强大功能，更好的提高开发过程中的效率； 在数据库的数据日积月累的积累下，业务数据库中的单表... ...
分类：
移动开发 时间：
2020-05-06 01:13:54
阅读次数：
87
给定 n 个非负整数表示每个宽度为 1 的柱子的高度图，计算按此排列的柱子，下雨之后能接多少雨水。 上面是由数组 [0,1,0,2,1,0,1,3,2,1,2,1] 表示的高度图，在这种情况下，可以接 6 个单位的雨水（蓝色部分表示雨水）。 感谢 Marcos 贡献此图。 示例: 输入: [0,1, ...
分类：
其他好文 时间：
2020-05-05 17:51:31
阅读次数：
60
数据迁移的类型 随着业务的发展，存储也会经常性的需要迁移。以下场景是我们开发过程中经常遇到的 1. 业务、团队在快速扩张，需要适当时机进行微服务的拆分，需要独立的数据库，将数据从源数据库迁移到新的数据库 2. 单表的记录数比较大，需要进行分库分表。需要将老表的数据迁移到新的分表中。 3. 存储选型不 ...
分类：
其他好文 时间：
2020-05-04 13:13:58
阅读次数：
129
一、背景 最近公司项目添加新功能，上线后发现有些功能的列表查询时间很久。原因是新功能用到旧功能的接口，而这些旧接口的 SQL 查询语句关联5,6张表且编写不够规范，导致 MySQL 在执行 SQL 语句时索引失效，进行全表扫描。原本负责优化的同事有事请假回家，因此优化查询数据的问题落在笔者手中。笔者 ...
分类：
数据库 时间：
2020-05-03 11:03:08
阅读次数：
66
介绍： Sharding-JDBC，定位为轻量级Java框架，在Java的JDBC层提供的额外服务。 它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。 Sharding-JDBC的核心功能为 数据分片 和 读写分离 ...
分类：
数据库 时间：
2020-05-02 18:39:54
阅读次数：
381
分库分表的方式：分库分表包括分库和分表两个部分，通常包括：垂直分库、水平分库、垂直分表、水平分表四种方式。 垂直分表： 垂直分表定义：将一个表按照字段分成多表，每个表存储其中一部分字段。 一般来说，某业务实体中的各个数据项的访问频次是不一样的，部分数据项可能是占用存储空间比较大的BLOB或是TEXT ...
分类：
其他好文 时间：
2020-05-02 15:13:07
阅读次数：
57
Docker安装使用 [TOC] ubuntu 安装Docker 更新ubuntu的apt源索引 安装包允许apt通过HTTPS使用仓库，(将下面的命令完全复制，然后粘贴到命令窗口) 添加Docker官方GPG key 设置Docker稳定版仓库 添加仓库后，更新apt源索引 安装最新版Docker ...
分类：
其他好文 时间：
2020-04-28 12:51:25
阅读次数：
65
