本文来自网易云社区。 作者:盛国存 背景 我们日常在使用ApiDoc维护管理api文档,提高了api文档的整体维护性。但在老旧接口中,补充接口注解无疑是一次繁重的体力劳动。仔细查看,大多数接口的格式 其实是相似的,那么,是否可以将体力活做的技术一些? 答案是sure,只需要三步。分析log,构建接口 ...
分类:
数据库 时间:
2018-09-19 10:17:07
阅读次数:
178
简介:分片(sharding)是指将数据库拆分,将其分散在不同的机器上的过程。将数据分散到不同的机器上,不需要功能强大的服务器就可以存储更多的数据和处理更大的负载。基本思想就是将集合切成小块,这些块分散到若干片里,每个片只负责总数据的一部分,最后通过一个均衡器来对各个分片进行均衡(数据迁移)。通过一个名为mongos的路由进程进行操作,mongos知道数据和片的对应关系(通过配置服务器)。大部分使
分类:
数据库 时间:
2018-09-17 10:26:18
阅读次数:
227
很久没写博客了,今天公司项目换框架,和大家商量要搞个Entity Framework code first ,然后开始搭建Demo 简单的就不重复了,直接上干货,中间踩过的坑, code first 创建多数据库、多个上下文,而且表名还一样 解决方案,一个数据库创建一个实体类项目,如下图: 问题来了 ...
分类:
其他好文 时间:
2018-09-12 23:05:37
阅读次数:
355
Druid数据迁移小计 Druid 官方网站上讲了相关的 "Dump Segment" 和 "Insert Segment" 相关的功能,但是经过测试这些功能都不好用,报 Guice 的依赖错误,懒得找具体原因了,换一种方式: 冷迁移 。 Druid 的数据存储 既然要冷迁移就需要了解一下 Drui ...
分类:
其他好文 时间:
2018-09-12 18:03:35
阅读次数:
149
使用mydumper/loader全量导出导入数据将MySQL的数据迁移到TiDB,TIDB完全兼容MySQL协议和生态,迁移便捷使用官方提供的迁移工具注:工具可以下载安装在两款数据库的任何一端,我这边是起了另一台机器,因为不仅要全量导出导入,还需要使用syncer工具不停机的数据同步#下载tool压缩包wgethttp://download.pingcap.org/tidb-enterprise
分类:
数据库 时间:
2018-09-10 00:56:25
阅读次数:
1569
在kafka中增加新的节点后,数据是不会自动迁移到新的节点上的,需要我们手动将数据迁移(或者成为打散)到新的节点上 1 迁移方法 kafka为我们提供了用于数据迁移的脚本。我们可以用这些脚本完成数据的迁移。 1.1 生成partiton分配表 1.1.1 创建json文件topic to ...
分类:
其他好文 时间:
2018-09-09 19:58:36
阅读次数:
405
关系型数据库本身比较容易成为系统瓶颈,单机存储容量、连接数、处理能力都有限。当单表的数据量达到1000W或100G以后,由于查询维度较多,即使添加从库、优化索引,做很多操作时性能仍下降严重。此时就要考虑对其进行切分了,切分的目的就在于减少数据库的负担,缩短查询时间。 数据库分布式核心内容无非就是数据 ...
分类:
数据库 时间:
2018-09-08 14:07:02
阅读次数:
241
我是使用source方式导入sql文件的时候,不管怎么设置编码,导入的数据,只要是中文都会出现乱码,所以这里我没有使用source 命令: 示例: 这时,会有一个假死的状态,等一下就好了。(建议先导入一个小一点的数据测试一下,这个假死是要等到文件完全导入才会解除) ...
分类:
数据库 时间:
2018-09-08 11:42:02
阅读次数:
345
背景介绍 随着业务的发展、需求的变化,促使我们追求使用不同类型的数据库,充分发挥其各自特性。如果决定采用新类型的数据库,就需要将既有的数据迁移到新的数据库中。在这类需求中,将SQL Server中的数据导入到MongoDB 中显得尤为突出。 面对这种需求,大家优先想到的就是百度查找第三方工具,可惜截 ...
分类:
数据库 时间:
2018-09-07 23:55:29
阅读次数:
287
最近有个项目因为要搬迁服务器的原因,去找了服务器公司的运维,需要收费,于是果断决定自己实现这个功能。现在百度上已经一大把redis数据库迁移的教程,大部分是利用主从复制或者利用redis的RDB备份之后在需要迁移到的redis放进去来达到迁移的目的。下面的是两种不同情况下可以用到的命令,比较简单 1 ...
分类:
其他好文 时间:
2018-09-07 18:38:48
阅读次数:
178