在家自学.net core，本来没想着写博客的，后来想想还是记录一下嘻嘻。 首先，先新建web项目 这里选择 【Web 应用程序(模型视图控制器)】 模板，MVC（Model-View-Controller） 创建完之后目录如下，这里对目录下的文件做一下简单的介绍 实现数据迁移我们要在nuget里安 ...
分类：
Web程序 时间：
2020-05-23 18:33:31
阅读次数：
84
今天在对数据迁移的时候遇到一坑，这个坑之前也是遇到过，在Google之后解决了，今天又遇到了，不知道怎么处理了，又开始搜索，最终解决。特此记录 ...
分类：
数据库 时间：
2020-05-19 10:30:19
阅读次数：
99
新浪微博的数据可是非常有价值的，你可以拿来数据分析、拿来做网站、甚至是*****。不过很多人由于技术限制，想要使用的时候只能使用复制粘贴这样的笨方法。没关系，现在就教大家如何批量爬取微博的数据，大大加快数据迁移速度！ 我们使用到的是第三方作者开发的 爬虫 库 weiboSpider（有 工具 当然要 ...
分类：
编程语言 时间：
2020-05-18 14:29:57
阅读次数：
237
摘要 在上一篇中我们介绍了 "数据迁移的套路" ，但是没有介绍具体的方案，这篇着重介绍下具体的数据迁移方案 一. 设计目标 设计一个数据迁移的方案，需要实现以下目标 1. 迁移速度 qps 需要达到1k，这样能保证1亿的数据能够在1~2天内跑完 2. 迁移qps可控 迁移有可能对线上服务有影响，需要 ...
分类：
其他好文 时间：
2020-05-17 21:44:10
阅读次数：
76
背景 最近在重构权限管理系统(PMS)，因此在验证新开发功能的行为是否和旧功能相同时，采用了一种思路， 控制相同的输入，比对输出是否尽可能一致。因为重构选用了微服务的架构，对于数据库这边拆分成了 多个库。因此开发时需要将原先的PMS库的数据迁移到异构的多个数据库中。 迁移方案 迁移的基本思路是写转换 ...
分类：
其他好文 时间：
2020-05-16 00:38:30
阅读次数：
281
任务：从es集群a,b,c 。。。把数据迁移到新es集群d,e,f 迁移数据只是复制 需要额外3台服务器，分别部署新es集群d,e,f 和 单点logstash是迁移通道 和 kibana查询工具 （集群es复制到单点es，没试过，改天试一下） 具体部署步骤可以自行百度 或者 看我之前的随笔 主要是 ...
分类：
其他好文 时间：
2020-05-13 19:52:47
阅读次数：
157
支持批量生成数据，支持姓名，顺序数，随机数，电话号码，邮箱，家庭地址等等 ...
分类：
其他好文 时间：
2020-05-13 11:45:58
阅读次数：
256
需求： 做数据仓库时,需要将业务系统CRM抽取到数据仓库的缓冲层，业务系统使用的是SqlServer数据库，数据仓库的缓冲层使用的是mysql数据库，为实现数据库的迁移，即将SqlServer数据库中的所有表与数据迁移到Mysql。 解决办法一：利用kettle的复制多表复制向导 过程如下: 1、选 ...
分类：
数据库 时间：
2020-05-09 19:11:54
阅读次数：
156
Centreon涉及的部件似乎很多，按照常规的思路，如果要把配置和数据迁移到别的地方（比如换新机器），感觉上应该是比较麻烦的。大致考虑一下，就应该包含apache、php、centreon-engine、centreon-broker、数据库等各种配置。如果一个个的备份导出再导入，很累而且可能遗漏。不想这么干，于是就思量，能不能更简单一些呢？原理上讲，centreon与其它的机制有很大的不同，就是
分类：
其他好文 时间：
2020-05-08 10:08:28
阅读次数：
69
一面： hashmap，怎么扩容，怎么处理数据冲突？怎么高效率的实现数据迁移？ Linux的共享内存如何实现，大概说了一下。 socket网络编程，说一下TCP的三次握手和四次挥手 同步IO和异步IO的区别？ Java GC机制？GC Roots有哪些？ 红黑树讲一下，五个特性，插入删除操作,时间复 ...
分类：
编程语言 时间：
2020-05-06 14:10:59
阅读次数：
134
