首先放出Django migrate的时候显示sql的命令 然后显示出来看的时候执行的玩意是这样的 可以看到datetime换成了datatime（6），换成datatime才让sql可以正常运行，暂时没空深究，先开发，记住这个问题，有空回来收拾。 ...
分类：
其他好文 时间：
2019-06-12 15:09:32
阅读次数：
103
环境说明 单机redis redis集群 迁移步骤 查看集群状态及节点槽分布 把101:7001和102:7000两个master的slots转移到101:7000上 查看转以后槽点分配 把192.168.41.101:6379的appendonly.aof 文件复制到101:7000的aof文件目 ...
分类：
其他好文 时间：
2019-06-12 11:02:54
阅读次数：
118
pgloader 是一个支持多种数据源迁移到pg 数据库的工具，高性能，使用灵活同时作者 也提供了docker 版本的镜像，今年3月份使用此工具的时候，发现好久都没更新了，但是 最近作者有了新版本的发布，同时支持pg to pg，修复了部分bug，同时也有了新的官方 文档。 同时作者提出的Conti ...
分类：
其他好文 时间：
2019-06-12 10:41:46
阅读次数：
244
1.前期知识储备 在线数据迁移，是指将正在提供线上服务的数据，从一个地方迁移到另一个地方，整个迁移过程中要求不停机，服务不受影响。根据数据所处层次，可以分为cache迁移和存储迁移；根据数据迁移前后的变化，又可以分为平移和转移。 平移是指迁移前后数据组织形式不变。比如Mysql从1个实例扩展为4个实 ...
分类：
其他好文 时间：
2019-06-11 10:51:36
阅读次数：
96
这里主要从应用角度讲这三者之间的关系 在数据分析工作全流程中，统计方法主要应用在数据探索、统一分析与建模阶段 平均值、中位数等更好了解当前的数据，A/B测试检测两个数据差异是否显著等。 …… 监督学习的驱动力分析与无监督学习的分类分析 ...
分类：
其他好文 时间：
2019-06-07 10:37:30
阅读次数：
124
什么是测试数据生成?我们如何产生它? 在我们测试过程中往往需要测试我们场景更加的充分，而创建数据测试。 测试数据包括输入输出，对输出的自动化验证等。 创建测试数据的方法： 1.手动。 2.从生产到测试环境的大量数据拷贝。 3. 自动测试数据生成工具。 为什么需要数据驱动测试? 数据驱动测试是一种在软 ...
分类：
其他好文 时间：
2019-06-05 20:13:48
阅读次数：
98
COS 迁移 SQL Server 数据 操作场景云数据库 sql server 支持用户通过 cos 文件来进行数据迁移。 注意： 迁移之前需保证目的实例的 sql server 版本不低于源实例的版本。 迁移的 bak 文件需保证每个 bak 文件只包含一个库。 迁移库不能与云 sql serv ...
分类：
数据库 时间：
2019-06-05 09:25:32
阅读次数：
133
一：Kafka概述 离线部分： Hadoop->离线计算(hdfs / mapreduce) yarn zookeeper->分布式协调（动物管理员） hive->数据仓库（离线计算 / sql）easy coding flume->数据采集 sqoop->数据迁移mysql->hdfs/hive ...
分类：
其他好文 时间：
2019-06-04 09:20:50
阅读次数：
124
经常听到有人说“数据表太大了，需要分表”，“xxxx了，要分表”的言论，那么，到底为什么要分表？ 难道数据量大就要分表？ mysql数据量对索引的影响 本人mysql版本为5.7 新增数据测试 为了测试mysql索引查询是否和数据量有关，本人做了以下的测试准备： 新建4个表article1，arti ...
分类：
数据库 时间：
2019-05-28 09:44:24
阅读次数：
182
第一步让我们来看看我们的大量数据的excel 文件好的下面第二步看一下代码：package com.chinait.utils; / 写这个东西主要是最近做了一个联通的数据迁移工作，他们就是这样导出的数据，所以我们写了这个代码。 还有一个就是网上n 多都是半成品，代码不能直接运行，我这个代码能够直接 ...
分类：
编程语言 时间：
2019-05-27 17:52:34
阅读次数：
333
