https://www.yuque.com/cdhongit/wzu20x Sqoop 数据迁移工具 由于传统数据库的成熟以及广泛的应用，目前大多数场景下数据管理与分析系统都是建立在关系型数据库基础之上的，数据的采集、加工、处理都是在关系型数据库总完成的。要实现大数据的处理与分析还需要把数据从关系型 ...
分类：
其他好文 时间：
2020-09-18 03:34:42
阅读次数：
44
alembic是用来做ORM模型与数据库的迁移与映射。alembic使用方式跟git有点类似，表现在两个方面，第一个，alemibi的所有命令都是以alembic开头； 第二，alembic的迁移文件也是通过版本进行控制的。安装方式：pip install alembic 1.1.alembic的使 ...
分类：
其他好文 时间：
2019-12-19 15:54:35
阅读次数：
99
Sqoop 数据迁移工具 sqoop : SQL to hadOOP 两个功能: 1、 RDB 向HDFS导入 2、 HDFS向RDB导入 注：拷贝mysql-connector.jar 和 json.jar 到sqoop/lib目录下 HDFS导入使用 命令很长，一般写成shell脚本。（运行需要 ...
分类：
其他好文 时间：
2019-08-28 15:57:39
阅读次数：
87
Sqoop数据迁移工具的使用 sqoop简单介绍 sqoop数据到HDFS/HIVE sqoop数据到MySQL ...
分类：
其他好文 时间：
2019-06-30 19:20:31
阅读次数：
142
MySQL作为最流行的关系型数据库产品之一，当数据规模增大遭遇性能瓶颈时，最容易想到的解决方案就是分库分表。无论是进行水平拆分还是垂直拆分，第一步必然需要数据迁移与同步。由此可以衍生出一系列数据迁移过程中的需求：1.原本一张表迁移到单库多表（或多库多表），这是最基本的需求；2.原本单库多表（或多库多 ...
分类：
数据库 时间：
2019-06-14 09:29:18
阅读次数：
161
MySQL作为最流行的关系型数据库产品之一，当数据规模增大遭遇性能瓶颈时，最容易想到的解决方案就是分库分表。无论是进行水平拆分还是垂直拆分，第一步必然需要数据迁移与同步。由此可以衍生出一系列数据迁移过程中的需求：1.原本一张表迁移到单库多表（或多库多表），这是最基本的需求；2.原本单库多表（或多库多 ...
分类：
数据库 时间：
2019-06-14 09:22:36
阅读次数：
138
pgloader 是一个支持多种数据源迁移到pg 数据库的工具，高性能，使用灵活同时作者 也提供了docker 版本的镜像，今年3月份使用此工具的时候，发现好久都没更新了，但是 最近作者有了新版本的发布，同时支持pg to pg，修复了部分bug，同时也有了新的官方 文档。 同时作者提出的Conti ...
分类：
其他好文 时间：
2019-06-12 10:41:46
阅读次数：
244
1. 工具安装 2. 工具使用 3. 注意事项 3.1 3.2 如果网络情况不好，或者没有网络还可以先备份到文件： ...
分类：
其他好文 时间：
2018-12-23 22:14:45
阅读次数：
393
摘要：Redis-Migrate-Tool（后面都简称RMT），是唯品会开源的redis数据迁移工具，主要用于异构redis集群间的数据在线迁移，即数据迁移过程中源集群仍可以正常接受业务读写请求，无业务中断服务时间。这篇blog主要内容包括工具特性简介、使用方法以及注意的要点。关于实现的原理，可以自 ...
分类：
其他好文 时间：
2018-06-01 10:55:43
阅读次数：
243
1.工具 -> 库程序包管理器 -> 程序包管理器控制台 2.运行命令 Enable-Migrations， 这时候，你会发现在程序端多出一个文件夹叫Migrations，这里面有一个Configuration.cs文件 3.运行命令Add-Migration，此命令会在Migrations文件下新 ...
分类：
其他好文 时间：
2018-04-27 15:42:26
阅读次数：
126
