1.故障现象 20191113-22:32 datax全量同步t_shop_info表到 eorder所在的实例，t_shop_info表有两个唯一约束。总数据量不超过1w行，同步完成后MGR从库复制线程死锁。导致同步停止，影响业务。 从库processlist 截图 2.故障复现 2.1 集群环境 ...
分类：
编程语言 时间：
2019-11-30 11:41:55
阅读次数：
116
一、前置条件 Linux JDK(1.8以上，推荐1.8) Python(推荐Python2.6.X) Apache Maven 3.x (Compile DataX) 如何查看各条件是否满足？ linux查看版本： JDK查看版本：（通常需要自己安装，安装参考linux随笔：https://www ...
分类：
其他好文 时间：
2019-10-21 16:20:48
阅读次数：
68
datax DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 Github项目链接： "Github datax" 简介参考： "CNSD datax简介" ...
分类：
其他好文 时间：
2019-10-15 10:05:37
阅读次数：
86
Airflow自定义插件 =============== Airflow之所以受欢迎的一个重要因素就是它的插件机制。Python成熟类库可以很方便的引入各种插件。在我们实际工作中，必然会遇到官方的一些插件不足够满足需求的时候。这时候，我们可以编写自己的插件。不需要你了解内部原理，甚至不需要很熟悉Py ...
分类：
其他好文 时间：
2019-09-30 14:44:00
阅读次数：
293
1.在Windows上打开控制面板2.选择程序3.选择Windows功能4.添加NFS服务5打开Windows的命令行服务cmd在其中输入mount\192.168.1.158\datax:\实现Windows挂载去Windows计算机查看，会发现多了块x:磁盘6在cmd上输入mount查看挂载属性7在cmd内输入regedit回车打开注册表8找到HKEY_LOCAL_MACHINE\SOFTWA
1.什么是DataX ? DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 2. DataX的设计 为了解决异构数据源同步问题，DataX将复 ...
分类：
其他好文 时间：
2019-07-15 01:23:43
阅读次数：
555
六种 主流ETL 工具的比较(DataPipeline，Kettle，Talend，Informatica，Datax ，Oracle Goldengate) 六种 主流ETL 工具的比较(DataPipeline，Kettle，Talend，Informatica，Datax ，Oracle Go ...
分类：
数据库 时间：
2019-07-04 12:56:37
阅读次数：
753
"company_base_info_staff_job": { "engine": "python script", # datax or python script "update_priority": 2, "insert_priority": 1, "insert_schedule_time... ...
分类：
其他好文 时间：
2019-04-15 18:24:16
阅读次数：
146
一、准备系统环境：Windows Server 2008Python2.7.14.msidatax.tar.gz二、安装Python 打开cmd，输入python回车进行测试DataX解压datax.tar.gz到指定文件夹。三、配置JOB到D:\datax\job创建*.json文件，配置需要进行 ...
分类：
其他好文 时间：
2019-02-26 10:33:22
阅读次数：
998
相信很多的用户在迁移上云上最头疼的是数据库备份和还原了吧。对于有些年头企业的数据可能很大，用数据库自带的dump工具备份导出又导入，在传输上耗时又费力。Bespin Global资深交付工程师张小娅将为您介绍一种离线数据同步工具DATAX，实现包括 MySQL、Oracle、SqlServer、Po ...
分类：
数据库 时间：
2018-12-28 12:02:55
阅读次数：
234
