# DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。 Features DataX本身作为数据同步框架 ...
分类：
其他好文 时间：
2016-12-08 17:52:27
阅读次数：
2495
DataX介绍 DataX是一个在异构的数据库/文件系统之间高速交换数据的工具，实现了在任意的数据处理系统(RDBMS/Hdfs/Local filesystem）之间的数据交换。 目前成熟的数据导入导出工具比较多，但是一般都只能用于数据导入或者导出，并且只能支持一个或者几个特定类型的数据库。 这样 ...
分类：
其他好文 时间：
2016-09-10 10:23:51
阅读次数：
258
{"job":{"content":[{"reader":{"name":"mysqlreader","parameter":{"connection":[{"querySql":["SELECTid,UserID,Ip,CreatTimeFROMBWSimpleAdmin_Login_Log"],"jdbcUrl":["jdbc:mysql://10.10.59.12:3306/bw_simple_v2"]}],"password":"ba8Agx8aB00s#ffR","username":"zdp_re..
分类：
其他好文 时间：
2016-05-26 19:13:57
阅读次数：
644
DataX环境搭建 环境搭建 Java安装（java>=1.6） JDK下载地址: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 根据自己的系统选择相应的JDK $ cat /p... ...
分类：
其他好文 时间：
2016-04-08 18:08:35
阅读次数：
407
淘宝异构数据源数据交换工具 DataX DataX是什么? DataX是一个在异构的数据库/文件系统之间高速交换数据的工具，实现了在任意的数据处理系统(RDBMS/Hdfs/Local filesystem）之间的数据交换，由淘宝数据平台部门完成。 DataX用来解决什么? 目前成熟的数据导入导出工 ...
分类：
其他好文 时间：
2016-04-06 10:59:44
阅读次数：
212
[推荐]DataX、DbSync和Timetunnel学习贴
分类：
数据库 时间：
2016-02-29 14:31:28
阅读次数：
193
在使用datax的oraclewriter时，由于对oracle的不熟悉，以及c++编译的不熟悉，颇费了一些周折。在此，记录一下，供再次使用的人参考。1.oracleWriter ：oracle提供了OCCI接口，便于直接往oracle里load数据，但是是c++的接口，所以，datax的oracl...
分类：
数据库 时间：
2015-12-31 12:43:26
阅读次数：
263
以hdfsreader到hdfswriter为例进行说明：1.datax的任务配置文件里需要指明使用的hadoop的配置文件，在datax+hadoop1.X的时候，可以直接使用hadoop1.X/conf/core-site.xml;但是当要datax+hadoop2.X的时候，就需要将hadoo...
分类：
其他好文 时间：
2015-12-18 18:59:27
阅读次数：
197
淘宝异构数据源数据交换工具 DataX阅读目录DataX是什么?DataX用来解决什么?DataX特点?DataX结构模式（框架+插件）DataX在淘宝的运用DataX是什么?DataX是一个在异构的数据库/文件系统之间高速交换数据的工具，实现了在任意的数据处理系统(RDBMS/Hdfs/Local...
分类：
其他好文 时间：
2015-10-15 22:06:40
阅读次数：
180
简介很久之前就像写这篇文章了，主要是介绍一下我做数据同步的过程中遇到的一些有意思的内容，和提升效率的过程。当前在数据处理的过程中，数据同步如同血液一般充满全过程，如图：数据同步开源产品对比：DataX，是淘宝的开源项目，可惜不支持PostgresqlSqoop，Apache开源项目，同步过程中字段需...
分类：
其他好文 时间：
2015-10-15 18:16:15
阅读次数：
237
