一. DataX3.0概览 DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 设计理念 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星 ...
分类：
其他好文 时间：
2018-07-02 14:16:41
阅读次数：
452
DataX是阿里巴巴团队开发的一个很好开源项目，但是他们对如何使用只提供了python命令启动方式，这种方式对于只是想简单的用下DataX的人来说很是友好，仅仅需要几行代码就可以运行，但是如果你需要在DataX上进行二次开发，那么用python来控制程序加显得很没有掌控力度，也不容易和别的模块进行融 ...
分类：
编程语言 时间：
2018-01-15 14:48:36
阅读次数：
1048
预防误操作导致文件/数据丢失的建议： 1.欲删除文件时，将rm命令改成mv，可在系统层面将rm命令做个alias（或参考Windows / Mac OSX做法，删除文件时先进回收站）。2.删除数据库、表时，不要用drop命令，而是rename到一个专用归档库里；3.删除表中数据时，不要直接用dele ...
分类：
数据库 时间：
2017-12-31 16:41:48
阅读次数：
207
HData是一个异构的ETL数据导入/导出工具，致力于使用一个工具解决不同数据源（JDBC、Hive、HDFS、HBase、MongoDB、FTP、Http、CSV、Excel、Kafka等）之间数据交换的问题。HData在设计上同时参考了开源的Sqoop、DataX，却与之有不同的实现。HData ...
分类：
其他好文 时间：
2017-08-31 16:18:22
阅读次数：
174
#include <iostream>#include <vector>#include <cmath>#include <cfloat>int main() { double datax[]={3.4,1.8,4.6,2.3,3.1,5.5,0.7,3.0,2.6,4.3,2.1,1.1,6.1, ...
分类：
编程语言 时间：
2017-08-20 12:23:53
阅读次数：
169
import tensorflow as tfimport numpy as np #create datax_data = np.random.rand(100).astype(np.float32)y_data = x_data*0.1+0.3 ####create tensorflow str ...
分类：
其他好文 时间：
2017-08-19 15:56:37
阅读次数：
211
摘要： 目前MySQL JDBC提供了多种将数据写入MySQL的方式，本文将介绍数据集成（DataX、同步中心、原CDP）支持的几种模式： * insert into xxx values (..), (..), (..) * replace into xxx values (..), (..), ...
分类：
数据库 时间：
2017-06-12 14:56:33
阅读次数：
1481
阿里云开源离线同步工具DataX3.0介绍 一. DataX3.0概览 ? DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 ...
分类：
其他好文 时间：
2017-03-17 17:38:39
阅读次数：
417
本文主要介绍了各种数据采集的方法，并重点对日志数据的上传进行了讲解。 ...
分类：
其他好文 时间：
2017-03-17 16:44:02
阅读次数：
198
这里用到了一个别人写的数据库连接池：我的另外一篇文章有转载http://www.cnblogs.com/HendSame-JMZ/articles/6145456.html //取得该用户下所有的表select * from user_tables;//取得表名为Sysuser的注释信息select ...
分类：
数据库 时间：
2016-12-08 18:30:41
阅读次数：
397
