csv到csv 1 { 2 "setting": {}, 3 "job": { 4 "setting": { 5 "speed": { 6 "channel": 2 7 } 8 }, 9 "content": [ 10 { 11 "reader": { 12 "name": "txtfileread ...
分类：
数据库 时间：
2020-02-28 18:35:44
阅读次数：
154
1、datax简述 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数 ...
分类：
其他好文 时间：
2020-02-27 20:52:31
阅读次数：
264
乱码现象： 只需要在控制台输入CHCP 65001 就没有乱码现象了 ...
分类：
编程语言 时间：
2020-02-27 16:06:53
阅读次数：
74
功能远超Sqoop、DataX、Flume、Logatash、Filebeat等采集工具 注：由于文章篇幅有限，完整文档可扫免费获取 深知其他组件的局限性，才能彰显DBus的优越感 当前有很多数据采集工具（Sqoop、DataX、Flume、Logatash、Filebeat等），他们或多或少都存在 ...
分类：
数据库 时间：
2020-02-25 19:43:18
阅读次数：
115
一、事务的概述 1、定义 事务就是一组单元化操作，这些操作要么都执行，要么都不执行，是一个不可分割的工作单位。 2、特点 事务（transaction）具有的四个要素：原子性（Atomicity）、一致性（Consistency）、隔离性（Isolation）、持久性（Durability）。这四个 ...
分类：
其他好文 时间：
2020-02-13 12:41:40
阅读次数：
228
最近有需求将数据从mysql同步到oracle，之前有使用kettle将表从oracle同步到mysql，这里使用的插件依然是阿里的dataX 详细见：Githup地址：https://github.com/alibaba/DataX 这里也是根据阿里云的一篇帖子来进行验证 https://yq.a ...
分类：
数据库 时间：
2020-02-11 11:54:21
阅读次数：
322
datax是一个搬数据的框架，是阿里巴巴公司的开源的框架，主要就是用来搬数据，多数据源之间的数据的处理。 datax的使用： datax主要通过json文件来配置job，json的格式如下： { "job": { "content": [ { "reader": { "name": "streamr ...
分类：
其他好文 时间：
2020-02-04 14:18:10
阅读次数：
97
一、在CentOS中重新编译打包 安装Maven： wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.rep ...
分类：
其他好文 时间：
2020-01-19 12:25:16
阅读次数：
225
1、安装datax3.0 http://datax opensource.oss cn hangzhou.aliyuncs.com/datax.tar.gz 2、部署主机 主机：node2 路径：/data1/xinsrv/datax JDK：1.8 Python：2.6 3、下载alihbase ...
分类：
其他好文 时间：
2020-01-08 19:28:15
阅读次数：
142
还在更新中import numpy as npimport random# build auxiliary functionclass optstruct: def __init__(self, datax, datay, C, toler): self.x = datax self.label = ...
分类：
其他好文 时间：
2020-01-08 01:03:18
阅读次数：
183
