码迷,mamicode.com
首页 > 其他好文 > 详细

使用dataX收获的教训

时间:2020-02-29 22:41:22      阅读:433      评论:0      收藏:0      [点我收藏+]

标签:session   field   gif   自己   mon   hide   url   nec   content   

首先是安装dataX,安装非常简单,只需下载对应的压缩包即可。

下载地址:https://github.com/alibaba/DataX

首先我出现的第一个错误:命令提示符界面出现出现乱码。

解决方法:

    可以在cmd中输入: CHCP 65001 ,然后进行后续操作。

然后我遇到的最大的一个错误:

经DataX智能分析,该任务最可能的错误原因是:
com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe:[您提供的配置文件存在错误信息,请检查您的作业配置 .] - 配置信息错误. 您提供的配置信息不是合法的JSON格式: unclosed string : * . 请按照标准json格式提供配置信息.

然后我百思不得其解,问了几个同学也没有结果,最后发现错误,真是被自己搞笑了。原来是路径写错了,比如该路径  D:/datax/datax/job/data1.csv

而我硬写成了  D:\datax\datax\job\data1.csv   

经过上面的教训我终于知道了一般 ‘\‘后面加字母都是转义字符,下次肯定不会弄乱了。

 

 

读取本地文件写到mysql中代码:

技术图片
 1 {
 2     "job": {
 3         "content": [
 4             {
 5                 "reader": {
 6                     "name": "txtfilereader", 
 7                     "parameter": {
 8                     "path": ["C:/Users/train_label.csv"], 
 9                     "encoding":"GBK",
10                         "column": [
11                             {
12                                 "index":0,
13                                 "type":"string"
14                             },
15                             {
16                                 "index":1,
17                                 "type":"string"
18                             }
19                         ],
20                     "fieldDelimiter":","
21                     }
22                 }, 
23                 "writer": {
24                     "name": "mysqlwriter", 
25                     "parameter": {
26                         "column": [
27                         "ID",
28                         "Label"
29                         ], 
30                         "connection": [
31                             {
32                                 "jdbcUrl": "jdbc:mysql://localhost:3306/user", 
33                                 "table": ["ccc"]
34                             }
35                         ], 
36                         "password": "password", 
37                         "username": "root",
38                         "preSql":[""],
39                         "session":["set session sql_mode=‘ANSI‘"],
40                         "writeMode":"insert"
41                     }
42                 }
43             }
44         ], 
45         "setting": {
46             "speed": {
47                 "channel": "1"
48             }
49         }
50     }
51 }
View Code

 

使用dataX收获的教训

标签:session   field   gif   自己   mon   hide   url   nec   content   

原文地址:https://www.cnblogs.com/qianmo123/p/12386414.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!