码迷,mamicode.com
首页 > 其他好文 > 详细

解决datax处理csv文件时总是提示脏数据问题

时间:2020-02-29 20:41:02      阅读:873      评论:0      收藏:0      [点我收藏+]

标签:job   出现   类型   mit   jdb   read   span   parameter   use   

此处为csv至mysql代码

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "txtfilereader", 
                    "parameter": {
                    "path": ["D:/file/test.csv"], 
                    "encoding":"gbk",
                        "column": [
                            {
                                "index": 0,
                                "type": "string"
                            },
                            {
                                "index": 1,
                                "type": "string"
                            },
                            {
                                "index": 2,
                                "type": "string"
                            },
                        ],
                    "fieldDelimiter":","
                    }
                }, 
                "writer": {
                    "name": "mysqlwriter", 
                    "parameter": {
                        "column": [
                        "id",
                        "name",
                        "age",
                        ], 
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://localhost:3306/data?useUnicode=true&characterEncoding=utf8", 
                                "table": ["test2"]
                            }
                        ], 
                        "password": "root", 
                        "username": "root",
                        "writeMode":"insert"
                    }
                }
            }
        ], 
        "setting": {
            "speed": {
                "channel": "1"
            }
        }
    }
}

技术图片

 

 截图所示,若我在此处 将type改为int类型 与mysql数据库中的数据类型对应,则会出现脏数据的提示并且插入失败,原因未找到。

解决方法就是全部改成string

解决datax处理csv文件时总是提示脏数据问题

标签:job   出现   类型   mit   jdb   read   span   parameter   use   

原文地址:https://www.cnblogs.com/1061321925wu/p/12385327.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!