参考德拓视频学习：http://113.31.104.47/portal/#/course/courseDetail/b34d160db64624732ef152a1118af11a?courseId=1b7e84f4eb8552536e2267093dbd7972 kettle安装：下载包直接解压 ...
分类：
其他好文 时间：
2020-03-02 00:35:39
阅读次数：
798
对于使用kettle把csv文件导入数据库出现中文乱码问题，首先排查数据库属性中的字符集是否为utf8，其次数据库自断的字符集是否utf8，如果都没问题，那么问题就是出在kettle上，首先是kettle连接数据库的db连接处要添加一个属性，添加characterEncoding属性，值为UTF-8 ...
分类：
其他好文 时间：
2020-03-01 12:19:39
阅读次数：
52
背景 接到一个任务，是爬取广东省采购网2019年全年的采购公告、合同信息、结果公告等信息。通过python代码的编写已经完成了这个任务。但由于采购网的服务器不是太稳定等因素，因此，相当一部分的数据行没有爬取到“公布日期”。 幸好，我的数据行里面已经存有每个数据的网址来历，只要直接get，就能获取该网 ...
分类：
其他好文 时间：
2020-03-01 10:42:28
阅读次数：
212
百度得到的解决方式都是说mysql通过jdbc链接的时候会进行测试’SET OPTION SQL_SELECT_LIMIT=DEFAULT’,但是5.6以后的版本弃用了set的方式。 我用的MySQL数据库是5.7.20版本因此对应5.1版本的jdbc， 错误提示：You have an error ...
分类：
数据库 时间：
2020-02-27 23:36:07
阅读次数：
105
产生的原因就是因为kettle中缺少MySQL数据库连接的驱动程序，所以将mysql-connector-java-5.1.38-bin.jar这个驱动程序放到pdi-ce-7.0.0.0-25\data-integration\lib目录下，然后重新启动，然后接着测试就能够正确连接了 当然，有可能 ...
分类：
数据库 时间：
2020-02-27 13:03:32
阅读次数：
66
-- 慢 SELECT * FROM table_name ORDER BY rand() LIMIT 5; -- 较慢 SELECT * FROM `table` WHERE id >= (SELECT floor( RAND() * ((SELECT MAX(id) FROM `table`)- ...
分类：
数据库 时间：
2020-02-26 18:49:31
阅读次数：
73
一、同下图加上 "-Dfile.encoding=UTF-8" ，两都都加没有试过，可先加一处，如果没有处理到问题，再加另外一处 ...
分类：
其他好文 时间：
2020-02-12 14:43:10
阅读次数：
51
命名规范： local==> l remote==> r extract==> x data pump==> p 源数据库： 目标数据库：IP: 192.168.88.118 192.168.88.113 Hostname: class118 class113SID:orcl vmsys ##《《源 ...
分类：
数据库 时间：
2020-02-11 19:16:22
阅读次数：
104
最近有需求将数据从mysql同步到oracle，之前有使用kettle将表从oracle同步到mysql，这里使用的插件依然是阿里的dataX 详细见：Githup地址：https://github.com/alibaba/DataX 这里也是根据阿里云的一篇帖子来进行验证 https://yq.a ...
分类：
数据库 时间：
2020-02-11 11:54:21
阅读次数：
322
Oracle 1.获取JDBC文件 从已安装好的Oracle客户端的安装目录中获取，举例如下 d:\app\admin\product\11.2.0\client_1\jdbc\lib 2.将JDBC文件拷贝到Kettle下的Lib目录，举例 d:\pdi-ce-7.1.0.0-12\data-in ...
分类：
数据库 时间：
2020-02-06 12:32:02
阅读次数：
98
