码迷,mamicode.com
首页 > Windows程序 > 详细

Linux启动kettle及linux和windows中kettle往hdfs中写数据(3)

时间:2016-07-31 00:10:53      阅读:1974      评论:0      收藏:0      [点我收藏+]

标签:

xmanager的xshell运行进入图形化界面

 

1 sh spoon.sh

 

 

新建一个job

技术分享

1.hdfs中写数据

1)linuxkettlehdfs中写数据

 

双击hadoop copy files

技术分享

运行此job

技术分享

技术分享

查看数据:

技术分享

1)windowskettlehdfs中写数据

Windows中往power服务器中hdfs写数据

技术分享

日志:

2016/07/28 16:21:14 - Version checker - OK

2016/07/28 16:21:57 - 数据整合工具-作业设计器 - 数据整合工具-作业设计器

2016/07/28 16:23:10 - 数据整合工具-作业设计器 - 另存为...

2016/07/28 16:23:10 - 数据整合工具-作业设计器 - Save file as...

2016/07/28 16:23:17 - 数据整合工具-作业设计器 - 正在开始任务...

2016/07/28 16:23:17 - ff - 开始执行任务

2016/07/28 16:23:17 - ff - 开始项[Hadoop Copy Files]

2016/07/28 16:23:17 - Hadoop Copy Files - 开始...

2016/07/28 16:23:17 - Hadoop Copy Files - 正在处理行, 源文件/目录: [file:///E:/auphi_designer_3.2.0/ez11.xls] ... 目标文件/目录 : [hdfs://172.16.1.20:8020/ke]... 通配符 : [null]

2016/07/28 16:25:05 - Hadoop Copy Files - ERROR (version 3.2.0, build 1 from 2016-07-07 10.46.10 by xnren) : 文件系统异常:Could not copy "file:///E:/auphi_designer_3.2.0/ez11.xls" to "hdfs://172.16.1.20:8020/ke/ez11.xls".

2016/07/28 16:25:05 - Hadoop Copy Files - ERROR (version 3.2.0, build 1 from 2016-07-07 10.46.10 by xnren) : Caused by: Could not close the output stream for file "hdfs://172.16.1.20:8020/ke/ez11.xls".

2016/07/28 16:25:05 - Hadoop Copy Files - ERROR (version 3.2.0, build 1 from 2016-07-07 10.46.10 by xnren) : Caused by: Connection timed out: no further information

2016/07/28 16:25:05 - ff - 完成作业项[Hadoop Copy Files] (结果=[false])

2016/07/28 16:25:05 - ff - 任务执行完毕

2016/07/28 16:25:05 - 数据整合工具-作业设计器 - 任务已经结束.

报错原因:

由于windows连的是外网,而hadoop集群所有机器的ip是内网,虽然可以给主节点绑定外网ipwindows可以连接集群主节点但往hdfs中写数据需要hadoop集群中的内网,所以写不进去数据,将kettle迁移在linux内网环境中,写数据成功,如上1)。

 

Linux启动kettle及linux和windows中kettle往hdfs中写数据(3)

标签:

原文地址:http://www.cnblogs.com/womars/p/5718349.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!