标签:
在xmanager中的xshell运行进入图形化界面
1 sh spoon.sh
新建一个job
1.往hdfs中写数据
1)linux中kettle往hdfs中写数据
双击hadoop copy files
运行此job
查看数据:
1)windows中kettle往hdfs中写数据
Windows中往power服务器中hdfs写数据
日志:
2016/07/28 16:21:14 - Version checker - OK 2016/07/28 16:21:57 - 数据整合工具-作业设计器 - 数据整合工具-作业设计器 2016/07/28 16:23:10 - 数据整合工具-作业设计器 - 另存为... 2016/07/28 16:23:10 - 数据整合工具-作业设计器 - Save file as... 2016/07/28 16:23:17 - 数据整合工具-作业设计器 - 正在开始任务... 2016/07/28 16:23:17 - ff - 开始执行任务 2016/07/28 16:23:17 - ff - 开始项[Hadoop Copy Files] 2016/07/28 16:23:17 - Hadoop Copy Files - 开始... 2016/07/28 16:23:17 - Hadoop Copy Files - 正在处理行, 源文件/目录: [file:///E:/auphi_designer_3.2.0/ez11.xls] ... 目标文件/目录 : [hdfs://172.16.1.20:8020/ke]... 通配符 : [null] 2016/07/28 16:25:05 - Hadoop Copy Files - ERROR (version 3.2.0, build 1 from 2016-07-07 10.46.10 by xnren) : 文件系统异常:Could not copy "file:///E:/auphi_designer_3.2.0/ez11.xls" to "hdfs://172.16.1.20:8020/ke/ez11.xls". 2016/07/28 16:25:05 - Hadoop Copy Files - ERROR (version 3.2.0, build 1 from 2016-07-07 10.46.10 by xnren) : Caused by: Could not close the output stream for file "hdfs://172.16.1.20:8020/ke/ez11.xls". 2016/07/28 16:25:05 - Hadoop Copy Files - ERROR (version 3.2.0, build 1 from 2016-07-07 10.46.10 by xnren) : Caused by: Connection timed out: no further information 2016/07/28 16:25:05 - ff - 完成作业项[Hadoop Copy Files] (结果=[false]) 2016/07/28 16:25:05 - ff - 任务执行完毕 2016/07/28 16:25:05 - 数据整合工具-作业设计器 - 任务已经结束.
报错原因:
由于windows连的是外网,而hadoop集群所有机器的ip是内网,虽然可以给主节点绑定外网ip,windows可以连接集群主节点但往hdfs中写数据需要hadoop集群中的内网,所以写不进去数据,将kettle迁移在linux内网环境中,写数据成功,如上1)。
Linux启动kettle及linux和windows中kettle往hdfs中写数据(3)
标签:
原文地址:http://www.cnblogs.com/womars/p/5718349.html