「hadoop」idea gradle hadoop 运行helloworld示例

标签：示例   targe   refused   ref   UI   内容   linu   一个   log4   

运行一个简单的hadoop实例。

环境：win7跑三台ubuntu虚拟机，并已成功安装hadoop2.8.1环境，win7安装idea工具

【步骤】

1、参考 http://blog.csdn.net/u011654631/article/details/70037219，该地址简称 参考页；

2、idea创建gradle的java工程；

3、按参考页build.gradle中集成相应的hadoop jar包；

几点补充：

1、把core-site.xml，mapred-site.xml，yarn-site.xml等拷到工程的resources目录下；

2、如遇到 hdfs:master:9000 访问refused，用IP地址替换master试试；

3、input文件位于hdfs系统内，linux只能通过hdfs dfs方式访问；

4、hadoop.dll和winutils.exe需另行下载；

5、用户权限问题，win7增加环境变量 HADOOP_USER_NAME， 值为 hadoop的用户名；

6、增加日志打印配置文件log4j.xml，放到工程的resources目录下，xml内容参考 http://www.cnblogs.com/ftrako/p/7570094.html ；

「hadoop」idea gradle hadoop 运行helloworld示例

标签：示例   targe   refused   ref   UI   内容   linu   一个   log4   

原文地址：http://www.cnblogs.com/ftrako/p/7570072.html