本教程是在三台电脑上部署的hadoop正式环境,没有建立用户组,而是在当前用户下直接进行集群的部署的,总结如下:1、三个节点的主机电脑名为:192.168.11.33Master,192.168.11.24Slaver2,192.168.11.4Slaver1,并且这三台主机用户名都要设置一样,我的都是hadoop的用户。因为..
独立出一台机器,作为客户端,可以连接远程集群,配置注意事项;1、首先是hive,需要服务器启动一个服务 hive --service metastore然后修改hive客户端 hive-site.xml,主要就是配置 metastore这个服务,注意端口,客户端需要首先telnet ip port ...
分类:
其他好文 时间:
2015-10-13 15:05:07
阅读次数:
319
1.环境准备: 安装Centos6.5的操作系统 下载hadoop2.7版本的软件 wgethttp://124.205.69.132/files/224400000162626A/mirrors.hust.edu.cn/apache/hadoop/common/stable/hadoop-2.7.1.tar.gz 下载jdk1.87版本的软件 wgethttp://download.oracle.com/otn-pub/java/jdk/8u60-b27/j..
分类:
其他好文 时间:
2015-10-03 12:00:01
阅读次数:
331
启动步骤: 修改hadoop配置文件 ??? conf/mapred-site.xml,添加以下内容 <property>
????????<name>mapred.job.tracker</name>
????????<value>localhost:9001</value>
????</property> ?...
分类:
其他好文 时间:
2015-10-02 20:04:33
阅读次数:
169
首先博主用的64位ubuntu,hadoop官方只提供32位版本,这样的话启动本地库无法兼容,需要自己编译为64位版本,或下载别人编译好的64位版本。下载好需要在etc/hadoop目录下改动以下几个配置其中hadoop-env.sh中需要指定JAVA_HOMEexport JAVA_HOME=/u...
分类:
移动开发 时间:
2015-09-19 12:23:18
阅读次数:
258
Hive只需要在使用节点上安装即可。1.上传tar包, 1.1解压 tar -zxvf apache-hive-0.13.0-bin.tar.gz -C /hadoop/ 1.2配置HIVE_HOME环境变量 /etc/profile2.安装mysql rpm -qa | grep mys...
分类:
其他好文 时间:
2015-08-17 11:25:59
阅读次数:
226
Hadoop集群的配置即完全分布式Hadoop配置。本文的实验是基于伪分布式Hadoop环境的。这里默认你的系统已经可以安装伪分布式的Hadoop了。如果你的系统还不能安装伪分布式Hadoop,请参考《Hadoop的学习前奏——在Linux上安装与配置Hadoop》一文完成配置。...
分类:
其他好文 时间:
2015-07-24 20:51:33
阅读次数:
142
hadoop环境配置过程中可能遇到问题的解决方案...
分类:
其他好文 时间:
2015-07-15 19:24:53
阅读次数:
143
配置mapreduce
<!--
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in...
分类:
其他好文 时间:
2015-06-30 18:17:42
阅读次数:
125
运行hadoop fs -ls 命令显示本地目录问题 问题原因:是因为在hadoop配置文件中没有指定HDFS的默认路径 解决办法:有两个办法 1、使用HDFS全路径访问 hadoop fs -ls hdfs://192.168.1.1:9000/ 2、修改配置文件 vi...
分类:
其他好文 时间:
2015-06-29 18:13:04
阅读次数:
186