cluster setup， 参考官方安装文档，这里仅作记录。 准备三台机器，作为三个节点，假设ip为192.168.1.11, 192.168.1.12，192.168.1.13，192.168.1.14，以下仅使用ip末尾数表示节点编号 下载hadoop安装文件，并解压为hadoop-2.8.0 ...
分类：
其他好文 时间：
2017-04-22 15:41:54
阅读次数：
266
Hadoop安装完后，启动时报Error: JAVA_HOME is not set and could not be found.解决办法： 修改/etc/hadoop/hadoop-env.sh中设JAVA_HOME。 应当使用绝对路径。 export JAVA_HOME=$JAVA_HOME ...
分类：
编程语言 时间：
2017-04-04 20:41:40
阅读次数：
164
1.去清华的镜像站点下载文件spark-2.1.0-bin-hadoop2.7.tgz，因为hadoop安装的是2.7.2的版本 2.把文件解压到/usr/local目录下，解压之后的效果，Hadoop和Spark都在Hadoop用户下 添加Hadoop用户和用户组 然后修改文件夹的用户，用户组以及 ...
分类：
其他好文 时间：
2017-04-03 16:07:58
阅读次数：
211
Elasticsearch for Hadoop安装以及如何从HDFS导入数据到Elasticsearch
分类：
其他好文 时间：
2017-04-02 18:53:59
阅读次数：
768
java开发map_reduce程序 配置系统环境变量HADOOP_HOME，指向hadoop安装目录（如果你不想招惹不必要的麻烦，不要在目录中包含空格或者中文字符） 把HADOOP_HOME/bin加到PATH环境变量（非必要，只是为了方便） 如果是在windows下开发，需要添加windows的 ...
分类：
其他好文 时间：
2017-03-31 10:14:09
阅读次数：
230
之前介绍过关于HBase 0.9.8版本的部署及使用，本篇介绍下最新版本HBase1.2.4的部署及使用，有部分区别，详见如下： 1. 环境准备： 1.需要在Hadoop[hadoop-2.7.3] 启动正常情况下安装，hadoop安装可参考LZ的文章 大数据系列之Hadoop分布式集群部署 2. ...
分类：
数据库 时间：
2017-03-19 11:42:27
阅读次数：
313
1、解压hbase安装包 2、将大数据环境得hadoop安装包拷贝到windows(这里以d:/hadoop为例) 3、打开C:\Windows\System32\drivers\etc目录下的hosts并添加如下代码 127.0.0.1 localhost192.168.48.134 master ...
如果你看了我的上一篇文章，那此时你对hadoop已经有了一个大概的了解，那接下来这篇文章就教大家怎么安装hadoop环境，只要你用心，仔细的跟着文章中讲到的做，肯定能正确安装。第三章安装hadoop环境由于大家在学习hadoop时候，主要以Hadoop1.0环境为主学习就可以，所以这主要介..
分类：
其他好文 时间：
2017-03-06 22:38:32
阅读次数：
330
目录： 1.修改主机名和用户名 2.配置静态IP地址 3.配置SSH无密码连接 4.安装JDK1.7 5.配置Hadoop 6.安装Mysql 7.安装Hive 8.安装Hbase 9.安装Sqoop ******************** 1.修改主机名和用户名 修改主机名：Centos中通过v ...
分类：
其他好文 时间：
2017-02-26 19:33:33
阅读次数：
241
安装配置hadoop: 1安装前的准备工作本示例所演示的过程基于RHEL5.8(32bit)平台，用到的应用程序如下所示。JDK:jdk-7u5-linux-i586.rpmHadoop：hadoop-0.20.2-cdh3u5.tar.gz安全起见，运行Hadoop需要以普通用户的身份进行，因此，接下来先建立运行hadoop进程的用户hadoop并给其..
分类：
其他好文 时间：
2017-02-20 23:16:08
阅读次数：
245
