说明：我使用的是hadoop-1.2.1，开发环境是OpenSuSE12.3 x64。 Hadoop安装在/usr/lib/hadoop下。并且我的hadoop的相关指令已经加入到了系统的path中。
下面四篇有我解决问题时，所主要参考的文档：
1、http://www.cnblogs.com/lanxuezaipiao/p/3648853.html 该博客指出64位的li...
分类：
编程语言 时间：
2015-05-20 18:38:04
阅读次数：
319
大数据定义是：大量的非结构话的数据。量要大，要非结构化。Hadoop分三部分组成，1.hdfshadoop分布式文件系统。2.MapReduce分布式计算。3.hive分布式存储。操作系统：centos6.564环境搭建：1.安装Hadoop，2.安装mysql，3.安装hive，4，安装jdkHadoop安装：下载Hadoop1.0.4，had..
分类：
其他好文 时间：
2015-05-17 23:48:02
阅读次数：
521
这几天乘着工作之余，学习了一下hadoop技术，跌跌撞撞的几天，终于完成了一个初步的hadoop的安装及测试，具体如下：
动力：工作中遇到的数据量太大，服务器已经很吃力，sql语句运行老半天，故想用大数据技术来改善一下
环境：centos5.11+jdk1.7+hadoop2.5.2
1. 伪分布安装步骤
关闭防火墙
修改ip
修改hostname
设置ssh自动登录...
分类：
其他好文 时间：
2015-05-14 16:38:09
阅读次数：
136
一、安装Hadoop:1.1.安装并配置好javavi /etc/profile添加内容:#Set Java Environment export JAVA_HOME="/usr/java/jdk1.7.0_75'' export CLASSPATH=".:$JAVA_HOME/lib:$CLASS...
分类：
其他好文 时间：
2015-05-13 21:37:52
阅读次数：
101
【Hadoop】MAC下hadoop2.6安装以及执行wordcount首先简单介绍下博主的配置环境
MAC 10.10.0
hadoop 2.6
JDK 1.6（可以在shell里用jdk -version查询）
hadoop安装安装的话推荐使用mac下面的brew，理由就是用brew安装的话，它会自动给帮你配置好相应的路径。当然也可以到官网下载，注意jdk和hadoop版本要对应。brew in...
分类：
系统相关 时间：
2015-05-13 13:04:38
阅读次数：
276
1、创建用户组sudo addgroup hadoop2、创建用户sudo adduser -ingroup hadoop hadoop回车之后会提示输入密码，输入自己要设定的密码然后一路回车3、为hadoop用户添加权限sudo gedit /etc/sudoers然后保存退出。4、切换用户had...
分类：
系统相关 时间：
2015-05-05 06:32:39
阅读次数：
318
这篇博文主要是针对上篇博文Hadoop安装时出现的一些问题的解答问题一：ssh无密码登陆的问题在我生成密钥后，准备用ssh登录时，出现以下提示ssh:connecttohostlocalhostport22:Connectionrefused经查阅资料后发现，出现这种情况一般是三个原因造成的：1.sshd未安装2.sshd未启动3..
分类：
系统相关 时间：
2015-05-03 19:07:27
阅读次数：
243
首先声明本人的配置是根据：
http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html
进行修改的，因此在这里表示感谢。
在这里我自己对于原有的文章进行了修改。
原作的某些命令不适合在centos上进行使用。
以及一些不太注意的细节，在这里我提了出来。
首先在安装之前，应先建立hadoop的用户...
分类：
其他好文 时间：
2015-04-28 18:37:01
阅读次数：
164
参考刘鹏的《实战Hadoop》一书，按照hadoop0.20.2几个注意的地方。第一，首先理解Hadoop中的几个后台进程。NameNode，SecondaryNameNode，JobTracker,TaskTracker,DataNode这几个角色。NameNode：负责如何切分数据块，和切完放哪个节点。它对内存和I/O集中管理。这个进程部署在..
分类：
其他好文 时间：
2015-04-26 01:33:16
阅读次数：
151
hadoop的配置见下面这篇文章http://www.powerxing.com/install-hadoop-2-4-1-single-node/Hadoop安装教程_单机/伪分布式配置_Hadoop2.4.1_Ubuntu14.04 2014-08-09 (updated: 2014-12-30...
分类：
其他好文 时间：
2015-04-20 23:57:12
阅读次数：
209
