标签：des style http io ar color os 使用 sp
1.hadoop支持的平台：linux和windows下安装hadoop需要的软件：
2.1从sun官网下载的1.6的jdk必须被安装.
2.2ssh 必须被安装 and ssh协议必须使用hadoop脚本用来管理远程的hadoop进程。
2.3windows环境下，额外需要安装下面软件：Cygwin - 运行上述软件必须安装的shell环境。
3.安装软件：
如果你的集群没有必要的软件，那么你必须安装它们
在unbuntu linux上执行命令如下：
$ sudo apt-get install ssh
$ sudo apt-get install rsync
在windows环境下，如果你安装cywin的话，你不必安装上述软件，只需要在安装cygwin的时候选择相关的软件包即可。
openssh - the Net category尝试一下命令：
$ bin/hadoop
它会给你展示如何使用hadoop脚本。
现在你将进行安装三种hadoop支持模式中的一种即本地安装：
这个示例程序是hadoop自带的，用于把conf下的xml文件拷贝到input目录下，并且找到并显示所有与最后一个参数的正则表达式相匹配的行，output是输出文件夹
$ mkdir input
$ cp conf/*.xml input
$ bin/hadoop jar hadoop-examples-*.jar grep input output ‘dfs[a-z.]+‘
$ cat output/*
如此，本地安装完毕！
7.伪分布式安装
hadoop同样也可以以伪分布式模式在一个独立的节点上运行，其中每个hadoop进程都以独立的java进程运行。
7.1配置:
使用以下配置：
|
conf/core-site.xml: <configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
<description>localhost切换成本地的机器名</description>
</property>
</configuration>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
|
$ ssh localhost
如果你无法本地免密码登录，你可以执行以下密令，重新生成ssh 秘钥:
$ ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
7.3执行:
格式化一个新的分布式文件系统:
$ bin/hadoop namenode -format
启动hadoop进程：
$ bin/start-all.sh
hadoop进程的日志输出目录是: ${HADOOP_LOG_DIR} directory (defaults to ${HADOOP_HOME}/logs).
通过网页来浏览Namenode和Jobtracker状态, 默认情况下它们的访问地址是:
把input中的文件拷贝到分布式系统:
$ bin/hadoop fs -put conf input
运行提供一些示例:
$ bin/hadoop jar hadoop-examples-*.jar grep input output ‘dfs[a-z.]+‘
检查输出:
从分布式系统中拷贝output中的文件到本地目录，并进行检测它们:
$ bin/hadoop fs -get output output
$ cat output/*
or
查看output下的分布式目录:
$ bin/hadoop fs -cat output/*
停止进程:
$ bin/stop-all.sh
至此，伪分布式安装hadoop完成。
hadoop伪分布式安装【翻译自hadoop1.1.2官方文档】
标签：des style http io ar color os 使用 sp
原文地址：http://blog.csdn.net/lifelovesky/article/details/41697491
