root: 创建各工具的各个账号，创/修密码 安装所有用户需要的语言包 管理各工具软件包，并对用户赋予权限 不同用户不同基础目录、临时目录及不同权限 无密码ssh 在开发和测试环境可以用一个帐号全部管理，省去很多麻烦。 hadoop配置 Hadoop权威指南 v3版：只需要Master到Slave单 ...
分类：
其他好文 时间：
2017-09-22 22:28:35
阅读次数：
158
hadoop配置HA（NN）配置信息参考hadoop配置名称节点HA原理1、停止所有进程stop-dfs.sh2、配置hdfs-site.xml和core-site.xml3、将s201的id_rsa发送到s205（确保两个NN能同时ssh到各个DN）4、将s201的工作目录复制到s2055、启动服务journalnodehadoop-daemons.shstartjournalnode..
分类：
其他好文 时间：
2017-09-20 16:22:42
阅读次数：
258
ArchitectureInatypicalHAclusiter,twoseparatemachinesareconfiguredasNameNodes.Atanypointintime,exactlyoneoftheNameNodesisinanActivestate,andtheotherisinaStandbystate.TheActiveNameNodeisresponsibleforallclientoperationsinthecluster,whiletheStandbyissimplyacti..
分类：
其他好文 时间：
2017-09-20 16:21:59
阅读次数：
155
下载hadoop压缩包设置hadoop环境变量设置hdfs环境变量设置yarn环境变量设置mapreduce环境变量修改hadoop配置设置core-site.xml设置hdfs-site.xml设置yarn-site.xml设置mapred-site.xml设置slave文件分发配置启动hdfs格... ...
分类：
其他好文 时间：
2017-08-30 22:33:49
阅读次数：
264
先上传hadoop的安装包到服务器上去/home/hpc/ 注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop 伪分布式需要修改5个配置文件 4.1配置hadoop--配置文件目录 /etc/hadoop/ 第一个文件：hadoop-env.sh vi hadoop-e ...
分类：
其他好文 时间：
2017-08-09 22:23:03
阅读次数：
231
一 原理阐述 1' DFS 分布式文件系统（即DFS，Distributed File System），指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。该系统架构于网络之上，势必会引入网络编程的复杂性，因此分布式文件系统比普通磁盘文件系统更为复杂。 2' HDF ...
分类：
系统相关 时间：
2017-08-05 19:43:33
阅读次数：
1417
部分内容參考：http://www.linuxqq.net/archives/964.html http://slaytanic.blog.51cto.com/2057708/1100974/ hadoop的重要配置文件有下面几个： 在1.2.1版本号中。core-default.xml有73个属性 ...
分类：
其他好文 时间：
2017-07-03 19:14:45
阅读次数：
279
在Fedora18上配置个人的Hadoop开发环境 1. 背景 文章中讲述了类似于“personalcondor”的一种“personal hadoop” 配置法。基本的目的是配置文件和日志文件有一个单一的源， 能够用软连接到开发生成的二进制库。这样就能够在所生成二进制库更新的时候维护其它的数据和配 ...
分类：
其他好文 时间：
2017-06-24 11:21:36
阅读次数：
242
前言： Hadoop集群的配置即全然分布式Hadoop配置。 笔者的环境： Linux: CentOS 6.6(Final) x64 JDK: java version "1.7.0_75" OpenJDK Runtime Environment (rhel-2.5.4.0.el6_6-x86_64 ...
分类：
其他好文 时间：
2017-05-15 20:59:03
阅读次数：
173
參考资源下载：http://pan.baidu.com/s/1ntwUij3视频安装教程：hadoop安装.flvVirtualBox虚拟机：hadoop.part1-part5.rarhadoop文件：hadoop-2.2.0.tar.gzhadoop配置文件：hadoop_conf.tar.gz ...
分类：
其他好文 时间：
2017-05-13 22:13:24
阅读次数：
193
