【课程内容】1、Hadoop分布式文件系统（HDFS）2、YARN/MapReduce的工作原理3、如何优化Hadoop机群所需要的硬件配置4、搭建Hadoop机群所需要考虑的网络因素5、Hadoop机群维护和控制6、如何利用Hadoop配置选项进行系统性能调优7、如何利用FairScheduler...
分类：
其他好文 时间：
2014-08-13 14:51:36
阅读次数：
288
在/usr目录下建立hadoop文件夹,赋予hadoop用户权限(master)[hadoop@masterusr]$sudomkdirhadoop
[hadoop@masterusr]$ls-al
total156
drwxr-xr-x.2rootroot4096Jul3100:17hadoop
[hadoop@masterusr]$sudochown-Rhadoop:hadoophadoop
[hadoop@masterusr]$ls-al
total156
drwxr-xr..
分类：
其他好文 时间：
2014-08-12 10:29:54
阅读次数：
245
core-site.xml<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://qlserver03:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/grid/hadoop/tmp</..
分类：
其他好文 时间：
2014-07-21 19:34:42
阅读次数：
247
Hadoop的配置文件解释hadoop-env.sh: 用于定义hadoop运行环境相关的配置信息，比如配置JAVA_HOME环境变量、为hadoop的JVM指定特定的选项、指定日志文件所在的目录路径以及master和slave文件的位置等；core-site.xml: 用于定义系统级别的参数，它作...
分类：
其他好文 时间：
2014-07-11 13:05:01
阅读次数：
275
1. 安装这里以安装hadoop-0.20.2为例先安装java,参考这个去着下载hadoop解压tar -xzf hadoop-0.20.22. 配置修改环境变量vim ~/.bashrcexport HADOOP_HOME=/home/rte/hadoop-0.20.2 #这里为实际hado.....
分类：
其他好文 时间：
2014-07-06 15:12:24
阅读次数：
255
core-site.xml
name
value
Description
fs.default.name
hdfs://hadoopmaster:9000
定义HadoopMaster的URI和端口
fs.checkpoint.dir
/opt/data/hadoop1/hdfs/namesecondar...
分类：
其他好文 时间：
2014-06-28 08:42:16
阅读次数：
285
配置系统是复杂软件必不可少的一部分，org.apache.hadoop.conf.Configuration在Hadooop各个子项目中发挥着重要作用。 windows系统广泛使用一种特殊批的ASCII文件.ini作为其主要配置文件标准，被称为（Initialization File）或概要文...
分类：
其他好文 时间：
2014-06-24 09:11:43
阅读次数：
248
安装环境为 CentOS 64位系统，大概分下面几个步奏，0. 安装JDK1. 配置SSH2. 配置/etc/hosts3. 拷贝hadoop包到没台机器上4. 修改hadoop配置文件5. 关闭每台机器的防火墙6. 格式化namenode7. 运行hadoop详细说每个步奏，0. 安装jdk下载J...
分类：
其他好文 时间：
2014-06-21 12:37:47
阅读次数：
272
目的
此文档描述了如何为Hadoop配置和管理 Service Level Authorization 。
预备条件
确保已经安装Hadoop,配置和设置都正确了。更多细节，请看：* 首次使用者的单节点设置 * 大的、分布式集群的集群设置。
概览
Service Level Authorization 是一个必要的初始认证机制，其确保客户端连接到一个有必要的、预配置的、权...
分类：
其他好文 时间：
2014-05-21 08:13:32
阅读次数：
227
简介
Encrypted Shuffle capability (加密洗牌功能?)允许用HTTPS 和 可选的客户端验证 (也称作双向的 HTTPS, 或有客户端证书的 HTTPS) 去加密 MapReduce shuffle.它包括:
在HTTP 和 HTTPS 之间绑定 shuffle 的一个 Hadoop 配置用来指定 keystore 和 truststore 属性的Hado...
分类：
其他好文 时间：
2014-05-15 04:59:35
阅读次数：
301
