本文从Hadoop是什么、能做什么、谁使用三个主要问题去讲解。对于重点知识如MapReduce、YARN、Hadoop生态系统内的其他组件（HBase、Pig、Hive、Zookeeper等）的介绍和使用这里不做详细说明，需要大家对这些内容扩展并深入学习。1、Hadoop是什么及功能1、2002年，Hadoop作为一个..
分类：
其他好文 时间：
2016-12-05 02:54:44
阅读次数：
164
一：框架 1.支持的框架 -》job -》yarn -》mr1 -》oozie -》HDFS -》查文件 -》文件的管理 -》增删改查 -》hive -》rdbms 二：安装 1.下载hue包 2.需要安装的依赖 3.检测依赖 4.安装依赖包 sudo yum install ant asciido ...
分类：
其他好文 时间：
2016-12-03 01:43:28
阅读次数：
213
首先要说一下，Hadoop 2.x版本以后的改动，在这里帖一篇文章，觉得写的不错。 http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ 接下来，我们来搭建Hadoop单机版本，我下的版本是2.7.3，同样的我们还是下载 ...
分类：
其他好文 时间：
2016-12-02 13:59:36
阅读次数：
215
Spark是一个分布式内存计算框架，可部署在YARN或者MESOS管理的分布式系统中（Fully Distributed），也可以以Pseudo Distributed方式部署在单个机器上面，还可以以Standalone方式部署在单个机器上面。运行Spark的方式有interactive和submi ...
分类：
系统相关 时间：
2016-12-02 12:02:30
阅读次数：
216
一、问题描述yarn2.0发生resourcemanagerdown(master2)掉，并引起resourcemanager的failover切换二、问题分析1）看master2上resourcemanager的日志2016-06-2612:35:41,504INFOorg.apache.hadoop.yarn.server.resourcemanager.RMAuditLogger:USER=warehouseOPERATION=AMReleased..
分类：
其他好文 时间：
2016-12-01 23:07:35
阅读次数：
1037
官方文档是程序员最好的学习资料，本篇是Hadoop官方文档中YARN ResourceManager High Availability (2.7.3)篇的翻译，希望能帮助大家更好地学习Hadoop。 ...
分类：
其他好文 时间：
2016-12-01 13:57:49
阅读次数：
218
官方文档是程序员最好的学习资料，本篇是Hadoop官方文档中YARN Architecture (2.7.3)篇的翻译，希望能帮助大家更好地学习Hadoop。 ...
分类：
其他好文 时间：
2016-11-30 17:16:26
阅读次数：
220
实验性操作是在虚拟机里进行的，除了搭建hadoop本身的操作之外，遇到的其它问题总结如下： 1. 虚拟机挂载windows磁盘： 添加硬件，要保证该硬件此时没有被读写访问等，因为挂载后，该磁盘在宿主机上就不能用了。启动虚拟机linux，执行 fdisk –l 查看windows磁盘的分区，如/dev... ...
分类：
其他好文 时间：
2016-11-27 07:31:47
阅读次数：
188
三种调度器 1.FIFO Scheduler 把应用按提交的顺序排成一个队列，这是一个先进先出队列，在进行资源分配的时候，先给队列中最头上的应用进行分配资源，等最前面的应用需求满足后再给下一个分配，以此类推。不适用于共享集群，大的应用可能会占用所有集群资源，这就导致其它应用被阻塞。 2.Capaci ...
分类：
其他好文 时间：
2016-11-26 11:45:03
阅读次数：
402
1、关于虚拟机的复制 新建一台虚拟机，系统为CentOS7，再克隆两台，组成一个三台机器的小集群。正常情况下一般需要五台机器（一个Name节点，一个SecondName节点，三个Data节点。） 此外，为了使网络生效，需要注意以下几点： 1> 编辑网络配置文件 先前的版本需要删除mac地址行，注意不 ...
分类：
其他好文 时间：
2016-11-26 07:43:33
阅读次数：
265
