学习Hadoop集群环境搭建是Hadoop入门必经之路。搭建分布式集群通常有两个办法： 要么找多台机器来部署（常常找不到机器） 或者在本地开多个虚拟机（开销很大，对宿主机器性能要求高，光是安装多个虚拟机系统就得搞...
分类：
其他好文 时间：
2015-07-24 13:09:41
阅读次数：
147
1.角色分配IPRoleHostname192.168.18.37Master/NameNode/JobTrackerHDP1192.168.18.35Slave/DataNode/TaskTrackerHDP2192.168.18.36Slave/DataNode/TaskTrackerHDP32...
分类：
其他好文 时间：
2015-07-23 17:24:39
阅读次数：
244
rpc是Hadoop分布式底层通信的基础，无论是client和namenode，namenode和datanode，以及yarn新框架之间的通信模式等等都是采用的rpc方式。下面我们来概要分析一下Hadoop2的rpc。Hadoop通信模式主要是C/S方式，及客户端和服务端的模式。客户端采用传统的s...
分类：
其他好文 时间：
2015-07-22 18:26:37
阅读次数：
117
什么是分布式文件系统数据量越来越多，已经超出了一个操作系统的管辖范围，需要分配到更多的操作系统管理的磁盘中，因此需要一种文件系统来管理多台机器上的文件，这就是分布式文件系统。分布式文件系统是一种允许文件通过网络在多台主机上共享的文件系统，可以让多台机器上的用户分享文件和存储空间。HDFS概念HDFS...
分类：
其他好文 时间：
2015-07-17 18:33:51
阅读次数：
110
Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。它能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。要理解HDFS的内部工作原理，首先要理解什么是分布式文件系统。1.分布式文件系统
多台计算机联网协同工作(有时也称为一个集群)就像单台系统一样解决某种问题，这样的系统我们称之为分布式系统。
分布...
分类：
其他好文 时间：
2015-07-16 09:48:47
阅读次数：
143
Apache Hadoop和Apache Spark 接下来谈多核机器、 PB级数据和任务，这跟所有从twitter提到的Java或重载机器学习算法类似。谈到Hadoop,不得不说这个应用广泛的框架及它的组 件：Hadoop分布式文件系统(HDFS)、资源管...
分类：
其他好文 时间：
2015-07-13 12:29:55
阅读次数：
141
如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到，但是他们都有什么功能，为什么会需要奇怪的名字（如Oozie，ZooKeeper、Flume）。
Hadoop带来了廉价的处理大数据（大数据的数据容量通常是10-100GB或更多，同时数据种类多种多样，包括结构化、非结构化等）的能力。但这与之前有什么不同？
现今企业数据仓库和关系型数据库擅长处理结...
分类：
其他好文 时间：
2015-07-12 09:47:21
阅读次数：
149
Hadoop的两大功能：海量数据存储和海量数据分析
Hadoop2的三大核心组件是：HDFS、MapperReducer和yarn
1、HDFS：分布式文件系统海量数据存储
2、MapperReducer：运算框架，海量数据分析
3、yarn：资源调度管理集群
HDFS工作机制：基于namenode和datanode
1、namenode:响应客户端的请求；负责维护整个...
分类：
其他好文 时间：
2015-06-27 16:40:29
阅读次数：
203
参考文章：
Mongo hadoop connector
https://github.com/mongodb/mongo-hadoop
wiki
https://github.com/mongodb/mongo-hadoop/wiki
ppt
http://www.slideshare.net/mongodb/hadoop-webinar?from_embed_lead_cta=t...
分类：
数据库 时间：
2015-06-27 09:52:19
阅读次数：
231
因为使用需要，在自己小本上建了四个虚拟机，打算搭建一个1+3的hadoop分布式系统。环境：hadoop2.7.0+ubuntu14.04 (64位)首先分别为搭建好的虚拟机的各主机重命名方法：vi /etc/hostname例如:ubuntu0 ubuntu1 ubuntu2 ubuntu3一. ...
分类：
系统相关 时间：
2015-06-26 12:18:13
阅读次数：
160
