机器选型 实际应用中一般分为2种 第一种：硬件服务器 第二种：云主机 准备工作 在VM ware12环境下搭建三台服务器 配置ip，主机名，本地映射（/etc/hosts） 另外两台由原先克隆而来 克隆机器后，修改mac地址 使用root: （1）删除eth0 （2）将eth1修改为eth0 （3） ...
分类：
其他好文 时间：
2018-04-30 11:56:49
阅读次数：
173
Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的 机器上。它能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。要理解HDFS的内部工作原理，首先要理解什么是分布式文件系统。 1、分布式文件系统 多台计算机 ...
分类：
其他好文 时间：
2018-04-24 14:49:24
阅读次数：
168
本文由 网易云 发布。 上一篇文章介绍了如何搭建Hadoop伪分布式集群，本篇将向大家介绍下Hadoop分布式集群的搭建。内容浅显，但能够为新手们提供 一个参考，让像我一样的小白们对Hadoop的环境能够有一定的了解。 本文由 网易云 发布。 上一篇文章介绍了如何搭建Hadoop伪分布式集群，本篇将 ...
分类：
其他好文 时间：
2018-04-24 13:53:37
阅读次数：
233
由于之前都在有道云笔记中记录：分享链接： http://note.youdao.com/noteshare?id=2b32a9edab38f6262354d1f8e4b0e748&sub=9D561AD084E449AB8A96B273DEF07CCC ...
分类：
其他好文 时间：
2018-04-07 21:07:41
阅读次数：
269
一、HDFS伪分布式环境搭建Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实
分类：
其他好文 时间：
2018-04-07 12:51:45
阅读次数：
183
Hadoop自带HDFS，即 Hadoop Distributed FileSystem（不是HaDoop FileSystem 的简称） 适用范围 超大文件：最新的容量达到PB级 流式数据访问：HDFS的构建思路：一次写入、多次读取时最高效的访问模式 低时间延迟的数据访问不适用HDFS 大量的小文 ...
分类：
其他好文 时间：
2018-04-07 11:28:21
阅读次数：
136
分布式环境搭建之环境介绍之前我们已经介绍了如何在单机上搭建伪分布式的Hadoop环境，而在实际情况中，肯定都是多机器多节点的分布式集群环境，所以本文将简单介绍一下如何在多台机器上搭建Hadoop的分布式环境。我这里准备了三台机器，IP地址如下：192.168.77.128192.168.77.130192.168.77.134首先在这三台机器上编辑/etc/hosts配置文件，修改主机名以及配置其
分类：
其他好文 时间：
2018-04-02 22:04:25
阅读次数：
244
欢迎关注大数据和人工智能技术文章发布的微信公众号：清研学堂，在这里你可以学到夜白（作者笔名）精心整理的笔记，让我们每天进步一点点，让优秀成为一种习惯！ 一、HBase基本概念：列式数据库 在Hadoop生态体系结构中，HBase位于HDFS（Hadoop分布式文件系统）的上一层，不依赖于MapRed ...
分类：
数据库 时间：
2018-03-04 19:07:19
阅读次数：
257
