分布式文件系统HDFS 需要实现以下的一些目标： 1. 廉价的硬件设备 2. 流数据读写（和传统系统区别的地方，全部的数据一股脑的读取） 3. 大数据集（一个文件可能有时候大到好几个T） 4. 简单的文件模型（获取了批量处理的特性，只能追加，不可以修改） 5. 强大的跨平台特性（java开发的） H ...
分类：
其他好文 时间：
2018-05-24 23:05:18
阅读次数：
244
一：来源 雅虎 >谷歌两篇论文GFS，mapreduce。 二：组成 hadoop common：支持其他Hadoop模块的常用工具。 HDFS：分布式文件系统，提供对应用程序数据的高吞吐量访问。全称：Hadoop Distributed File System。 hadoop yarn：作业调度和 ...
分类：
其他好文 时间：
2018-05-19 20:35:30
阅读次数：
243
一、Hadoop框架 1.HDFS（分布式文件系统） 2.MapReduce（分布式计算框架） 3.YARN（集群资源管理器） 4.Zookeeper（分布式协作服务） 5.Ambari（管理工具） 二、Spark（内存计算框架） 1.Scala 2.Spark SQL 3.Spark Stream ...
分类：
其他好文 时间：
2018-05-18 11:28:00
阅读次数：
137
Hadoop的两大功能：海量数据存储和海量数据分析 Hadoop2的三大核心组件是：HDFS、MapperReducer和yarn 1、HDFS：分布式文件系统海量数据存储 2、MapperReducer：运算框架，海量数据分析 3、yarn：资源调度管理集群 HDFS工作机制：基于namenode ...
分类：
其他好文 时间：
2018-04-07 12:51:32
阅读次数：
115
1、在window操作系统上，使用eclipse开发工具从hdfs分布式文件系统上下载文件报空指针异常解决方法： 2、将hadoop-2.5.0-cdh5.3.6.tar.gz文件在window操作系统解压缩，配置好环境变量。 然后验证一下是否配置成功，操作如window+R，输入cmd： 然后将如 ...
分类：
编程语言 时间：
2018-04-06 18:37:50
阅读次数：
235
随着互联网数据规模的不断增大，对文件存储系统提出了更高的要求，需要更大的容量、更好的性能以及更高安全性的文件存储系统，与传统分布式文件系统一样，HDFS分布式文件系统也是通过计算机网络与节点相连，但也有优于传统分布式文件系统的优点。1. 支持超大文件 HDFS分布式文件系统具有很大的数据集，可以存储TB或PB级别的超大数据文件，能够提供比较高的数据传输带宽与数据
分类：
其他好文 时间：
2018-03-23 19:24:19
阅读次数：
179
随着互联网数据规模的不断增大，对文件存储系统提出了更高的要求，需要更大的容量、更好的性能以及更高安全性的文件存储系统，与传统分布式文件系统一样，HDFS分布式文件系统也是通过计算机网络与节点相连，但也有优于传统分布式文件系统的优点。1. 支持超大文件 HDFS分布式文件系统具有很大的数据集，可以存储TB或PB级别的超大数据文件，能够提供比较高的数据传输带宽与数据
分类：
其他好文 时间：
2018-03-23 18:52:37
阅读次数：
190
随着互联网数据规模的不断增大，对文件存储系统提出了更高的要求，需要更大的容量、更好的性能以及更高安全性的文件存储系统，与传统分布式文件系统一样，HDFS分布式文件系统也是通过计算机网络与节点相连，但也有优于传统分布式文件系统的优点。
分类：
数据库 时间：
2018-03-23 14:46:18
阅读次数：
272
hadoopo原理hadoop2.0的HA机制有两个namenode，一个是activenamenode，状态是active；另外一个是standbynamenode，状态是standby。两者的状态是可以切换的，但不能同时两个都是active状态，最多只有1个是active状态。只有activenamenode提供对外的服务，standbynamenode是不对外服务的。activenameno
分类：
其他好文 时间：
2018-03-11 19:11:09
阅读次数：
184
1. 搭建hbase集群的前提条件是: (1) 需要有一个可用的hdfs分布式文件系统(2) 需要有一个可用的zookeeper或者集群 (3)搭建机器需要有jdk 的环境 2. 上传 用root用户和其他用户来安装都是可行的。 这个用 root用户，用工具将hbase安装包hbase-0.99.2 ...
分类：
其他好文 时间：
2018-02-06 11:40:25
阅读次数：
224
