这本书由宋立桓老师和陈建平老师共同合作，本书的切入点明确而清晰，从Hadoop生态明星Cloudera入手，单刀直入逐步引出各类大数据基础和核心应用框架。全书系统介绍了大数据的相关知识，全书共十八章（宋立桓老师撰写第一章到第十二章、陈建平撰写第十三章到第十八章），从大数据概述、Clouderahadoop平台的安装部署、并对大数据hadoop组件分别进行介绍，包括HDFS分布式文件系统、MapRe
分类：
其他好文 时间：
2018-11-14 21:00:22
阅读次数：
179
一、Namenode 和 Datanode HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。Namenode是一个中心服务器，负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。集群中的Datanode一般是一 ...
分类：
其他好文 时间：
2018-11-10 18:02:29
阅读次数：
236
1、什么是Hadoop 1). HADOOP是apache旗下的一套开源软件平台 2). HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理 3). HADOOP的核心组件有 A). HDFS（分布式文件系统） B). YARN（运算资源调度系统） C). M ...
分类：
其他好文 时间：
2018-11-04 19:42:26
阅读次数：
145
一、介绍 HDFS ： 分布式文件系统（distributed filesystem），主从结构。 以流式数据访问模式来存储超大文件，运行于商用硬件集群上。 超大文件： 几百M，几百G，甚至几百TB大小的文件。 流式数据访问： 一次写入，多次读取。每次读取都涉及到数据集的大部分数据甚至是全部，因 此 ...
分类：
其他好文 时间：
2018-10-27 16:13:20
阅读次数：
189
HDFS概述及设计目标 如果让我们自己设计一个分布式文件存储系统，怎么做？ HDFS设计目标 非常巨大的分布式文件系统 运行在普通廉价的硬件上 易扩展，为用户提供性能不错的文件存储系统 HDFS架构 如果让我们自己设计一个分布式文件存储系统，怎么做？ HDFS设计目标 非常巨大的分布式文件系统 运行 ...
分类：
其他好文 时间：
2018-10-13 22:49:15
阅读次数：
205
分布式文件系统HDFS 分布式文件系统 分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群。 分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，一类叫主节点（Master Node）或被称为名称节点（NameNode） 另一类叫从节点(Slave Node） ...
分类：
其他好文 时间：
2018-09-14 00:03:59
阅读次数：
154
### HDFS分布式文件系统
1. 分布式存储
2. 分布式计算 ### 2、hadoop
hadoop含有四个模块，分别是 common、 hdfs和yarn。
1. common 公共模块。 2. HDFS hadoop distributed file system，hadoop分布式文件系... ...
分类：
其他好文 时间：
2018-08-27 21:29:28
阅读次数：
257
一、Hadoop概述： Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS分布式文件系统为海量的数据提供了存储，则M ...
分类：
其他好文 时间：
2018-06-30 13:00:36
阅读次数：
1134
Hadoop集群搭建（完全分布式） 这里设置了NameNode的地址，是在ruixuan.com这台主机上，设置hadoop的临时目录，自己指定。 replication的是副本数，意思是一个文件需要在HDFS分布式文件系统中保存几分，建议 DataNode的数量应大于等于replication。 ...
分类：
其他好文 时间：
2018-06-20 12:50:56
阅读次数：
179
