HDFS是一种分布式文件系统，它采用的是master/slave架构对海量文件进行管理。一个HDFS集群是由一个NameNode和一定数目的DataNode组成的，NameNode是一个中心服务器，它负责管理集群中的执行调度，而DataNode则是具体任务的执行节点。HDFS以block为基本单位来处理文件，每个DataNode上都存储一个block，block默认大小为64MB，开发者也可以根据需...
分类：
其他好文 时间：
2016-05-12 18:17:22
阅读次数：
120
Hadoop的体系结构 Hadoop不仅是一个用于分布式存储的分布式文件系统，而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。 HDFS和MapReduce是Hadoop中的两个最基础、最重要的成员，它们提供了互补性服务或在核心层上提供了更高层的服务。 Pig Chukwa Hiv... ...
分类：
其他好文 时间：
2016-05-11 11:16:39
阅读次数：
123
Hadoop组成 包括两个核心组成：HDFS：分布式文件系统，存储海量的数据MapReduce：并行处理框架，实现任务分解和调度 搭建大型数据仓库，PB级数据的存储、处理、分析、统计等业务（搜索引擎、日志分析、商业智能、数据挖掘） 安装Java JDK 1,进入Sshell，检测是否安装java2， ...
分类：
其他好文 时间：
2016-05-11 01:19:03
阅读次数：
142
分布式系统介绍及MogileFS安装、基本配置分布式MogileFS大纲前言:什么是分布式?分布式存在的意义?分布式的难点及CAP、BASE、2PC、X/OpenXA介绍分布式存储和分布式文件系统:MogileFS实现原理:MogileFS编译安装和配置总结前言:不知不觉中我们就进入大数据时代,什么是大数据?什么..
分类：
其他好文 时间：
2016-05-05 07:14:56
阅读次数：
282
Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和Mapreduce，hadoop2.0还包括YARN。 下图为hadoop的生态系统： 2、HDFS（Hadoop分布式文件系统） 源自于Google的GFS论文，发表于2003年 ...
分类：
其他好文 时间：
2016-05-04 19:12:46
阅读次数：
155
摘要 我们设计并实现了Google GFS文件系统，一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS虽然运行在廉价的普遍硬件设备上，但是它依然了提供灾难冗余的能力，为大量客户机提供了高性能的服务。 虽然GFS的设计目标与许多传统的分布式文件系统有很多相同之处，但是，我们的设计还是以我们 ...
分类：
其他好文 时间：
2016-05-04 14:35:58
阅读次数：
314
Hadoop Hive sql语法详解 Hadoop Hive sql语法详解 Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构 化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL ...
分类：
数据库 时间：
2016-04-30 13:01:11
阅读次数：
287
Hadoop HDFS分布式文件系统设计要点与架构 Hadoop简介：一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File Sy ...
分类：
其他好文 时间：
2016-04-30 12:52:24
阅读次数：
146
一、Hive是什么？ Hive 是基于 Hadoop 构建的一套数据仓库分析系统，它提供了丰富的 SQL 查询方式来分析存储在 Hadoop 分布式文件系统中的数据， 可以将结构化的数据文件映射为一张数据库表，并提供完整的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务进行运行，通过自己的 SQL 去 查询分析需要的内容，这套 SQL 简称 Hive SQL。
二...
分类：
其他好文 时间：
2016-04-29 19:39:54
阅读次数：
366
fastdfs是一个轻量级的分布式文件系统，主要由 tracker server， storage server 以及client组成，这里主要涉及两点 ：
1）客户端上传文件流程和协议分析
2）实现一个简单的文件上传函数一: 文件上传的基本流程fastdfs中上传一个文件，主要涉及以下几个步骤:1）上传连接请求，客户端会向tracker server发出上传文件的请求
2）...
分类：
Web程序 时间：
2016-04-29 15:20:32
阅读次数：
195
