目录：.1.Hadoop家族产品2.Hadoop家族学习路线图Hadoop家族产品截止到2013年，根据cloudera的统计，Hadoop家族产品已经达到20个！接下来，我把这20个产品，分成了2类。?第一类，是我已经掌握的?第二类，是TODO准备继续学习的一句话产品介绍:?Apache?Hadoop:是Apache开源组织的一个分布式计算开源框架，提供了一个分布式文件系统子项目(HDFS)和支
分类：
其他好文 时间：
2018-05-06 17:04:27
阅读次数：
128
目录：.1.Hadoop家族产品2.Hadoop家族学习路线图Hadoop家族产品截止到2013年，根据cloudera的统计，Hadoop家族产品已经达到20个！接下来，我把这20个产品，分成了2类。?第一类，是我已经掌握的?第二类，是TODO准备继续学习的一句话产品介绍:?Apache?Hadoop:是Apache开源组织的一个分布式计算开源框架，提供了一个分布式文件系统子项目(HDFS)和支
分类：
其他好文 时间：
2018-05-06 17:03:49
阅读次数：
230
分布式文件系统DFS分布式文件系统（DFS）包括DFS命名空间和DFS复制两种技术，DFS命名空间可以使用户从一个入口（一个共享文件夹）访问位于多台计算机中的共享资源；DFS复制技术可以通过网络连接多个服务器上的文件夹，提供容错且灵活的文件共享和复制技术。 今天来介绍下DFS命名空间的配置和使用 在Windows 7
分类：
其他好文 时间：
2018-05-05 14:21:23
阅读次数：
212
FastDFS分布式文件系统1 目标了解项目中使用FastDFS的原因和意义。掌握FastDFS的架构组成部分，能说出tracker和storage的作用。了解FastDFS+nginx上传和下载的执行流程。掌握FastDFS+nginx在项目中作为图片服务器，上传和下载方法。2 FastDFS介绍... ...
分类：
其他好文 时间：
2018-05-04 01:45:18
阅读次数：
210
一、大型网站架构演化 1、大型网站特点 高并发，大流量 高可用 海量数据 用户分布广泛，网络情况复杂 安全环境恶劣 需求快速变更，发布频繁 渐进式发展 2、大型网站架构发展历程 文件服务器，数据库服务器，应用服务器分离 应用服务器增加本地缓存，本地缓存优先，增加分布式缓存服务器 使用应用程序服务器集 ...
分类：
Web程序 时间：
2018-04-27 22:54:03
阅读次数：
221
一、HDFS体系结构 1 HDFS假设条件 数据流访问 大数据集 简单相关模型 移动计算比移动数据便宜 多种软硬件平台中的可移植性 2 HDFS的设计目标 非常巨大的分布式文件系统 运行于普通硬件上 优化批处理 用户控件可以位于异构的操作系统中 在整个集群中使用单一的命名空间 数据一致性 文件被分为 ...
分类：
其他好文 时间：
2018-04-25 17:09:54
阅读次数：
180
Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的 机器上。它能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。要理解HDFS的内部工作原理，首先要理解什么是分布式文件系统。 1、分布式文件系统 多台计算机 ...
分类：
其他好文 时间：
2018-04-24 14:49:24
阅读次数：
168
目前国内盛行分布式与微服务结构设计，大小公司、电商、物联网等行业都是紧随这些概念在开展项目开发和运营，据我日前和一些架构师朋友讨论过程中发现不但大多公司没有把整体的方案落地，有些架构师甚至都不知道为什么采用这一系列的服务就开始了开发工作，这对软件行业来说是非常危险的。 谈起来大型平台架构都是采用什么 ...
分类：
其他好文 时间：
2018-04-23 12:16:48
阅读次数：
197
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 [1] Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高 ...
分类：
其他好文 时间：
2018-04-17 19:44:38
阅读次数：
134
Hadoop MapReduceV2(Yarn) 框架简介 原 Hadoop MapReduce 框架的问题 对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读者可参考 Hadoop 官方简介。使用和学 ...
分类：
其他好文 时间：
2018-04-17 11:31:17
阅读次数：
153
