Hadoop 3个核心组件： 分布式文件系统：Hdfs——实现将文件分布式存储在很多的服务器上（hdfs是一个基于Linux本地文件系统上的文件系统） 分布式运算编程框架：Mapreduce——实现在很多机器上分布式并行运算 分布式资源调度平台：Yarn——帮用户调度大量的mapreduce程序，并 ...
分类：
其他好文 时间：
2018-07-28 18:26:52
阅读次数：
113
YARN产生背景 单点故障 节点压力大 不易扩展 单点故障 节点压力大 MapReduce1.x时的架构如下： 可以看到，1.x时也是Master/Slave这种主从结构，在集群上的表现就是一个JobTracker带多个TaskTracker。 JobTracker：负责资源管理和作业调度TaskT ...
分类：
其他好文 时间：
2018-05-09 19:27:14
阅读次数：
202
一个开源的，高可靠，可扩展的分布式计算框架 解决的问题 1 海量数据的存储（HDFS） 2海量数据的分析（Mapreduce） 3 分布式资源调度 （Yarn） 应用场景 日志分析，基于海量数据的在线应用，推荐系统，计算广告，复杂算法，网盘，搜素引擎，，，， 一 HDFS 动态增加，自动备份 二 m ...
分类：
其他好文 时间：
2016-09-17 23:32:08
阅读次数：
194
一、DistributedResourceScheduler（DRS）1、VMwareDRS简介VMware的分布式资源调度(DistributedResourceScheduler，DRS)动态地分配和平衡计算容量，将硬件资源聚集到逻辑资源池中。可以持续不断地监控资源池的利用率，智能分配资源，允许用户自己定义规则和方案来决定虚拟机共..
分类：
系统相关 时间：
2016-08-15 22:42:22
阅读次数：
935
一些在vsphere实践过程中会遇到的名词，备忘DRS：分布式资源调度。当一个VM虚机负载变大时，可以自动寻找一台CPU、内存更强的EXSI主机，自动迁移过去，以满足业务运行的需要。VMFS：指vsphere的文件系统，类似于Windows有NTFS，LINUX有EXT3。云：IaaS指架构即服务，通过虚拟化..
分类：
其他好文 时间：
2014-05-15 08:42:12
阅读次数：
306
