1.1 MapReduce定义 1.2 MapReduce优缺点 1.2.1 优点 1.2.2 缺点 1.3 MapReduce核心思想 1）分布式的运算程序往往需要分成至少2个阶段。 2）第一个阶段的MapTask并发实例，完全并行运行，互不相干。 3）第二个阶段的ReduceTask并发实例互不 ...
分类：
其他好文 时间：
2020-07-26 23:12:54
阅读次数：
73
Yarn资源调度器 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 Yarn基本架构 YARN主要由ResourceManager、NodeManager、ApplicationMas ...
分类：
其他好文 时间：
2020-07-26 23:11:08
阅读次数：
88
Hadoop 在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大，在Hadoop2.x时代，增加了Yarn。Yam只负责资源的调度,MapReduce只负责运算。 Hadoop运行模式 本地模式、伪模式以及完全分布式模式。 3.格式化 只能格式化 ...
分类：
其他好文 时间：
2020-07-26 23:02:06
阅读次数：
67
HDFS概述 HDFS产出背景及定义 HDFS优缺点 HDFS组成架构 HDFS文件块大小（面试重点） MapReduce概述 MapReduce定义 MapReduce优缺点 优点 缺点 MapReduce核心思想 1）分布式的运算程序往往需要分成至少2个阶段。 2）第一个阶段的MapTask并发 ...
分类：
其他好文 时间：
2020-07-26 23:01:30
阅读次数：
83
Hadoop是什么？1.hadoop是一个由Apache基金会所开发的分布式系统基础架构。2.主要解决，海量数据的储存和海量数据的分析计算问题。3.广义来说，hadoop通常是指一个更广泛的概念 Hadoop生态圈。 Hadoop三大发行版本Hadoop三大发行版本：Apache、Cloudera、 ...
分类：
其他好文 时间：
2020-07-26 22:58:58
阅读次数：
69
1.1 MapReduce定义 1.2 MapReduce优缺点 1.2.1 优点 1.2.2 缺点 1.3 MapReduce核心思想 1）分布式的运算程序往往需要分成至少2个阶段。 2）第一个阶段的MapTask并发实例，完全并行运行，互不相干。 3）第二个阶段的ReduceTask并发实例互不 ...
分类：
其他好文 时间：
2020-07-26 19:40:01
阅读次数：
67
基本认识 将抽象和实现解耦，使得两者可以独立地变化。 是一种结构型设计模式。 桥接模式基于类的最小设计原则，通过使用封装、聚合及继承等行为让不同的类承担不同的职责，它的主要特点是把抽象与行为实现分离开来，从而可以保持各部分的独立性以及应对它们的功能扩展。 桥接模式虽然是一个使用频率不高的模式，但是熟 ...
分类：
其他好文 时间：
2020-07-26 19:15:41
阅读次数：
55
抑制构造用函数的隐式转换（explicit） 当类存在一个参数的构造函数的时候也可以将这个构造函数称之为转换构造函数，允许将参数类型的值转换成类类型，但是只允许一步类型转换，如果想要禁止这种转换操作，可以通过在构造函数前面添加 explicit 实现。注意，如果将构造函数声明成了explicit的方 ...
分类：
编程语言 时间：
2020-07-26 19:11:09
阅读次数：
63
背景 之前做的海量数据数据展示，在预处理速度和渲染上还有有所欠缺，比如单个切片文件还是太大，本文中进行一些优化工作,使得一分钟处理完一千多万点数据的1-11级矢量切片，在线浏览数据请求时间控制在1s左右。 准备 软件环境:PostGIS,数据是微软开源的部分房屋数据public.california ...
分类：
其他好文 时间：
2020-07-26 16:02:32
阅读次数：
106
1 Flume 定义 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。 2 Flume 组成架构 Flume 组成架构如图 1-1，图 1-2 所示： 2.1 Agent Agent 是一个 JVM 进程，它 ...
分类：
Web程序 时间：
2020-07-26 02:04:24
阅读次数：
109
