Hadoop 在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大，在Hadoop2.x时代，增加了Yarn。Yam只负责资源的调度,MapReduce只负责运算。 Hadoop运行模式 本地模式、伪模式以及完全分布式模式。 3.格式化 只能格式化 ...
分类：
其他好文 时间：
2020-07-26 23:02:06
阅读次数：
67
HDFS概述 HDFS产出背景及定义 HDFS优缺点 HDFS组成架构 HDFS文件块大小（面试重点） MapReduce概述 MapReduce定义 MapReduce优缺点 优点 缺点 MapReduce核心思想 1）分布式的运算程序往往需要分成至少2个阶段。 2）第一个阶段的MapTask并发 ...
分类：
其他好文 时间：
2020-07-26 23:01:30
阅读次数：
83
Hadoop是什么？1.hadoop是一个由Apache基金会所开发的分布式系统基础架构。2.主要解决，海量数据的储存和海量数据的分析计算问题。3.广义来说，hadoop通常是指一个更广泛的概念 Hadoop生态圈。 Hadoop三大发行版本Hadoop三大发行版本：Apache、Cloudera、 ...
分类：
其他好文 时间：
2020-07-26 22:58:58
阅读次数：
69
1 Hadoop是什么 1.hadoop是一个由Apache基金会所开发的分布式系统基础架构。 2.主要解决，海量数据的储存和海量数据的分析计算问题。 3.广义来说，hadoop通常是指一个更广泛的概念 Hadoop生态圈。 Hadoop三大发行版本 Hadoop三大发行版本：Apache、Clou ...
分类：
其他好文 时间：
2020-07-26 22:58:28
阅读次数：
95
1.1 MapReduce定义 1.2 MapReduce优缺点 1.2.1 优点 1.2.2 缺点 1.3 MapReduce核心思想 1）分布式的运算程序往往需要分成至少2个阶段。 2）第一个阶段的MapTask并发实例，完全并行运行，互不相干。 3）第二个阶段的ReduceTask并发实例互不 ...
分类：
其他好文 时间：
2020-07-26 19:40:01
阅读次数：
67
4 大数据技术之Hadoop（HDFS） 第1章 HDFS概述 1.1 HDFS产出背景及定义 1.2 HDFS优缺点 1.3 HDFS组成架构 1.4 HDFS文件块大小（面试重点） 第2章 HDFS的Shell操作（开发重点） 1．基本语法 bin/hadoop fs 具体命令 OR bin/h ...
分类：
其他好文 时间：
2020-07-26 19:35:03
阅读次数：
94
1. 简要介绍 HBase 是一个开源的非关系型分布式数据库（NoSQL），它参考了谷歌的 BigTable 建模，实现的编程语言为 Java。它是 Apache 软件基金会的 Hadoop 项目的一部分，运行于 HDFS 文件系统之上，为 Hadoop 提供类似于 BigTable 规模的服务，可 ...
分类：
其他好文 时间：
2020-07-26 01:59:15
阅读次数：
89
4 开启 Reduce 输出阶段压缩 当 Hive 将 输 出 写 入 到 表 中 时 ， 输 出 内 容 同 样 可 以 进 行 压 缩 。 属 性hive.exec.compress.output 控制着这个功能。用户可能需要保持默认设置文件中的默认值 false， 这样默认的输出就是非压缩的纯 ...
分类：
其他好文 时间：
2020-07-24 21:30:31
阅读次数：
69
分布式系统分布式系统从当初的CORBA到EJB，Web和SOA，从集群到现在的NoSQL云计算和大数据Hadoop等分布式系统，横向水平扩展Scalaout/in是分布式系统设计的一个特点，可靠性容错性是两个质量指标。什么是分布式系统？一大批服务器组成一个集合，对于用户来说仍然是一个整体连贯系统。A.Tanenbaum定义：分布式网络的计算机中的组件之间协调动作是通过消息进行通讯。G.Coulou
分类：
其他好文 时间：
2020-07-24 13:30:07
阅读次数：
93
HDFS主要解决什么问题，与IPFS有什么不同？近年，随着区块链、大数据等技术的推动，全球数据量正在无限制地扩展和增加。分布式存储的兴起与互联网的发展密不可分，互联网公司由于其大数据、轻资产的特点，通常使用大规模分布式存储系统。与传统的高端服务器、高端存储器和高端处理器不同的是，互联网公司的分布式存储系统由数量众多的、低成本和高性价比的普通PC服务器通过网络连接而成。由于互联网的业务发展迅猛，使得
分类：
其他好文 时间：
2020-07-23 22:53:39
阅读次数：
109
