#Hadoop 分布式计算平台，同时也是一个生态圈 hadoop 1.X HDFS+MapReducer+Common hadoop 2.X HDFS+MAP+Reducer+Common hadoop 3.X java7->java8，引入纠删码，重写shell脚本，支持超过两个NameNode， ...
分类：
其他好文 时间：
2021-04-27 15:04:12
阅读次数：
0
1.用图表描述Hadoop生态系统的各个组件及其关系。 2.阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 HDFS（Hadoop分布式文件系统）是Hadoop体系中 数据存储管理的基础。它是一个高度容错的系统，能检测和应对硬件故障，用于 ...
分类：
其他好文 时间：
2021-03-02 12:24:42
阅读次数：
0
准备4台虚拟机，安装好ol7.7，分配固定ip192.168.168.11 12 13 14，其中192.168.168.11作为master，其他3个作为slave，主节点也同时作为namenode的同时也是datanode，192.168.168.14作为datanode的同时也作为second... ...
分类：
其他好文 时间：
2020-07-03 12:23:28
阅读次数：
70
Hadoop 分布式系统基础结构 海量数据存储，海量数据计算 Hadoop指的是Hadoop生态圈 Google=》Hadoop GFS->HDFS Map-Reduce->MR BigTable->HBase Hadoop发行版本 Apache：最基础 Cloudera：大型互联网企业 Horto ...
分类：
其他好文 时间：
2020-06-21 23:10:42
阅读次数：
63
概览 首先我们来认识一下HDFS， HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。通过联网让用户感觉像是在本地一样查看文件，为了降低文件丢失造成的错误，它会为每个小文件复制多个副本（默 ...
分类：
其他好文 时间：
2020-05-28 18:13:32
阅读次数：
84
org.apache.hadoop.fs.FileSystem是Hadoop中一个相当通用的文件系统的抽象基类，它是一个面向最终用户的接口类。应该将所有可能使用Hadoop分布式文件系统的用户代码编写为使用一个FileSystem对象。Hadoop DFS是一种多机系统，显示为单个磁盘，由于其容错能 ...
高可用性的HDFS：Hadoop分布式文件系统深度实践专注于Hadoop分布式文件系统（HDFS）的主流HA解决方案，内容包括：HDFS元数据解析、Hadoop元数据备份方案、Hadoop Backup Node方案、AvatarNode解决方案以及最新的HA解决方案Cloudrea HA Name ...
分类：
其他好文 时间：
2020-05-21 16:29:51
阅读次数：
73
多线程 35. 并行和并发有什么区别？ 并行是指两个或者多个事件在同一时刻发生；而并发是指两个或多个事件在同一时间间隔发生。 并行是在不同实体上的多个事件，并发是在同一实体上的多个事件。 在一台处理器上“同时”处理多个任务，在多台处理器上同时处理多个任务。如hadoop分布式集群。 所以并发编程的目 ...
分类：
编程语言 时间：
2020-05-19 00:57:50
阅读次数：
61
一、Liunx环境准备 VMware+CentOS 7.6， 1.1下面是VMware和Centos的资源地址，也可以自己从网上下载相应的版本 百度网盘地址：链接：https://pan.baidu.com/s/1m_qvasgybY5rfJNHNjkqpw 提取码：9xka 1.2安装Linux ...
分类：
其他好文 时间：
2020-04-28 12:42:34
阅读次数：
85
35.并行和并发有什么区别？ 1.并行是指两个或者多个事件在同一时刻发生；而并发是指两个或多个事件在同一时间间隔发生。 2.并行是在不同实体上的多个事件，并发是在同一实体上的多个事件。 3.在一台处理器上“同时”处理多个任务，在多台处理器上同时处理多个任务。如hadoop分布式集群。 所以并发编程的 ...
分类：
编程语言 时间：
2020-04-24 14:32:30
阅读次数：
67
