认知和学习Hadoop,我们必须得了解Hadoop的构成,我根据自己的经验通过Hadoop构件、大数据处理流程,Hadoop核心三个方面进行一下介绍: 一、 Hadoop组件 由图我们可以看到Hadoop组件由底层的Hadoop核心构件以及上层的Hadoop生态系统共同集成,而上层的生态系统都是基于 ...
分类:
其他好文 时间:
2020-10-29 10:11:31
阅读次数:
19
在单点或者少数节点故障的情况下,集群还可以正常的提供服务,HDFS高可用机制可以通过配置Active/Standby两个NameNodes节点实现在集群中对NameNode的热备来消除单节点故障问题,如果单个节点出现故障,可通过该方式将NameNode快速切换到另外一个节点上。
分类:
其他好文 时间:
2020-10-29 09:35:04
阅读次数:
15
配置集群 配置yarn-env.sh Linux系统中获取JDK的安装路径 [xiaoran@hadoop101 hadoop-2.7.2]$ echo $JAVA_HOME /opt/module/jdk1.8.0_144 修改JAVA_HOME路径 [xiaoran@hadoop101 hado ...
分类:
其他好文 时间:
2020-10-27 11:36:17
阅读次数:
28
Hadoop基础之环境搭建 环境搭建 本地环境 可以用于开发的单节点模式,没有分布式的概念 伪分布式环境 一个节点表示一整个集群,但是分布式的概念,一个节点充当分布式里的所有角色 完全分布式 一个集群中有N个节点,他们分别充当分布式中不同的角色,完成不同的任务 伪分布式环境搭建 下载安装包 Hado ...
分类:
其他好文 时间:
2020-10-26 11:17:07
阅读次数:
16
数据仓库及管理——星环
Transwarp - 首页星环主要从事大数据时代核心平台数据库软件的研发与服务,是唯一被Gartner列为国际主流Hadoop发行版厂商。其产品Transwarp Data Hub提供高速SQL引擎Transwarp Inceptor, No...
分类:
其他好文 时间:
2020-10-24 11:51:18
阅读次数:
41
生产上使用splunk进行日志搜集,服务端已经安装完成,客户端有几十台需要部署,本文介绍使用ansible进行客户端批量安装
分类:
其他好文 时间:
2020-10-22 23:04:15
阅读次数:
26
DataNode上数据块以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是数据块元数据包括长度、校验、时间戳;
DataNode启动后向NameNode服务注册,并周期性的向NameNode上报所有的数据块元数据信息;
分类:
其他好文 时间:
2020-10-21 20:51:41
阅读次数:
21
无论对Spark集群,还是Hadoop集群等大数据相关的集群进行调优,对linux系统层面的调优都是必不可少的,这里主要介绍3种常用的调优和linux常见面试题 ...
分类:
系统相关 时间:
2020-10-20 16:23:11
阅读次数:
36