一、Kafka介绍 Kafka是一个开源的分布式消息引擎/消息中间件，同时Kafka也是一个流处理平台。Kakfa支持以发布/订阅的方式在应用间传递消息，同时并基于消息功能添加了Kafka Connect、Kafka Streams以支持连接其他系统的数据(Elasticsearch、Hadoop等 ...
分类：
系统相关 时间：
2020-04-23 12:02:24
阅读次数：
86
1。hadoop生态系统 2.Hadoop分布式文件系统 2.1 HDFS的设计 2.2 HDFS的概念 数据块 namenode和datanode HDFS的高可用性 2.3命令行接口 2.4hadoop文件系统 2.5通过Flume和sqoop导入数据 ...
分类：
其他好文 时间：
2020-04-09 15:30:24
阅读次数：
92
1.名称配额 (*)Hadoop分布式文件系统( HDFS )允许管理员为使用的名字（name）数量和用于各个目录的空间设置配额。名字配额和空间配额独立运行，但两种类型配额的管理和实施密切平行。 名称配额是对以该目录为根的树中文件和目录名称数量的硬限制。如果超过配额，创建文件和目录将会失败。配额与重 ...
分类：
其他好文 时间：
2020-03-23 15:29:01
阅读次数：
85
HDFS的定义？ Hadoop分布式文件管理系统。旨在对不同系统上的文件进行统一的管理。它是一个文件系统，用于存储文件，通过目录树来定位文件，其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 使用场景？ 适合一次写入，多次读出的场景，且不支持文件的修改，适合用来做数据 ...
分类：
其他好文 时间：
2020-03-10 11:56:30
阅读次数：
66
集群搭建之前需要做好NN节点到其他所有节点的免密认证，关闭所有服务器的selinux和防火墙 架构图 1.更改所有服务器的主机名和hosts文件对应关系 [root@localhost ~]# hostnamectl set-hostname node1 [root@localhost ~]# ca ...
分类：
其他好文 时间：
2020-02-22 15:34:20
阅读次数：
85
HDFS(Hadoop Distributed File System）就是hadoop分布式文件系统，fs是操作HDFS文件的一个常用命令。 1.hadoop fs help 查看fs使用帮助 2.hadoop fs mkdir 在HDFS文件系统下的根路径下创建一个文件 这个根目录是独立于虚拟机 ...
分类：
其他好文 时间：
2020-02-22 00:08:28
阅读次数：
120
HDFS产出背景及定义 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDF ...
分类：
其他好文 时间：
2020-01-15 21:18:15
阅读次数：
85
Zookeeper是Hadoop分布式调度服务，用来构建分布式应用系统。构建一个分布式应用是一个很复杂的事情，主要的原因是我们需要合理有效的处理分布式集群中的部分失败的问题。例如，集群中的节点在相互通信时，A节点向B节点发送消息。A节点如果想知道消息是否发送成功，只能由B节点告诉A节点。那么如果B节 ...
分类：
其他好文 时间：
2020-01-07 16:15:57
阅读次数：
84
一 整体介绍 1.1 硬件环境 本文使用三台服务器搭建hadoop集群，使用Centos7.5系统，服务器均有独立ip 1.2 部署的软件 部署服务：namenode（HA）,resourcemanager（HA）,zookeeper，hbase（HA）,spark,kafka,geomesa 版本 ...
分类：
其他好文 时间：
2019-12-31 14:12:21
阅读次数：
94
以两台节点为例来组件Hadoop分布式集群，这里采用的系统版本为Centos7，如下表所示： 主机名 内存 硬盘 IP地址 角色 master 8192MB 100G 192.168.200.131 Ambari-Server Ambari-Agent slave1 4096MB 100G 192. ...
分类：
其他好文 时间：
2019-12-20 01:16:58
阅读次数：
160
