1、flume日志收集架构如下 2、解压安装包，修改文件夹名称，配置环境变量 tar -zxvf apache-flume-1.6.0-bin.tar.gz export FLUME_HOME=/soft/flume export PATH=$PATH:$FLUME_HOME/bin 修改conf下 ...
分类：
Web程序 时间：
2020-07-10 18:37:36
阅读次数：
66
先达到极限，然后再突破它 HA高可用 HA概述 所谓HA（High Available），即高可用（7*24小时不中断服务）。 实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 Hadoop2.0之前，在HDFS集群中NameNode存在 ...
分类：
其他好文 时间：
2020-07-10 17:23:12
阅读次数：
61
1.分区的作用 RDD 使用分区来分布式并行处理数据, 并且要做到尽量少的在不同的 Executor 之间使用网络交换数据, 所以当使用 RDD 读取数据的时候, 会尽量的在物理上靠近数据源, 比如说在读取 Cassandra 或者 HDFS 中数据的时候, 会尽量的保持 RDD 的分区和数据源的分 ...
分类：
其他好文 时间：
2020-07-07 13:11:09
阅读次数：
164
Hadoop的整体框架 Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成。 HBase是一个开源的，基于列存储模型的分布式数据库 HDFS是一个分布式文件系统。有着高容错性的特点，并且设计用来部署在低廉的硬件上，适合那些有着超大数据集的应用程序 MapR ...
分类：
其他好文 时间：
2020-07-06 15:47:59
阅读次数：
67
一.Map的原理和运行流程 Map的输入数据源是多种多样的，我们使用hdfs作为数据源。文件在hdfs上是以block(块，Hdfs上的存储单元)为单位进行存储的。 1.分片 我们将这一个个block划分成数据分片，即Split（分片，逻辑划分，不包含具体数据，只包含这些数据的位置信息）,那么上图中 ...
分类：
其他好文 时间：
2020-07-06 14:25:24
阅读次数：
60
存储相关知识 存储 https://blog.csdn.net/pansaky/article/details/83626183 https://blog.csdn.net/hxl_1993/article/details/62896197 HDFS Ceph GFS GPFS Swift 应用场景... ...
分类：
其他好文 时间：
2020-07-05 13:41:16
阅读次数：
81
##1. 引入jar包时排除掉jar包冲突 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>${hadoop-version}</version> <exc ...
分类：
其他好文 时间：
2020-07-05 13:24:51
阅读次数：
48
承接上一篇HDFS实验,学习入门课后的实验真的是以简单为主，后续估计得每个组件一一击破。 Hbase介绍 Hbase是一个分布式的、面向列的开源数据库，源于Google的一篇论文《BigTable：一个结构化的数据的分布式存储系统》。HBase中确定一个元素，需要提供表名，行，列族名，列。因为是以列 ...
分类：
其他好文 时间：
2020-07-05 10:24:53
阅读次数：
74
HDFS基本操作 hdfs dfsadmin查看命令 hdfs基本操作 查看目录 hdfs dfs -ls/ [-d] [-h] [-r] 大写 -d:将path作为一个普通文件输出文件信息 -h格式化输出文件及目录信息 -r递归列出目录下的内容 新建文件 创建 递归创建 hdfs dfs -mkd ...
分类：
其他好文 时间：
2020-07-04 17:09:04
阅读次数：
109
（1）MR程序提交到客户端所在的节点。（2）YarnRunner向ResourceManager申请一个Application。（3）RM将该应用程序的资源路径返回给YarnRunner。（4）该程序将运行所需资源提交到HDFS上。（5）程序资源提交完毕后，申请运行mrAppMaster。（6）RM ...
分类：
其他好文 时间：
2020-07-04 15:14:37
阅读次数：
54
