首先还是修改flink安装目录的conf目录下flink-conf.yaml文件,找到如下的三个配置,把原本的注释放开,然后配置自己的hdfs地址和zookeeper地址。 需要注意的是,我这里的hdfs是之前的ha集群,mycluster是我的hdfs的集群名,至于后边的内容会在hdfs中创建路径 ...
分类:
其他好文 时间:
2020-12-01 12:17:20
阅读次数:
7
>.ClouderaManager功能 1.1>.管理监控集群主机(主要监控硬件和软件的信息); 1.2>.同一管理配置(主要是针对服务,比如hdfs,hbase等等); 1.3>.管理维护Hadoop平台系统; 2>.ClouderaManager的一些常见名词 2.1>.主机-host 2.2> ...
分类:
其他好文 时间:
2020-12-01 11:54:36
阅读次数:
3
1)配置flume(flume-kafka.conf) # define a1.sources = r1 a1.sinks = k1 a1.channels = c1 # source a1.sources.r1.type = exec a1.sources.r1.command = tail -F ...
分类:
Web程序 时间:
2020-11-30 15:35:17
阅读次数:
9
1.大数据架构图谱 文件系统 HDFS Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。 GlusterFS 是一个集群的文件系统 ...
分类:
其他好文 时间:
2020-11-25 12:06:50
阅读次数:
8
最近经常有小伙伴留言,核心问题都比较类似,就是虽然接触Spark有一段时间了,但是搞不明白一个问题,为什么我从HDFS上加载不同的文件时,打印的分区数不一样,并且好像spark.default.parallelism这个参数时不是一直起作用?其实笔者之前的文章已有相关介绍,想知道为什么,就必须了解S... ...
分类:
其他好文 时间:
2020-11-23 12:25:04
阅读次数:
5
01 我们一起学大数据 老刘今天开始了大数据Hadoop知识点的复习,Hadoop包含三个模块,这次先分享出Hadoop中的HDFS模块的基础知识点,也算是对今天复习的内容进行一次总结,希望能够给想学大数据的同学一点帮助,也希望能够得到大佬们的批评和指点!(每个点都很重要,都不能忽视) 02 需谨记 ...
分类:
其他好文 时间:
2020-11-23 12:18:23
阅读次数:
6
hdfs的写入过程和读取过程 hdfs的写入过程 1、客户端(Client)发出请求(将请求发给namenode),要将大小为300M的a.txt文件上传到 根目录下(/a.txt) 2、namenode对收到的请求做出检测;检测1:所上传的路径下是否存在该文件,(即根目录下是否有a.txt),检测 ...
分类:
其他好文 时间:
2020-11-23 12:16:27
阅读次数:
4
ApacheRanger简介ApacheRanger提供一个集中式安全管理框架,并解决授权和审计。它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台,管理员可以轻松的通过配置策略来控制用户访问权限。Ranger优点:丰富的组件支持(HDFS,HBASE,HIVE,YARN,KAFKA,STORM)提供了细粒度级权限控制(h
分类:
其他好文 时间:
2020-11-18 13:10:32
阅读次数:
10
Hadoop/Hive自带权限控制集群安全下需求:支持多组件,最好能支持当前大数据技术栈的主要组件,HDFS、HBASE、HIVE、YARN、KAFKA等支持细粒度的权限控制,可以达到HIVE列,HDFS目录,HBASE列,YARN队列开源,社区活跃,按照现有的集群情况改动尽可能的小,而且要符合业界的趋势。现有方案:Hadoop、Hive本身的权限控制Kerberos安全认证ApacheRange
分类:
其他好文 时间:
2020-11-18 12:15:31
阅读次数:
8
1、hbase数据flush过程 1)当MemStore数据达到阈值(默认是128M,老版本是64M),将数据刷到硬盘,将内存中的数据删除,同时删除HLog中的历史数据; 2)并将数据存储到HDFS中; 3)在HLog中做标记点。 2、数据合并过程 1)当数据块达到4块,hmaster将数据块加载到 ...
分类:
其他好文 时间:
2020-11-17 11:47:51
阅读次数:
3