设计Spark程式过程中最初始的是创建RDD数据集，该数据集来自定义的源数据，当RDD数据集初始后，再通过算子对RDD数据集作转换生成后续的数据集。Spark中提供了多种创建RDD数据集的方法，比如：通过内存集合创建、或使用本地文件创建以及HDFS文件创建RDD数据集。最常见的是第三种方式，生产环境下通常会读取并基于HDFS上存储的数据来创建并进行离线批处理。典型的RDD创建流程为，通过输入算子（
分类：
其他好文 时间：
2020-12-04 10:59:58
阅读次数：
4
什么是Hive？ Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。 Hive 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将SQL转化成MapReduce程序。 1、Hive 处理的数据存储在HDFS； 2、Hiv ...
分类：
其他好文 时间：
2020-12-03 11:43:46
阅读次数：
3
tech road one step 1. Tech 1. Architecture <EIP> 温习理解，结合 EIS 思考消息传递系统的设计 <rabbitMQ in depth> 温习理解MQ <rabbimtMQ in action> 温习理解MQ <spring boot2 reciple ...
分类：
其他好文 时间：
2020-12-02 12:40:57
阅读次数：
6
首先还是修改flink安装目录的conf目录下flink-conf.yaml文件，找到如下的三个配置，把原本的注释放开，然后配置自己的hdfs地址和zookeeper地址。 需要注意的是，我这里的hdfs是之前的ha集群，mycluster是我的hdfs的集群名，至于后边的内容会在hdfs中创建路径 ...
分类：
其他好文 时间：
2020-12-01 12:17:20
阅读次数：
7
>.ClouderaManager功能 1.1>.管理监控集群主机（主要监控硬件和软件的信息）； 1.2>.同一管理配置（主要是针对服务，比如hdfs，hbase等等）； 1.3>.管理维护Hadoop平台系统； 2>.ClouderaManager的一些常见名词 2.1>.主机-host 2.2> ...
分类：
其他好文 时间：
2020-12-01 11:54:36
阅读次数：
3
1.大数据架构图谱 文件系统 HDFS Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。 GlusterFS 是一个集群的文件系统 ...
分类：
其他好文 时间：
2020-11-25 12:06:50
阅读次数：
8
最近经常有小伙伴留言，核心问题都比较类似，就是虽然接触Spark有一段时间了，但是搞不明白一个问题，为什么我从HDFS上加载不同的文件时，打印的分区数不一样，并且好像spark.default.parallelism这个参数时不是一直起作用？其实笔者之前的文章已有相关介绍，想知道为什么，就必须了解S... ...
分类：
其他好文 时间：
2020-11-23 12:25:04
阅读次数：
5
01 我们一起学大数据 老刘今天开始了大数据Hadoop知识点的复习，Hadoop包含三个模块，这次先分享出Hadoop中的HDFS模块的基础知识点，也算是对今天复习的内容进行一次总结，希望能够给想学大数据的同学一点帮助，也希望能够得到大佬们的批评和指点！（每个点都很重要，都不能忽视） 02 需谨记 ...
分类：
其他好文 时间：
2020-11-23 12:18:23
阅读次数：
6
hdfs的写入过程和读取过程 hdfs的写入过程 1、客户端（Client）发出请求（将请求发给namenode），要将大小为300M的a.txt文件上传到 根目录下（/a.txt） 2、namenode对收到的请求做出检测；检测1：所上传的路径下是否存在该文件，（即根目录下是否有a.txt），检测 ...
分类：
其他好文 时间：
2020-11-23 12:16:27
阅读次数：
4
Organization Chart Business Process Diagram with Lanes Management Enterprise Architecture Basic Business Process Domain Model ...
分类：
其他好文 时间：
2020-11-20 11:52:35
阅读次数：
4
