有人说，Spring Boot的出现，让Java迎来了又一春，它是Java应用开发的颠覆者，彻底改变了Java应用开发的模式。 2017年，SpringBoot闯入我的生活, 也让我迎来了又一春 我开始接触SpringBoot的时候，是在2017年，是公司同事在开始学。我也网上查找了些资料，发现Sp ...
分类：
编程语言 时间：
2019-06-19 12:19:49
阅读次数：
115
由于不同机器上的程序要通信，才产生了网络 C/S Client/Server 客户端/服务端 服务端 一直运行 等待服务别人 客户端 寻求服务的时候 才请求服务 B/S Browser/Server 浏览器/服务器 b/s架构是c/s架构的一种 实现通信上有全球唯一的MAC地址 网卡和网线 网卡 通 ...
分类：
编程语言 时间：
2019-06-11 20:58:13
阅读次数：
160
讨论QQ：1586558083 目录 一、概述 二、shuffle的定义 三、ShuffleManager发展概述 四、HashShuffleManager的运行原理 4.1 未经优化的HashShuffleManager 4.2 优化后的HashShuffleManager 五、SortShuff ...
分类：
其他好文 时间：
2019-06-11 13:36:32
阅读次数：
109
讨论QQ：1586558083 目录 一、概述 二、广播变量broadcast variable 2.1 为什么要将变量定义成广播变量？ 2.2 广播变量图解 2.3 如何定义一个广播变量？ 2.4 如何还原一个广播变量？ 2.5 定义广播变量需要的注意点？ 2.6 注意事项 三、累加器 3.1 为 ...
分类：
其他好文 时间：
2019-06-11 13:34:30
阅读次数：
149
讨论QQ：1586558083 目录 一、概述 二、Spark-SQL脚本 正文 回到顶部 一、概述 SparkSQL 的元数据的状态有两种： 1、in_memory,用完了元数据也就丢了 2、hive , 通过hive去保存的，也就是说，hive的元数据存在哪儿，它的元数据也就存在哪儿。 换句话说 ...
分类：
数据库 时间：
2019-06-11 13:32:05
阅读次数：
218
讨论QQ：1586558083 目录 一、图 1.1 基本概念 二、术语 2.1 顶点和边 2.2 有向图和无向图 2.3 有环图和无环图 2.4 度、出边、入边、出度、入度 2.5 超步 三、图处理技术 3.1 图数据库 3.2 图数据查询 3.3 图数据分析 3.4 图数据可视化 正文 回到顶部 ...
分类：
其他好文 时间：
2019-06-11 13:30:05
阅读次数：
154
讨论QQ：1586558083 目录 一、概述 二、垃圾收集器(garbage collector (GC)) 是什么？ 三、为什么需要GC？ 四、为什么需要多种GC？ 五、对象存活的判断 六、垃圾回收算法 6.1 标记 -清除算法 6.2 复制算法 6.3 标记-整理算法 6.4 分代收集算法 七 ...
分类：
其他好文 时间：
2019-06-11 13:28:08
阅读次数：
119
讨论QQ：1586558083 目录 调优概述 原则一：避免创建重复的RDD 一个简单的例子 原则二：尽可能复用同一个RDD 一个简单的例子 原则三：对多次使用的RDD进行持久化 对多次使用的RDD进行持久化的代码示例 Spark的持久化级别 如何选择一种最合适的持久化策略 原则四：尽量避免使用sh ...
分类：
其他好文 时间：
2019-06-11 13:27:47
阅读次数：
155
讨论QQ：1586558083 目录 一、概述 二、源码解读 2.2 find-spark-home 2.3 spark-class 2.4 SparkSubmit 正文 回到顶部 一、概述 上一篇主要是介绍了spark启动的一些脚本，这篇主要分析一下Spark源码中提交任务脚本的处理逻辑，从spa ...
分类：
其他好文 时间：
2019-06-11 13:22:42
阅读次数：
127
讨论QQ：1586558083 目录 一、分区的概念 二、为什么要进行分区 三、Spark分区原则及方法 3.1 本地模式 3.2 YARN模式 四、分区器 正文 回到顶部 一、分区的概念 分区是RDD内部并行计算的一个计算单元，RDD的数据集在逻辑上被划分为多个分片，每一个分片称为分区，分区的格式 ...
分类：
其他好文 时间：
2019-06-11 13:21:29
阅读次数：
119
