作为一个JVM进程，EXecutor的内存管理建立在JVM的内存管理之上，Spark对JVM的对内空间进行了更为详细的分配，以充分利用内存。同时，Spark引入了堆外内存，使之可以直接在工作节点的系统内存中开辟空间，进一步优化内存的使用。 堆内内存收到JVM统一管理，堆外内存是直接向操作系统进行内存 ...
分类：
其他好文 时间：
2020-05-13 23:30:58
阅读次数：
71
Job的划分 1、Application : 应用，创建一个SparkContext可以认为创建了一个Application 2、Job 在一个app中每执行一次行动算子 就会创建一个Job,一个application会有多个job 3、stage 阶段，每碰到一个shuffle算子，会产生一个新的 ...
分类：
其他好文 时间：
2020-05-11 23:56:54
阅读次数：
213
Spark性能优化指南——高级篇 2016年05月12日 作者: 李雪蕤 文章链接 23095字 47分钟阅读 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。 ...
分类：
其他好文 时间：
2020-05-11 23:20:20
阅读次数：
91
集合模拟斗地主 public class Demo04Main { public static void main(String[] args) { //1、准备牌 ArrayList<String> poker = new ArrayList<>();? String[] colors = {"? ...
分类：
其他好文 时间：
2020-05-02 19:16:43
阅读次数：
51
Collections 集合工具类 - 操作Set、List、Map等集合的工具 - 提供了排序、查询、修改、操作，提供对对象设置不可变对集合容器对象实现同步控制等方法 排序操作： - static reverse(List list) 反转集合顺序 - static shuffle(List li ...
分类：
编程语言 时间：
2020-04-21 13:08:48
阅读次数：
55
function shuffle(arr){ var newArr = []; while (arr.length){ var randomIndex = Math.floor(Math.random() * arr.length); newArr.push(arr.splice(randomInd ...
分类：
编程语言 时间：
2020-04-17 15:23:54
阅读次数：
74
问题：如果在 shuffle 的时候没有指定 reduce 的个数，那么会有多少个 reduce？ 如果不指定 reduce 个数的话，就按默认的走： 1、如果自定义了分区函数 partitioner 的话，就按你的分区函数来走。 2、如果没有定义，那么如果设置了 spark.default.par ...
分类：
其他好文 时间：
2020-04-17 12:23:45
阅读次数：
70
CommonJoin和MapJoin区别 CommonJoin即传统思路实现Join，性能较差 因为涉及到了shuffle的过程 Common join/shuffle join/reduce join (都是指同一个) MapJoin 也叫作 boardcast join，但是MapJoin不会有 ...
分类：
其他好文 时间：
2020-04-15 13:56:14
阅读次数：
73
150行代码实现图形化数独游戏 Github地址 ，欢迎各位大佬们fork、star啥的，感谢； 今天闲着没事干，以前做过html+js版的数独，这次做个python版本的，界面由pygame完成，数独生成由递归算法实现，由shuffle保证每次游戏都是不一样的情况，have fun； 功能列表： ...
分类：
编程语言 时间：
2020-04-14 16:57:46
阅读次数：
97
import tensorflow as tf import os from matplotlib import pyplot as plt import numpy as np from sklearn.utils import shuffle import skimage.io as io de ...
分类：
其他好文 时间：
2020-04-14 16:46:38
阅读次数：
58
