关于JVM，也许你听过这些术语：年轻代（新生代）、老年代、永久代、minor gc(young gc)、major gc、full gc 不要急，先上图，这是jvm 堆内存结构图 仔细的你发现了 图中有些分数8/10和1/10，这是默认配置下各个代内存分配比例。 举个栗子： 假如总heap max分 ...
分类：
其他好文 时间：
2020-07-09 12:00:19
阅读次数：
197
最大并发200，100的并发递增施压，到达200后持续360秒1：this group will start：表示总共要生成的最大线程数，如图：设置为:200 个，表示总共会加载到 200个线程2：first，wait for：第一个线程从点击执行之后多长时间开始加载，如图：设置为 0 秒，表示点击 ...
分类：
编程语言 时间：
2020-07-09 10:47:44
阅读次数：
137
1、官网下载redis-5.0.5.tar.gz压缩包 2、安装gcc和gc-c++ yum install gcc yum install gc-c++ 3、将redis-5.0.5.tar.gz上传到/opt文件夹下 4、运行 tar -zxvf redis-5.0.5.tar.gz 进行解压 ...
分类：
系统相关 时间：
2020-07-08 22:49:37
阅读次数：
79
垃圾回收与内存分配 垃圾回收与内存分配 一些基础 垃圾回收算法 垃圾回收器 常见问题 一些基础 对象的四种引用类型 强引用，内存不足时报错oom，但不会该类对象 弱引用，当内存不足时才会回收 软引用，不管内存是否充足，在gc都会回收 虚引用，任何时候都可以被回收 怎么判断对象是否仍在使用？ 引用计数 ...
分类：
其他好文 时间：
2020-07-08 01:34:17
阅读次数：
81
python垃圾回收机制-详解 说明：垃圾回收机制（Garbage collection 简称 GC），GC系统作用不仅限于垃圾回收，主要负责三个方面： 为新生成的对象分配内存 识别垃圾对象 从垃圾对象那回收内存 一、简述python垃圾回收方法 在Python中，垃圾回收机制主要是以引用计数为主要 ...
分类：
编程语言 时间：
2020-07-07 18:13:37
阅读次数：
79
对老年代触发垃圾回收的时机，一般就是两个： 要不然是在Minor GC之前，一通检查发现很可能Minor GC之后要进入老年代的对象太多了，老年代放不下，此时需要提前触发Full GC然后再带着进行Minor GC； 要不然是在Minor GC之后，发现剩余对象太多放入老年代都放不下了。 那么对老年 ...
分类：
其他好文 时间：
2020-07-07 13:23:18
阅读次数：
52
1.分区的作用 RDD 使用分区来分布式并行处理数据, 并且要做到尽量少的在不同的 Executor 之间使用网络交换数据, 所以当使用 RDD 读取数据的时候, 会尽量的在物理上靠近数据源, 比如说在读取 Cassandra 或者 HDFS 中数据的时候, 会尽量的保持 RDD 的分区和数据源的分 ...
分类：
其他好文 时间：
2020-07-07 13:11:09
阅读次数：
164
● finalize是一个方法,属于0bject类的一 个方法,而Object类是所有类的父类,该方法一般由垃圾回收器来调用,当我们调用system. gc()方法的时候,由垃圾回收器调用finalize() ,回收垃圾,一个对象是否可回收的最后判断。当然，这里的调用sysytem.gc() 只是建 ...
分类：
其他好文 时间：
2020-07-06 18:16:35
阅读次数：
57
参数基本策略 各分区的大小对GC的性能影响很大。如何将各分区调整到合适的大小，分析活跃数据的大小是很好的切入点。 活跃数据的大小是指，应用程序稳定运行时长期存活对象在堆中占用的空间大小，也就是Full GC后堆中老年代占用空间的大小。可以通过GC日志中Full GC之后老年代数据大小得出，比较准确的 ...
分类：
其他好文 时间：
2020-07-06 18:04:14
阅读次数：
55
Spark 分组取Top N运算 大数据处理中，对数据分组后，取TopN是非常常见的运算。 下面我们以一个例子来展示spark如何进行分组取Top的运算。 1、RDD方法分组取TopN from pyspark import SparkContext sc = SparkContext() 准备数据 ...
分类：
其他好文 时间：
2020-07-06 16:11:05
阅读次数：
78
