KV键值对存储大家都很熟悉了，Java 中的 map 都是在堆内存储，如果我们遇到一种情况是map特别大，每次GC我们不想释放这些空间，那么这一部分缓存数据又该如何处理呢？当然大家说可以使用第三方缓存组件：Redis，HBase，MongoDB，今天给大家多一种选择：堆外内存。 今天要给大家介绍的是 ...
分类：
编程语言 时间：
2020-01-27 15:53:23
阅读次数：
104
什么时候需要调节Executor的堆外内存大小？ 当出现一下异常时： shuffle file cannot find，executor lost、task lost，out of memory 出现这种问题的现象大致有这么两种情况： 上述情况下，就可以去考虑调节一下executor的堆外内存。也许 ...
分类：
其他好文 时间：
2020-01-10 12:34:38
阅读次数：
91
1.高性能硬件上的程序部署策略 例如:64位jdk与使用多个32位虚拟机 2.集群间同步导致的内存溢出 例如:网络不能满足传输要求时 3.堆外内存导致的溢出错误 除了Java堆和永生代之外,还有其他区域会占用较多内存 Direct Memory 4.外部命令导致系统缓慢 例如:Runtime.get ...
分类：
其他好文 时间：
2020-01-09 10:41:48
阅读次数：
81
上篇文章介绍了Netty内存模型原理，由于Netty在使用不当会导致堆外内存泄漏，网上关于这方面的资料比较少，所以写下这篇文章，专门介绍排查Netty堆外内存相关的知识点，诊断工具，以及排查思路提供参考 现象 堆外内存泄漏的现象主要是，进程占用的内存较高(Linux下可以用top命令查看)，但Jav ...
分类：
Web程序 时间：
2020-01-02 18:55:34
阅读次数：
510
主要是通过AbstractByteBufAllocator类实现的ByteBuffer的申请。 代码如下： 会根据是否有Unsafe的类支持来判断是否需要使用“堆外内存”；如果配置了3种情况则不会使用 （1）io.netty.noUnsafe这个属性false （2）io.netty.tryUnsa ...
分类：
Web程序 时间：
2019-12-20 11:58:25
阅读次数：
115
问题 ：netty的 ByteBuff 和传统的ByteBuff的区别是什么？HeapByteBuf 和 DirectByteBuf 的区别 ？HeapByteBuf ： 使用堆内存，缺点 ，socket 传输的时候由于需要复制的原因，慢一点DirectByteBuf ： 堆外内存，可以使用零拷贝概... ...
分类：
Web程序 时间：
2019-10-08 14:39:44
阅读次数：
134
netty 可以学习的不仅是网络库，还包含了线程模型、如何写java异步交互、定制的缓存模型、对于直接内存的池化管理、内部类的巧妙用法、优秀的设计模式、以及对于一些罕见网络通信的bug的处理、跨平台的思考。 注： 堆外内存：堆内存容易受GC影响导致网络传输下因GC的影响导致内存地址变化，内存泄漏,减 ...
分类：
Web程序 时间：
2019-10-02 13:06:45
阅读次数：
140
堆外内存简介DirectByteBuffer这个类是JDK提供使用堆外内存的一种途径，当然常见的业务开发一般不会接触到，即使涉及到也可能是框架（如Netty、RPC等）使用的，对框架使用者来说也是透明的。堆外内存优势堆外内存优势在IO操作上，对于网络IO，使用Socket发送数据时，能够节省堆内存到堆外内存的数据拷贝，所以性能更高。看过Netty源码的同学应该了解，Netty使用堆外内存池来实现零
分类：
编程语言 时间：
2019-09-10 11:33:29
阅读次数：
113
问题 问题1：为什么netty用NIO，而不是AIO 问题2：IO读写数据的流程是什么？数据走向是什么样的 问题3：阻塞和非阻塞之间有直接的效率区分么？ 问题4： 其他 1. jvm为什么要使用堆外内存，堆外内存如何做数据拷贝 2. netty的零拷贝是真的零拷贝么？是怎么实现的？ 参考： http ...
分类：
其他好文 时间：
2019-09-02 19:29:16
阅读次数：
130
背景 MapDB官网：http://www.mapdb.org 官方翻译之后的话：MapDB基于堆外存储、磁盘存储提供了Java的Maps、Sets、Lists、Queues等功能。它混合了Java集合框架和数据库引擎。它是基于Apache许可的免费的、开源的。 个人觉得：MapDB是一个轻量级的本 ...
分类：
数据库 时间：
2019-08-31 12:40:22
阅读次数：
216
