1 堆内和堆外内存规划 Spark执行器(Executor)的内存管理建立在 JVM 的内存管理之上，Spark 对 JVM 的空间（OnHeap+Off-heap）进行了更为详细的分配，以充分利用内存。同时，Spark 引入了Off-heap 内存模式，使之可以直接在工作节点的系统内存中开辟空间， ...
分类：
其他好文 时间：
2019-07-24 21:09:43
阅读次数：
335
在EHCache中，可以设置maxBytesLocalHeap、maxBytesLocalOffHeap、maxBytesLocalDisk值，以控制Cache占用的内存、磁盘的大小（注：这里Off Heap是指Element中的值已被序列化，但是还没写入磁盘的状态，貌似只有企业版的EHCache支 ...
分类：
编程语言 时间：
2019-01-04 21:29:13
阅读次数：
165
在spark里面，内存管理有两块组成，一部分是JVM的堆内内存（on-heap memory），这部分内存是通过spark dirver参数executor-memory以及spark.executor.memory来进行指定； 另外一部分是堆外内存（off-heap memory），堆外内存默认是 ...
分类：
Web程序 时间：
2018-06-04 11:37:29
阅读次数：
186
RDD持久化 --------------- memory disk off-heap serial replication Memory_ONLY(true , false ,false , true ,1) 广播变量 --------------- driver端切成小块，存放到blockman... ...
分类：
数据库 时间：
2018-05-20 11:50:30
阅读次数：
298
ElasticHashinator.java, ...
分类：
数据库 时间：
2017-08-24 20:08:01
阅读次数：
234
转载自:http://blog.csdn.net/wo334499/article/details/51689549 RDD 优点: 缺点: DataFrame DataFrame引入了schema和off-heap schema : RDD每一行的数据, 结构都是一样的. 这个结构就存储在sche ...
分类：
其他好文 时间：
2017-08-07 22:18:15
阅读次数：
273
最近经常有人问我在Java中使用堆外（off heap）内存的好处与用途何在。我想其他面临几样选择的人应该也会对这个答案感兴趣吧。 堆外内存其实并无特别之处。线程栈，应用程序代码，NIO缓存用的都是堆外内存。事实上在C或者C++中，你只能使用未托管内存，因为它们默认是没有托管堆（managed he ...
分类：
编程语言 时间：
2016-11-22 13:02:10
阅读次数：
191
https://flink.apache.org/news/2015/09/16/off-heap-memory.html Running data-intensive code in the JVM and making it well-behaved is tricky. Systems tha... ...
分类：
Web程序 时间：
2016-04-08 12:03:55
阅读次数：
303
使用ByteBuffer.allocateDirect分配的off heap内存大小本机进程
在Jvisualvm中安装 Mbeans插件，然后查看java.nio/BufferPool/direct 进程内使用代码获取
MBeanServer mbs = ManagementFactory. getPlatformMBeanServer() ;
ObjectName objectName = ne...
分类：
编程语言 时间：
2015-07-21 17:06:15
阅读次数：
339
在Cassandra的 system log中看到如下的log：INFO 07:17:18 Enqueuing flush of Standard1: 701845360 (33%) on-heap, 0 (0%) off-heapINFO 07:17:19 Writing Memtable-S.....
分类：
其他好文 时间：
2014-12-11 17:03:42
阅读次数：
217
