spark对内存有一定的要求，内存不够会因为gc而oom。
1、默认情况下，一个worker的内存0.6用于cache，0.4用于task，可以通过设置该值提高每个worker的cache大小
spark.storage.memoryFraction 0.8
2、设置并行task数，提高reducer效率
spark.default.parallelism 4
这个在1....
分类：
其他好文 时间：
2014-09-03 21:21:47
阅读次数：
338
以我在notepad.exe中设置CreateFileW特定文件名断点为例。bpkernel32!CreateFileW"r$t1=poi(esp+4);as/mu$FileName$t1;.block{.if($sicmp(\"${$FileName}\",\"C:\\abc.txt\")!=0){.echoc:\\abc.txt}.else{.echononono;gc}}"bpkernel32!CreateFileW"r$t1=poi(esp+4);as/mu$FileN..
分类：
数据库 时间：
2014-09-02 18:09:45
阅读次数：
256
0. 基本命令linux 基本命令整理1. 压缩 解压tar -zcvf a.tar.gz a #把a压缩成a.tar.gztar -zxvf a.tar.gz #把a.tar.gz解压成a2. vim小结2.1 vim替换:m,ns/word_1/word_2/gc #把word_1...
分类：
系统相关 时间：
2014-09-02 17:15:55
阅读次数：
279
= GC 基础 ===================== JAVA堆的描述如下： 内存由 Perm 和 Heap 组成. 其中 Heap = {Old + NEW = { Eden , from, to } } JVM内存模型中分两大块，一块是 NEW Generation, 另一块...
分类：
其他好文 时间：
2014-08-31 17:00:01
阅读次数：
308
Android用LruCache来取代原来强引用和软引用实现内存缓存，因为据说自2.3以后Android将更频繁的调用GC，导致软引用缓存的数据极易被释放。
LruCache使用一个LinkedHashMap简单的实现内存的缓存，没有软引用，都是强引用。如果添加的数据大于设置的最大值，就删除最先缓存的数据来调整内存。他的主要原理在trimToSize方法中。需要了解两个主要的变量size和...
分类：
其他好文 时间：
2014-08-31 00:30:30
阅读次数：
237
0. 基本命令1. 压缩 解压tar -zcvf a.tar.gz a #把a压缩成a.tar.gztar -zxvf a.tar.gz #把a.tar.gz解压成a2. vim小结2.1 vim替换:m,ns/word_1/word_2/gc #把word_1用word_2替换，g表...
分类：
系统相关 时间：
2014-08-29 10:43:47
阅读次数：
231
0. 基本命令linux 基本命令整理1. 压缩 解压tar -zcvf a.tar.gz a #把a压缩成a.tar.gztar -zxvf a.tar.gz #把a.tar.gz解压成a2. vim小结2.1 vim替换:m,ns/word_1/word_2/gc #把word_1...
分类：
系统相关 时间：
2014-08-28 21:04:16
阅读次数：
315
题目大意：给你N和K,问有多少个数对满足gcd(N-A,N)*gcd(N-B,N)=N^K。题解：由于 gcd(a, N) 2 都是无解,K=2 只有一个解 A=B=N,只要考虑K=1的情况就好了其实上式和这个是等价的gcd(A,N)*gcd(B,N)=N^K,我们枚举gcd(A,N)=g,那么gc...
分类：
其他好文 时间：
2014-08-28 09:36:09
阅读次数：
207
VisualVM是Sun的一个OpenJDK项目，其目的在于为Java应用创建一个整套的问题解决工具。它集成了多个JDK命令工具的一个可视化工具，它主要用来监控JVM的运行情况，可以用它来查看和浏览Heap Dump、Thread Dump、内存对象实例情况、GC执行情况、CPU消耗以及类的装载情况...
分类：
其他好文 时间：
2014-08-27 18:14:18
阅读次数：
284
1、C#的委托是什么,事件是不是一种委托？答：委托可以把一个方法作为参数代入另一个方法。委托可以理解为指向一个函数的引用。委托也可以理解为指向一个函数的指针。委托和事件没有可比性，因为委托是类型，事件是对象，但事件又可以理解为是一种特殊的委托。2、什么是GC,为什么会有GC？答：GC，就是一种自动回...
分类：
Web程序 时间：
2014-08-27 10:40:37
阅读次数：
233
