在Spark 0.6和0.7时,Shuffle的结果都需要先存储到内存中(有可能要写入磁盘),因此对于大数据量的情况下,发生GC和OOM的概率非常大。因此在Spark 0.8的时候,Shuffle的每个record都会直接写入磁盘。一直到1.2.0,Shuffle的数据是一定会写入本地文件系统的,那么对于性能要求非常苛刻的用户,如何获得更好的性能呢?...
分类:
其他好文 时间:
2015-01-11 16:18:22
阅读次数:
149
SysRq:HELP:loglevel(0-9)reBootCrashterminate-all-tasks(E)memory-full-oom-kill(F)kill-all-tasks(I)thaw-filesystems(J)saKshow-memory-usage(M)nice-all-RT-tasks(N)powerOffshow-registers(P)show-all-timers(Q)unRawSyncshow-task-states(T)Unmountshow-blocked-tasks(W..
分类:
系统相关 时间:
2015-01-09 19:31:42
阅读次数:
403
在Android运行机制里面, 不同分辨率不同RAM大小的设备会被分配不同的初始运行内存.更高分辨率的设备也肯定比更低分辨率设备需要更多的内存.具体分配多少,这个可以查看自己设备当中/system/build.prop 文件,里面有说明.(以下是我的测试设备 LG 720P分辨率 4.7英寸的手机的信息)
dalvik.vm.heapstartsize = 8m
dalvik....
分类:
移动开发 时间:
2015-01-09 10:51:30
阅读次数:
159
我们平常在开发Android应用程序的时候,稍有不慎就有可能产生OOM,虽然JAVA有垃圾回收机,但也不能杜绝内存泄露,内存溢出等问题,随着科技的进步,移动设备的内存也越来越大了,但由于Android设备的参差不齐,可能运行在这台设备好好的,运行在那台设备就报OOM,这些适配问题也是比较蛋疼的,比如我们平常运行着一个应用程序,运行的好好的,突然到某个Activity就给你爆出一个OOM的错误,你可能会以为是这个Activity导致的内存泄露,你会想到也有可能是内存有泄露吗?内存泄露就像一个定时炸弹,随时都有...
分类:
移动开发 时间:
2015-01-09 09:14:08
阅读次数:
227
Afinal简介
Afinal 是一个android的sqlite orm 和 ioc 框架。同时封装了android中的http框架,使其更加简单易用;
? 使用finalBitmap,无需考虑bitmap在android中加载的时候oom的问题和快速滑动的时候图片加载位置错位等问题。
?Afinal的宗旨是简洁,快速。约定大于配置的方式。尽量一行代码完成所有事情。
目前Afin...
分类:
其他好文 时间:
2015-01-08 13:24:16
阅读次数:
220
Android volley 引起的context 上下文 内存泄露,导致的OOM问题分析解决...
分类:
其他好文 时间:
2015-01-06 15:37:31
阅读次数:
170
最近遇到了一个程序运行时间长后,操作系统由于out of memory 导致系统的oom-killer将程序直接杀死的问题:
错误提示大概为:
Out of memory: Kill process 20011 (main) score 58 or sacrifice child
Killed process 20011 (main) total-vm:21688384kB,...
分类:
系统相关 时间:
2015-01-05 15:05:26
阅读次数:
332
最近遇到了一个程序运行时间长后,操作系统由于outofmemory导致系统的oom-killer将程序直接杀死的问题:错误提示大概为:Outofmemory:Killprocess20011(main)score58orsacrificechildKilledprocess20011(main)total-vm:21688384kB,anon-rss:715844kB,file-rss:816256kB这些错误..
分类:
系统相关 时间:
2015-01-05 15:05:20
阅读次数:
462
教育我们做Rabin-Karp的时候一定要把模数取大?还是上溢好了。#include#includeusing namespace std;int main() { puts("100000 13"); for(int i=1;i<=100000;i++) putchar(rand...
分类:
其他好文 时间:
2014-12-27 17:28:33
阅读次数:
114
在Android经常使用到Bitmap用于显示图片,如果图片过大,容易出现"OutOfMemory"异常,所以要对图片进行压缩显示。通常使用BitmapFactory类的几个方法(decodeByteArray(),decodeFile(),decodeResource()等)来建立一个bitmap,在生成bitmap前,可以通过BitmapFactory.Options来..
分类:
其他好文 时间:
2014-12-26 18:54:27
阅读次数:
170