Spark背景:在Spark出现前,要在一个平台内同时完成批处理、机器学习、流失计算、图计算、SQL查询等各种大数据分析人物,就不得不与多种独立的系统打交道,这需要系统间进行代价较大的数据转储。Spark一开始就瞄准了性能,实现了在内存中计算。1.Spark为什么这么火?采用的编程语言有什么特点.....
分类:
其他好文 时间:
2015-09-05 23:36:42
阅读次数:
163
虽然还有很多bug,但凑合能用,就是将CachedRowSet中的数据转换成对象或List。省去了繁琐难看的一系列get/set方法。先说调用:注:cachedRowSet是查询的结果集Student是对应于Student表的实体类1. 从数据库Student表中查询出多行数据,要将其存入Array...
分类:
系统相关 时间:
2015-08-30 19:18:20
阅读次数:
330
jmap : memory map for java jmap 命令用于生成堆转储快照文件, 一般称为heapdump 或者 dump 文件。如果不是用 jmap 命令, 要获得 java 堆转储快照, 可以在 JVM 启动时 传递 –XX:HeapDumpOnOutOfMemoryError 参数...
分类:
其他好文 时间:
2015-08-29 20:15:31
阅读次数:
177
当给系统定位问题的时候, 我们经常需要了解并分析 JVM 的运行时状态 。 那应该从哪些方面入手呢? 答案就是从数据入手 。 这里的数据包括: GC日志,异常堆栈, 线程快照(threaddump) , 堆转储快照 (heapdump) 等。 JDK 中 内置了非常丰富的虚拟机监控与分析工具, 使用...
分类:
其他好文 时间:
2015-08-29 18:37:08
阅读次数:
125
调试经验--硬盘U菜 随着嵌入式设备功能的开发,随着对存储设备的需求:需要存储大量数据信息。需要在转储数据,U盘升级功能等。 在使用存储设备的过程中,我们遇到一些问题,也总结了些经验:1。几个硬盘经常使用命令 2,硬盘信息分析3,U盘升级失败的原因分析4,U盘识别的分区更改为/dev/sda一。几个...
分类:
其他好文 时间:
2015-08-14 08:46:50
阅读次数:
146
一 Java内存分析工具扫盲如果像我一样一点都不了解,可以先进行内存分析工具扫盲MAT介绍: Eclipse Memory Analyzer(MAT)一个功能丰富的 JAVA 堆转储文件分析工具,可以用于发现内存漏洞和减少内存消耗。二 Eclipse MAT插件安装当前机器环境描述:[plain]v...
分类:
移动开发 时间:
2015-08-12 11:29:47
阅读次数:
238
名称(NAME)tcpdump-转储网络上的数据流总览(SYNOPSIS)tcpdump[-adeflnNOpqStvx][-ccount][-Ffile][-iinterface][-rfile][-ssnaplen][-Ttype][-wfile][expression]描述(DESCRIPTI...
分类:
其他好文 时间:
2015-07-27 22:23:20
阅读次数:
225
建立文件拷贝的基本方法有两种。第一种比较简单的方法称为周期性转储(或称为全量转储、定期后备)。这种方法是按固定的时间周期把存储器中所有文件的内容转存到某种介质上,通常是磁带或磁盘。优点:文件系统可以把文件进行重新组合,即把用户散布在磁盘各处的所有块连续地放置在一起。这样,当再次启动系统后对用户文件的...
分类:
其他好文 时间:
2015-07-24 12:17:55
阅读次数:
166
#####内部结构 > 将B树索引转储成树状结构的形式而呈现出来: `alter session set events ‘immediate trace name treedump level INDEX_OBJECT_ID‘;` ``` SQL> alter session set events ‘immediate trace name ...
分类:
数据库 时间:
2015-07-13 18:58:20
阅读次数:
265