Spark版本：1.6.2
概览Spark SQL用于处理结构化数据，与Spark RDD API不同，它提供更多关于数据结构信息和计算任务运行信息的接口，Spark SQL内部使用这些额外的信息完成特殊优化。可以通过SQL、DataFrames API、Datasets API与Spark SQL进行交互，无论使用何种方式，SparkSQL使用统一的执行引擎记性处理。...
分类：
数据库 时间：
2016-07-21 13:00:22
阅读次数：
524
下图是JAVA虚拟机的结构图： 每个Java虚拟机都有一个类装载子系统，它根据给定的全限定名来装入类型（类或接口）。同样，每个Java虚拟机都有一个执行引擎，它负责执行那些包含在被装载类的方法中的指令。 当JAVA虚拟机运行一个程序时，它需要内存来存储许多信息，Java虚拟机把这些信息都组织到几个“ ...
分类：
编程语言 时间：
2016-07-10 18:05:10
阅读次数：
266
一、JVM结构 JVM主要包括四个部分： 1.类加载器（ClassLoader）:在JVM启动时或者在类运行时将需要的class加载到JVM中。 2.执行引擎：负责执行class文件中包含的字节码指令（执行引擎的工作机制，这里也不细说了，这里主要介绍JVM结构）； 3.内存区（也叫运行时数据区）：是 ...
分类：
其他好文 时间：
2016-06-22 22:01:18
阅读次数：
135
1. JVM运行时内存结构
1.由如下图构成。Runtime Data Area有如下几个区，其中PC程序计数器、虚拟机栈和本地方法栈是线程独享的，堆和方法区是线程共享的。Classload用来加载class文件，执行引擎用来执行程序，本地方法接口调用本地方法库。
2.java stack比较简单，每一个都是一个栈帧，每个栈帧由三部分构成。局部变量区、操作数区和帧数据区。局部变量是...
分类：
编程语言 时间：
2016-06-17 11:13:23
阅读次数：
227
在之前的章节中我们讲解了jvm的内存分配和管理，class的文件结构，就差之行了。那么从第十一章开始我们就开始讲java虚拟机是如何执行一个class文件的。
首先我们应该明确虚拟机是区别于物理机的一种说法，物理机的执行引擎是建立在处理器，硬件 ，指令集之上的。而我们的虚拟机则由自己实现。在虚拟机中大致分为两种执行方式：解释执行和编译执行。
我们之前讲过，虚拟机运行方法的时候运行在java虚拟...
分类：
其他好文 时间：
2016-06-13 11:49:42
阅读次数：
199
在前面的几篇文章里，从Java虚拟机内存结构开始，经历了虚拟机垃圾收集机制、Class类文件结构到后来的虚拟机类加载机制，一步步的进入到了Java虚拟机即Java底层的世界。在有了前面的基础之后，接下来就应该进入Java虚拟机最重要的部分了——虚拟机字节码执行引擎，毕竟，这是Java程序得以在不同机器上运行的核心部分。
Java是通过实现Java虚拟机来达到平台无关的。“虚拟机”的概念是相对于“...
分类：
其他好文 时间：
2016-06-12 02:33:00
阅读次数：
247
然后由JVM中的类加载器加载各个类的字节码文件，加载完毕之后，交由JVM执行引擎执行。在整个程序执行过程中，JVM会用一段空间来存储程序执行期间 需要用到的数据和相关信息，这段空间一般被称作为Runtime Data Area（运行时数据区），也就是我们常说的JVM内存。因此，在Java中我们常常说 ...
分类：
编程语言 时间：
2016-06-03 14:18:56
阅读次数：
145
mongodb
memcached
redis kv数据库(key/value)
mongodb 文档数据库,存储的是文档(Bson->json的二进制化).
特点:内部执行引擎为JS解释器,
把文档存储成bson结构,在查询时,转换为JS对象,并可以通过熟悉的js语法来操作.
mongo和传统型数据库相比,最大的不同:
传统型数据库: 结构化...
分类：
数据库 时间：
2016-06-02 14:07:52
阅读次数：
350
mongodb memcached redis kv数据库(key/value) mongodb 文档数据库,存储的是文档(Bson->json的二进制化). 特点:内部执行引擎为JS解释器, 把文档存储成bson结构,在查询时,转换为JS对象,并可以通过熟悉的js语法来操作. mongo和传统型数 ...
分类：
数据库 时间：
2016-05-11 19:34:14
阅读次数：
200
概述最近这段时间在强化日志系统自身的稳定性和可靠性，一个稳定可靠的系统离不开监控，我们这里谈及的监控除了服务是否存活还有这些组件的核心metrics采集与抓取，为此我们将这些任务做成了定时任务来执行。由于大致的思路以及设计已经成型，所以今天来分享一下日志系统在定时任务这块的选型与设计。...
分类：
其他好文 时间：
2016-04-29 19:40:18
阅读次数：
138
