1:JVM 整体组成 --》@1.类加载器（ClassLoader） @2.运行时数据区（Runtime Data Area） @3.执行引擎(Exection Engine) @4.本地库接口（Native Interface） 2：各个组成部分的用途 --》程序在执行之前先要把java代码转换成 ...
分类：
其他好文 时间：
2019-05-03 14:41:19
阅读次数：
143
一.SerDe SerDe:Serializer and Deserializer 序列化及反序列化，构建在数据存储和执行引擎之间，对两者实现解耦。 Hive通过ROW FORMAT DELIMITED 以及SERDE进行内容的读写。 样板： row format :DELIMITED [FIELD ...
分类：
其他好文 时间：
2019-04-03 12:30:20
阅读次数：
182
做这个规则引擎的初衷是用来实现一个可序列号为json，容易拓展的条件执行引擎，用在类似工作流的场景中，最终实现的效果希望是这样的： 简单整理下需求 执行结果最终返回=true= or false 支持四则运算，逻辑运算以及自定义函数等 支持多级规则组合，级别理论上无限（Python递归调用深度限制） ...
分类：
编程语言 时间：
2019-03-14 15:20:25
阅读次数：
213
jvm内存模型 1.执行过程 Java源代码文件(.java后缀)会被Java编译器编译为字节码文件(.class后缀)，然后由JVM中的类加载器加载各个类的字节码文件，加载完毕之后，交由JVM执行引擎执行。在整个程序执行过程中，JVM会用一段空间来存储程序执行期间需要用到的数据和相关信息，这段空间 ...
分类：
其他好文 时间：
2019-03-08 16:58:44
阅读次数：
206
1.Shark Shark是基于Spark计算框架之上且兼容Hive语法的SQL执行引擎，由于底层的计算采用了Spark，性能比MapReduce的Hive普遍快2倍以上，当数据全部load在内存的话，将快10倍以上，因此Shark可以作为交互式查询应用服务来使用。除了基于Spark的特性外，Sha ...
分类：
数据库 时间：
2019-03-03 19:09:32
阅读次数：
221
一、jvm的组织结构 (1)jvm和系统调用之间的关系 相应的名词解释： -类加载器：在jvm启动或者类运行时将需要的class加载到jvm内存中 -执行引擎：负责执行class文件中包含的字节指令 -内存区：是在jvm运行的时候操作锁分配的内存区。运行时内存区分五个部分：堆、方法区、栈、本地方法栈、程序计数器，
分类：
其他好文 时间：
2019-01-04 23:09:35
阅读次数：
182
精华 ： 在执行引擎这一层，流处理系统与批处理系统最大不同在于节点间的数据传输方式。对于一个流处理系统，其节点间数据传输的标准模型是：当一条数据被处理完成后，序列化到缓存中，然后立刻通过网络传输到下一个节点，由下一个节点继续处理。而对于一个批处理系统，其节点间数据传输的标准模型是：当一条数据被处理完 ...
分类：
其他好文 时间：
2018-12-27 20:28:36
阅读次数：
166
Flink核心是一个流式的数据流执行引擎,其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能 Flink提供了诸多更高抽象层的API以便用户编写分布式任务: DataSet API, 对静态数据进行批处理操作,将静态数据抽象成分布式的数据集,用户可以方便地使用Flink提供的各种操作 ...
分类：
其他好文 时间：
2018-12-09 16:31:13
阅读次数：
145
背景 [作者：DeepLearningStack，阿里巴巴算法工程师] 在前一篇文章中，我们梳理了TensorFlow中各种异构Device的添加和注册机制，通过使用预先定义好的宏，各种自定义好的Device能够将自己注册到全局表中。TensorFlow期望通过这种模式，能够让Device的添加和注 ...
分类：
其他好文 时间：
2018-11-26 00:23:30
阅读次数：
218
前言 代码编译的结果从本地机器转变为字节码，是存储格式发展的一小步，却是编程语言发展的一大步。 概述 执行引擎是Java虚拟机最核心的组成部分之一。虚拟机是一个相对于物理机的概念，这两种机器都有代码执行的能力，其区别是物理机的执行引擎是直接建立在处理器、硬件、指令集和操作系统层面上的，而虚拟机的执行 ...
分类：
其他好文 时间：
2018-11-20 23:10:41
阅读次数：
120
