讨论QQ：1586558083 目录 一、JVM的结构图 1.1 Java内存结构 1.2 如何通过参数来控制各区域的内存大小 1.3 控制参数 1.4 JVM和系统调用之间的关系 二、JVM各区域的作用 2.1 Java堆（Heap） 2.2 方法区（Method Area） 2.3 程序计数器（ ...
分类：
其他好文 时间：
2019-06-11 13:16:46
阅读次数：
104
讨论QQ：1586558083 目录 一、引言 二、图存储模式 2.1 边分割（Edge-Cut） 2.2 点分割（Vertex-Cut） 2.3 对比 三、图计算模式 3.1 超步 3.2 Pregel模型——像顶点一样思考 3.3 GAS模型——邻居更新模型 正文 回到顶部 一、引言 在了解Gr ...
分类：
其他好文 时间：
2019-06-11 13:16:04
阅读次数：
120
讨论QQ：1586558083 目录 一、JDK的安装 1.1 上传安装包并解压 1.2 配置环境变量 1.3 验证Java版本 二、配置配置ssh localhost 2.1 检测 2.2 生成私钥和公钥秘钥对 2.3 将公钥添加到authorized_keys 2.4 赋予authorized_ ...
分类：
其他好文 时间：
2019-06-11 13:10:46
阅读次数：
151
讨论QQ：1586558083 目录 一、Spark中的基本概念 二、Spark的运行流程 2.1 Spark的基本运行流程 三、Spark在不同集群中的运行架构 3.1 Spark on Standalone运行过程 3.2 Spark on YARN运行过程 正文 回到顶部 一、Spark中的基 ...
分类：
其他好文 时间：
2019-06-11 13:07:24
阅读次数：
80
讨论QQ：1586558083 目录 调优概述 数据倾斜发生时的现象 数据倾斜发生的原理 如何定位导致数据倾斜的代码 某个task执行特别慢的情况 某个task莫名其妙内存溢出的情况 查看导致数据倾斜的key的数据分布情况 数据倾斜的解决方案 解决方案一：使用Hive ETL预处理数据 解决方案二： ...
分类：
其他好文 时间：
2019-06-11 13:00:13
阅读次数：
135
讨论QQ：1586558083 目录 一、概述 二、堆内和堆外内存规划 2.1 堆内内存 2.2 堆外内存 2.3 内存管理接口 三、内存空间分配 3.1 静态内存管理 3.2 统一内存管理 四、存储内存管理 4.1 RDD 的持久化机制 4.2 RDD 缓存的过程 4.3 淘汰和落盘 五、 执行内 ...
分类：
其他好文 时间：
2019-06-11 12:41:51
阅读次数：
103
讨论QQ：1586558083 目录 一、SparkSQL的进化之路 二、认识SparkSQL 2.1 什么是SparkSQL? 2.2 SparkSQL的作用 2.3 运行原理 2.4 特点 2.5 SparkSession 2.7 DataFrames 三、RDD转换成为DataFrame 3. ...
分类：
数据库 时间：
2019-06-11 12:41:29
阅读次数：
145
讨论QQ：1586558083 在Spark中，也支持Hive中的自定义函数。自定义函数大致可以分为三种： UDF(User-Defined-Function)，即最基本的自定义函数，类似to_char,to_date等 UDAF（User- Defined Aggregation Funcatio ...
分类：
数据库 时间：
2019-06-11 12:40:45
阅读次数：
126
hashlib 提供摘要算法的模块 import hashlib # 提供摘要算法的模块 sha = hashlib.md5() sha.update(b'alex3714') print(sha.hexdigest()) # aee949757a2e698417463d47acac93df imp ...
分类：
编程语言 时间：
2019-06-09 13:13:44
阅读次数：
110
时隔一个多月我又回来啦！ 坚持真的是很难的一件事，其它事情稍忙，就很容易说服自己把写博客的计划给推迟了。 好在终于克服了自己的惰性，今天又开始了。 本篇继续我的Luaframework学习之路。 一、规范开发模式 此前的示例中，动态加载的panel都默认以GuiCamera为父节点，且面板的大小设置 ...
分类：
编程语言 时间：
2019-06-01 21:38:38
阅读次数：
143
