JVM的结构图 Java内存结构 JVM内存结构主要有三大块：堆内存、方法区和栈。 堆内存是JVM中最大的一块由年轻代和老年代组成，而年轻代内存又被分成三部分，Eden空间、From Survivor空间、To Survivor空间,默认情况下年轻代按照8:1:1的比例来分配； 方法区存储类信息、常 ...
分类：
其他好文 时间：
2020-01-26 19:10:01
阅读次数：
68
概述 在spark程序中，当一个传递给Spark操作(例如map和reduce)的函数在远程节点上面运行时，Spark操作实际上操作的是这个函数所用变量的一个独立副本。这些变量会被复制到每台机器上，并且这些变量在远程机器上的所有更新都不会传递回驱动程序。通常跨任务的读写变量是低效的，但是，Spark ...
分类：
其他好文 时间：
2020-01-26 19:09:49
阅读次数：
56
官网介绍 什么是Spark 官网地址：http://spark.apache.org/ Apache Spark? 是用于大规模数据处理的统一分析引擎。 从右侧最后一条新闻看，Spark也用于AI人工智能。 spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的通用 ...
分类：
其他好文 时间：
2020-01-26 19:08:26
阅读次数：
75
SparkSQL的进化之路 1.0以前： Shark 1.1.x开始： SparkSQL(只是测试性的) SQL 1.3.x: SparkSQL(正式版本)+Dataframe 1.5.x: SparkSQL 钨丝计划 1.6.x： SparkSQL+DataFrame+DataSet(测试版本) ...
分类：
数据库 时间：
2020-01-26 19:06:08
阅读次数：
99
引言 在了解GraphX之前，需要先了解关于通用的分布式图计算框架的两个常见问题：图存储模式和图计算模式。 图存储模式 巨型图的存储总体上有边分割和点分割两种存储方式。2013年，GraphLab2.0将其存储方式由边分割变为点分割，在性能上取得重大提升，目前基本上被业界广泛接受并使用。 边分割（E ...
分类：
其他好文 时间：
2020-01-26 19:03:21
阅读次数：
90
前言 在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团?大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学 ...
分类：
其他好文 时间：
2020-01-26 19:02:37
阅读次数：
63
下载Spark安装包 从官网下载 http://spark.apache.org/downloads.html 从微软的镜像站下载 http://mirrors.hust.edu.cn/apache/ 从清华的镜像站下载 https://mirrors.tuna.tsinghua.edu.cn/ap ...
分类：
其他好文 时间：
2020-01-26 18:59:28
阅读次数：
71
Transformation算子 基本的初始化 （1）java （2）scala map、flatMap、mapParations、mapPartitionsWithIndex map jdk7 map十分容易理解，他是将源JavaRDD的一个一个元素的传入call方法，并经过算法后一个一个的返回从 ...
分类：
其他好文 时间：
2020-01-26 18:56:01
阅读次数：
73
目录 一、背景 二、Flume的简介 三、Flume NG的介绍 3.1 Flume特点 3.2 Flume的一些核心概念 3.3 Flume NG的体系结构 3.4 Source 3.5 Channel 3.6 Sink 四、Flume的部署类型 4.1 单一流程 4.2 多代理流程（多个agen ...
分类：
Web程序 时间：
2020-01-22 10:51:06
阅读次数：
131
Java学习之路迢迢，无论是开局hello word，还是从头文件说起，总之，都是有顺序可言。 我们学习Java，都是先介绍properties文件，使用properties文件配合Properties对象能够很方便的适用于应用配置上。然后在引入XML的时候，我们介绍properties格式在表现层 ...
分类：
其他好文 时间：
2020-01-20 00:19:45
阅读次数：
120
