Spark 集群相关 来源于官方, 可以理解为是官方译文, 外加一点自己的理解. 版本是2.4.4 本篇文章涉及到: 集群概述 master, worker, driver, executor的理解 打包提交,发布 Spark application standalone模式 SparkCluste ...
分类：
其他好文 时间：
2019-09-27 19:01:08
阅读次数：
111
集群架构 SparkContext底层调度模块 Spark集群架构细化 ...
分类：
其他好文 时间：
2019-09-25 01:09:34
阅读次数：
82
一、集群规划这里搭建一个3节点的Spark集群，其中三台主机上均部署Worker服务。同时为了保证高可用，除了在hadoop001上部署主Master服务外，还在hadoop002和hadoop003上分别部署备用的Master服务，Master服务由Zookeeper集群进行协调管理，如果主Master不可用，则备用Master会成为新的主Master。二、前置条件搭建Spark集群前，需要保证
分类：
其他好文 时间：
2019-09-22 01:43:37
阅读次数：
98
1.windows10使用idea创建wordcount时，hadoop 二进制 加 空指针异常。是因为没有hadoop，hadoop环境变量 解决：配置下载hadoop，配置环境变量 2.写的wordcount在spark集群上跑是 19/09/11 20:19:54 INFO spark.Spa ...
分类：
其他好文 时间：
2019-09-20 21:18:21
阅读次数：
100
三、 Spark集群安装 3.1 下载spark安装包 下载地址spark官网：http://spark.apache.org/downloads.html 这里我们使用 spark-2.1.3-bin-hadoop2.7版本. 3.2 规划安装目录 /export/servers 3.3 解压安装 ...
分类：
其他好文 时间：
2019-08-26 20:47:28
阅读次数：
106
Spark的应用程序是通过spark-submit提交到Spark集群上运行的，那么spark-submit到底提交了什么，集群是怎样调度运行的，下面一一详解。 0. spark-submit提交任务 0.1 启动脚本解析 分析spark-submit脚本源码可知最终该命令执行./bin/spark ...
分类：
其他好文 时间：
2019-08-26 15:05:25
阅读次数：
114
Spark入门 一、 课程目标 目标1：熟悉Spark相关概念 目标2：搭建一个Spark集群 目标3：编写简单的Spark应用程序 二、 Spark概述 2.1什么是Spark（官网：http://spark.apache.org） Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞 ...
分类：
其他好文 时间：
2019-08-26 00:38:34
阅读次数：
67
1.安装过程 在/opt目录下安装spark集群 在conf下面的slaves.template（slave：主从），复制一份变为slaves，把从节点的主机名搞进去 配置etc/profile，source一下 几台机子之间还得搞一下免密登录。配置好免密登录启动即可 standalone用的是ma ...
分类：
其他好文 时间：
2019-08-17 00:57:18
阅读次数：
91
在Scala中，你可以在任何作用于内定义函数，在函数体内，可以访问相应作用域内的任何变量；还不止，你的函数还可以在变量不再处于作用于内的时候被调用，这就是闭包的最基本的理解。 一、transform、action算子的函数参数 在spark集群中，spark应用由负责运行用户编写的main函数，以及 ...
分类：
其他好文 时间：
2019-08-13 13:28:04
阅读次数：
161
一、集群规划 这里搭建一个 3 节点的 Spark 集群，其中三台主机上均部署 服务。同时为了保证高可用，除了在 hadoop001 上部署主 服务外，还在 hadoop002 和 hadoop003 上分别部署备用的 服务，Master 服务由 Zookeeper 集群进行协调管理，如果主 不可用 ...
分类：
其他好文 时间：
2019-08-10 09:41:02
阅读次数：
105
