withScope是最近的发现版中新增加的一个模块，它是用来做DAG可视化的（DAG visualization on SparkUI） 以前的sparkUI中只有stage的执行情况，也就是说我们不可以看到上个RDD到下个RDD的具体信息。于是为了在 sparkUI中能展示更多的信息。所以把所有创 ...
分类：
其他好文 时间：
2020-04-24 01:04:51
阅读次数：
81
sparkUi的4040界面已经有了运行监控指标，为什么我们还要自定义存入redis？ 1.结合自己的业务，可以将监控页面集成到自己的数据平台内，方便问题查找，邮件告警 2.可以在sparkUi的基础上，添加一些自己想要指标统计 一、spark的SparkListenersparkListener是 ...
分类：
其他好文 时间：
2020-02-17 01:03:57
阅读次数：
306
sparkcontext是spark应用程序的入口,每个spark应用都会创建sparkcontext,用于连接spark集群来执行计算任务.在sparkcontext初始化过程中会创建SparkEnv,SparkUI,TaskSchedule,DAGSchedule等多个核心类,我们会逐个分析他们 ...
分类：
其他好文 时间：
2018-08-27 21:57:22
阅读次数：
172
withScope是最近的发现版中新增加的一个模块，它是用来做DAG可视化的（DAG visualization on SparkUI） 以前的sparkUI中只有stage的执行情况，也就是说我们不可以看到上个RDD到下个RDD的具体信息。于是为了在 sparkUI中能展示更多的信息。所以把所有创 ...
分类：
其他好文 时间：
2018-05-18 13:58:58
阅读次数：
171
任何系统都需要提供监控功能，用浏览器能访问具有样式及布局，并提供丰富监控数据的页面无疑是一种简单、高效的方式。SparkUI就是这样的服务，它的构成如图3-1所示。
分类：
其他好文 时间：
2016-02-22 13:40:32
阅读次数：
332
对于调优和排错来说，查看一个RDD有多少个partition是非常有用的。常用的查看方法有如下几种：1、通过SparkUI查看Task执行的partition数当一个stage执行时，能通过SparkUI界面查看到指定stage的partiton数目val someRDD = sc.parallel...
分类：
其他好文 时间：
2015-02-09 15:55:33
阅读次数：
117
spark内核揭秘-08-spark的Web监控页面
spark内核揭秘-08-spark的Web监控页面
spark内核揭秘-08-spark的Web监控页面
spark内核揭秘-08-spark的Web监控页面...
分类：
Web程序 时间：
2015-01-20 13:47:16
阅读次数：
173
此时我们进入了Spark的shell世界，根据输出的提示信息，我们可以通过“http://SparkMaster:4040”?从Web的角度看一下SparkUI的情况，如下图所示： 当然，你也可以查看一些其它的信息，例如Environment: ? 同时，...
分类：
其他好文 时间：
2014-11-19 02:24:01
阅读次数：
265
此时我们进入了Spark的shell世界，根据输出的提示信息，我们可以通过“http://SparkMaster:4040”从Web的角度看一下SparkUI的情况，如下图所示：当然，你也可以查看一些其它的信息，例如Environment:同时，我们也可以看一下Executors：至此，我们的Spa...
分类：
其他好文 时间：
2014-11-18 23:59:23
阅读次数：
386
