Spark性能优化指南——高级篇 2016年05月12日 作者: 李雪蕤 文章链接 23095字 47分钟阅读 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。 ...
分类：
其他好文 时间：
2020-05-11 23:20:20
阅读次数：
91
上篇已经降到AppClient找Master进行注册，本章主要解析Master的原理和源码解析 1、Master的主备切换原理 package org.apache.spark.deploy.master completeRecovery，过滤没有响应的worker，app，drivers，从内存缓 ...
分类：
其他好文 时间：
2020-05-11 15:54:04
阅读次数：
62
.NET for Spark可用于处理成批数据、实时流、机器学习和ad-hoc查询。在这篇博客文章中，我们将探讨如何使用.NET for Spark执行一个非常流行的大数据任务，即日志分析。 1 什么是日志分析？ 日志分析的目标是从这些日志中获得有关工具或服务的活动和性能的有意义的见解。NET fo ...
分类：
Web程序 时间：
2020-05-11 09:13:31
阅读次数：
92
Any，是 scala 中的抽象类，不能实例化 AnyRef 继承于 Any，它是一个 trait AnyVal 继承于 Any，它是一个抽象类，目的是消除基本类型，scala中只有引用类型，仅此作用 Any、Object 定义上没有任何关系 AnyRef、Object 定义上没有任何关系 scal ...
分类：
其他好文 时间：
2020-05-11 01:26:41
阅读次数：
206
链接：https://pan.baidu.com/s/1nGkLfRy9izODONbMbLO8rA 提取码：rjpn ...
分类：
其他好文 时间：
2020-05-10 23:13:35
阅读次数：
61
源码解析 主构造函数代码 private[spark] var (schedulerBackend, taskScheduler) = SparkContext.createTaskScheduler(this, master) createTaskScheduler，创建TaskScheduler ...
分类：
其他好文 时间：
2020-05-10 23:08:55
阅读次数：
63
1. 准备 Hudi支持Spark 2.x版本，你可以点击如下 "链接" 安装Spark，并使用pyspark启动 spark avro模块需要在 packages显示指定 spark avro和spark的版本必须匹配 本示例中，由于依赖spark avro_2.11，因此使用的是scala2.1 ...
分类：
Web程序 时间：
2020-05-10 17:37:32
阅读次数：
124
1、读取Mysql数据 object JdbcRddDemo { def getConn() = { Class.forName("com.mysql.jdbc.Driver").newInstance() DriverManager.getConnection("jdbc:mysql://hado ...
分类：
数据库 时间：
2020-05-10 17:31:37
阅读次数：
97
Cerebro简介cerebro是使用Scala，PlayFramework，AngularJS和Bootstrap构建的开源（MIT许可）elasticsearchWeb管理工具。前提条件cerebro需要Java1.8或更高版本才能运行。环境本文基于elasticsearchv7.6.1集群环境进行操作，详情参看Elasticsearch集群安装与配置，Cerebro版本为v0.8.5，下载地
分类：
Web程序 时间：
2020-05-10 01:20:14
阅读次数：
113
JDBC 以MySQL为例 读取 import java.sql.DriverManager import org.apache.spark.rdd.JdbcRDD import org.apache.spark.{SparkConf, SparkContext} /** * Author atgu ...
分类：
数据库 时间：
2020-05-09 23:21:09
阅读次数：
86
