本节课主要介绍如何在 Serverless Kubernetes 集群中低成本运行 Spark 数据计算。首先简单介绍下阿里云 Serverless Kubernetes 和 弹性容器实例 ECI 这两款产品；然后介绍 Spark on Kubernetes；最后进行实际演示。
分类：
其他好文 时间：
2020-12-17 12:22:18
阅读次数：
2
1、基本架构 (1)、应用程序Spark 应用程序由一个驱动器进程和一组执行器进程组成。驱动进程运行 main()函数，位于集群中的一个节点上，它负责三件事：维护 Spark 应用程序的相关信息；回应用户的程序或输入；分析任务并分发给若干执行器进行处理。驱动器是必须的，它是 Spark 应用程序的核 ...
分类：
其他好文 时间：
2020-12-17 12:09:25
阅读次数：
2
1. 概述 在2.x中，spark有两个用来与kafka整合的代码，版本代号为0.8和0.10，由于在0.8，kafka有两套消费者api，根据高级api得到了Receiver-based Approach，根据低级api得到了Direct Approach，而在0.10由于kafka只有一套消费者 ...
分类：
其他好文 时间：
2020-12-16 11:50:30
阅读次数：
4
【福利】北风网大数据之spark从入门到精通（三）北风网大数据之spark从入门到精通今天给大家带来的教程是北风网大数据spark从入门到精通，分为四个阶段：Scala编程详解、Scala编程进阶、Spark深入剖析、内存计算框架Spark，今天分享的是SSpark深入剖析。
分类：
其他好文 时间：
2020-12-11 12:23:58
阅读次数：
2
【福利】北风网大数据之spark从入门到精通（四）北风网大数据之spark从入门到精通今天给大家带来的教程是北风网大数据spark从入门到精通，分为四个阶段：Scala编程详解、Scala编程进阶、Spark深入剖析、内存计算框架Spark，今天分享的是内存计算框架Spark。
分类：
其他好文 时间：
2020-12-11 12:23:45
阅读次数：
3
利用Spark往Hive中存储parquet数据，针对一些复杂数据类型如map、array、struct的处理遇到的问题？为了更好的说明导致问题 ...
分类：
其他好文 时间：
2020-12-08 12:44:11
阅读次数：
4
设计Spark程式过程中最初始的是创建RDD数据集，该数据集来自定义的源数据，当RDD数据集初始后，再通过算子对RDD数据集作转换生成后续的数据集。Spark中提供了多种创建RDD数据集的方法，比如：通过内存集合创建、或使用本地文件创建以及HDFS文件创建RDD数据集。最常见的是第三种方式，生产环境下通常会读取并基于HDFS上存储的数据来创建并进行离线批处理。典型的RDD创建流程为，通过输入算子（
分类：
其他好文 时间：
2020-12-04 10:59:58
阅读次数：
4
Flink的优势和特点： 一、同时支持高吞吐、低延迟、高性能 Flink是目前开源社区中唯一一套集高吞吐、低延迟、高性能三者于一身的分布式流式数据处理框架。Apache Spark也只能兼顾高吞吐和高性能特点，主要是因为Spark Streaming流式计算中无法做到低延迟保障；而流式计算框架Apa ...
分类：
其他好文 时间：
2020-12-03 11:33:38
阅读次数：
5
前段时间跟一个朋友聊起kafka,flint,spark这些是不是某种分布式运算框架。我自认为的分布式运算框架最基础条件是能够把多个集群节点当作一个完整的系统，然后程序好像是在同一台机器的内存里运行一样。当然，这种集成实现方式有赖于底层的一套消息系统。这套消息系统可以把消息随意在集群各节点之间自由传 ...
分类：
其他好文 时间：
2020-11-30 16:09:25
阅读次数：
9
###Spark中的UDF Spark1.6只能创建临时UDF，不支持创建持久化的UDF。 从Spark-2.0开始，SparkSQL支持持久化的UDF，目前看来是支持UDAF ###Spark中的UDF 过程 (1)自定义UDF类，实现UDF1/2/3....22中的接口之一，其中UDF后跟的数字 ...
分类：
其他好文 时间：
2020-11-26 15:06:55
阅读次数：
6
