版本：spark2.3 相关源码：org.apache.spark.deploy.SparkSubmitArguments 作用：解析并封装spark-submit脚本传递的参数 /* * Licensed to the Apache Software Foundation (ASF) under ...
分类：
其他好文 时间：
2019-09-21 14:27:50
阅读次数：
192
https://github.com/apache/spark/blob/branch-2.4/core/src/main/scala/org/apache/spark/SparkContext.scala https://github.com/apache/spark/blob/branch-2. ...
分类：
其他好文 时间：
2019-08-31 19:32:55
阅读次数：
99
本章节根据源代码分析Spark Structured Streaming(Spark2.4)在进行DataSourceProvider查找的流程，首先，我们看下读取流数据源kafka的代码： sparkSession.readStream()返回的对象是DataSourceReader DataSo ...
分类：
其他好文 时间：
2019-08-27 23:21:44
阅读次数：
195
spark2.2从入门到精通链接：https://pan.baidu.com/s/1sm2Jdmt 密码：rdea ...
分类：
其他好文 时间：
2019-08-18 19:46:28
阅读次数：
460
``` 解压和重命名文件 tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz mkdir /opt/spark mv spark-2.2.0-bin-hadoop2.7 /opt/spark/spark2.2 ``` ``` 进入配置文件目录 cd /opt/spark/... ...
分类：
其他好文 时间：
2019-08-17 12:37:27
阅读次数：
79
在Spark中定义了通信框架的接口，这些接口中调用了Netty的具体方法（在spark2.x前，使用的是Akka）。各接口和实现类的关系如下图所示。 将终端（EndPoint）注册到Rpc环境中： 在各个模块中，如DriverEndPoint、ClientEndPoint、Master、Worker ...
分类：
其他好文 时间：
2019-08-13 13:33:56
阅读次数：
122
scala下载地址：https://www.scala-lang.org/download/ spark下载地址：https://spark.apache.org/downloads.html 安装步骤 安装scala 配置环境变量 vi /etc/profile 使环境变量生效 安装spark 解 ...
分类：
其他好文 时间：
2019-08-02 11:01:07
阅读次数：
156
Hadoop与Spark的关系： mapReduce和spark的内存结构： spark替代hive的查询引擎 ...
分类：
其他好文 时间：
2019-07-13 13:41:35
阅读次数：
105
1.下载spark2.4.3 使用用户的hadoop的版本，解压并放到/usr/local下并改名为spark目录 2.设置spark目录为本用户所有 3.设置环境变量 （1）#~/.bashrc export SPARK_HOME=/usr/local/spark source ~/.bashrc ...
分类：
系统相关 时间：
2019-07-01 20:08:21
阅读次数：
154
