在提交spark-submit时添加参数即可 这个gc.log在集群上不一定在那个节点上，需要自己找，然后查看 查看日志监控:tail -f gc.log ...
分类：
其他好文 时间：
2018-09-30 18:14:42
阅读次数：
386
spark-shell/spark-submit/pyspark等关系如下： ...
分类：
其他好文 时间：
2018-09-29 13:00:58
阅读次数：
162
转自：https://blog.csdn.net/luyllyl/article/details/79553979 ...
分类：
其他好文 时间：
2018-09-29 11:19:19
阅读次数：
1610
spark-shell 作用： 调用spark-submit脚本，如下参数 --classorg.apache.spark.repl.Main --name "Spark shell" "$@"，如下： 具体流程是： #1 捕获终端信号，执行退出方法，恢复一些操作 #2 保存终端配置，当cygwin ...
分类：
系统相关 时间：
2018-09-29 11:18:21
阅读次数：
305
使用spark submit启动应用程序 捆绑用户应用程序后，可以使用该bin/spark submit脚本启动它。此脚本负责使用Spark及其依赖项设置类路径，并且可以支持Spark支持的不同集群管理器和部署模式： ./bin/spark submit \ class \ master \ dep ...
分类：
其他好文 时间：
2018-08-13 16:59:52
阅读次数：
141
第一种方式 操作：将第三方jar文件打包到最终形成的spark应用程序jar文件中 应用场景：第三方jar文件比较小，应用的地方比较少 第二种方式 操作：使用spark-submit提交命令的参数: --jars 要求： 1、使用spark-submit命令的机器上存在对应的jar文件 2、至于集群 ...
分类：
编程语言 时间：
2018-08-10 19:39:05
阅读次数：
187
***这里的executor在worker上分配策略以spreadOut 为例*** 1.3版本关键点： 以上红色代码清晰的展示了在平均分配的场景下，每次会给worker分配1个core，所以说在spark-submit中如果设置了 --executor-cores属性未必起作用； 但在2.x版本的 ...
分类：
其他好文 时间：
2018-07-07 13:53:25
阅读次数：
169
1.提交应用程序 在提交应用程序的时候，用到 spark-submit 脚本。我们来看下这个脚本： 可以看出来 spark-class 脚本才是真正的提交程序的，spark-submit 脚本只是在其上封装一层，并传参 org.apache.spark.deploy.SparkSubmit 给它。这 ...
分类：
其他好文 时间：
2018-06-15 23:28:16
阅读次数：
260
公司平时使用的CDH版本的hadoop生态，spark任务是基于yarn来管理的，而不是基于原生的spark master slave集群管理。 因此任务的大致启动模式是： 如果是Cluster模式： 1. A节点启动Spark submit，这个程序即为client，client连接Resourc ...
分类：
其他好文 时间：
2018-06-06 22:05:40
阅读次数：
676
这里记录pyspark的执行逻辑图 代码版本为 spark 2.2.0 1.执行逻辑 这里简述一下代码调用流程 1. 用户通过spark submit提交python代码,spark submit检测到此次提交任务类型是python类型则会设置mainClass为PythonRunner 2. Py ...
分类：
其他好文 时间：
2018-05-16 16:31:20
阅读次数：
234
