标签：捆绑   other   选项   适用于   因此   server   val   没有   dep   

使用spark-submit启动应用程序

捆绑用户应用程序后，可以使用该bin/spark-submit脚本启动它。此脚本负责使用Spark及其依赖项设置类路径，并且可以支持Spark支持的不同集群管理器和部署模式：

./bin/spark-submit   --class <main-class>   --master <master-url>   --deploy-mode <deploy-mode>   --conf <key>=<value>   ... # other options
  <application-jar>   [application-arguments]

一些常用的选项是：

• --class：您的申请的入口点（例如org.apache.spark.examples.SparkPi）
• --master：群集的主URL（例如spark://23.195.26.187:7077）
• --deploy-mode：是在工作节点（cluster）上部署驱动程序还是在本地部署外部客户端（client）（默认值: client) ?
• --conf：key = value格式的任意Spark配置属性。对于包含空格的值，在引号中包含“key = value”（如图所示）。
  application-jar：捆绑jar的路径，包括您的应用程序和所有依赖项。URL必须在群集内部全局可见，例如，所有节点上都存在的hdfs://路径或file://路径。
  application-arguments：参数传递给主类的main方法，如果有的话
  ?常见的部署策略是从与您的工作机器物理位于同一位置的网关机器（例如，独立EC2集群中的主节点）提交您的应用程序。在此设置中，client模式是合适的。在client模式下，驱动程序直接在spark-submit进程内启动，该进程充当群集的客户端。应用程序的输入和输出附加到控制台。因此，此模式特别适用于涉及REPL的应用程序（例如Spark shell）。

或者，如果您的应用程序是从远离工作机器的计算机提交的（例如，在您的笔记本电脑上本地），则通常使用cluster模式来最小化驱动程序和执行程序之间的网络延迟。目前，独立模式不支持Python应用程序的集群模式。

对于Python应用程序，只需通过一个.py在的地方文件

有一些特定于正在使用的集群管理器的选项 。例如，对于具有部署模式的Spark独立群集cluster，您还可以指定--supervise在失败时使用非零退出代码确保驱动程序自动重新启动。要枚举所有可用的选项spark-submit，请运行它--help。以下是常见选项的几个示例：

# Run application locally on 8 cores
./bin/spark-submit   --class org.apache.spark.examples.SparkPi   --master local[8]   /path/to/examples.jar   100

# Run on a Spark standalone cluster in client deploy mode
./bin/spark-submit   --class org.apache.spark.examples.SparkPi   --master spark://207.184.161.138:7077   --executor-memory 20G   --total-executor-cores 100   /path/to/examples.jar   1000

# Run on a Spark standalone cluster in cluster deploy mode with supervise
./bin/spark-submit   --class org.apache.spark.examples.SparkPi   --master spark://207.184.161.138:7077   --deploy-mode cluster   --supervise   --executor-memory 20G   --total-executor-cores 100   /path/to/examples.jar   1000

# Run on a YARN cluster
export HADOOP_CONF_DIR=XXX
./bin/spark-submit   --class org.apache.spark.examples.SparkPi   --master yarn   --deploy-mode cluster \  # can be client for client mode
  --executor-memory 20G   --num-executors 50   /path/to/examples.jar   1000

# Run a Python application on a Spark standalone cluster
./bin/spark-submit   --master spark://207.184.161.138:7077   examples/src/main/python/pi.py   1000

# Run on a Mesos cluster in cluster deploy mode with supervise
./bin/spark-submit   --class org.apache.spark.examples.SparkPi   --master mesos://207.184.161.138:7077   --deploy-mode cluster   --supervise   --executor-memory 20G   --total-executor-cores 100   http://path/to/examples.jar   1000

# Run on a Kubernetes cluster in cluster deploy mode
./bin/spark-submit   --class org.apache.spark.examples.SparkPi   --master k8s://xx.yy.zz.ww:443   --deploy-mode cluster   --executor-memory 20G   --num-executors 50   http://path/to/examples.jar   1000

主URL

传递给Spark的主URL可以采用以下格式之一：

spark submit

标签：捆绑   other   选项   适用于   因此   server   val   没有   dep   

原文地址：https://www.cnblogs.com/lionjulyy/p/9468900.html