Spark提交应用程序之Spark-Submit分析

if [ -z "${SPARK_HOME}" ]; then
  export SPARK_HOME="$(cd "`dirname "$0"`"/..; pwd)"
fi
 
# disable randomized hash for string in Python 3.3+
export PYTHONHASHSEED=0
 
exec "${SPARK_HOME}"/bin/spark-class org.apache.spark.deploy.SparkSubmit "$@"

if [ -z "${SPARK_HOME}" ]; then
  export SPARK_HOME="$(cd "`dirname "$0"`"/..; pwd)"
fi
 
. "${SPARK_HOME}"/bin/load-spark-env.sh     #导入Spark运行的环境变量，获取和验证Spark Scala的版本，
 
# Find the java binary    #获取java的路径，用于后面的用户程序运行。因为Saprk虽然是用Scala写的，但是其实跑在JVM上的。
if [ -n "${JAVA_HOME}" ]; then   
  RUNNER="${JAVA_HOME}/bin/java"    #如果 JAVA_HOME 环境变量已设置，直接获取java脚本路径
else
  if [ `command -v java` ]; then
    RUNNER="java"     #如果 JAVA_HOME 环境变量没设置，通过 command -v java 命令获得
  else
    echo "JAVA_HOME is not set" >&2        #如果没有找到java命令，那么直接退出，把信息重定向到标准错误输出
    exit 1
  fi
fi
 
# Find assembly jar     #获取Spark运行相关jar包路径
SPARK_ASSEMBLY_JAR=
if [ -f "${SPARK_HOME}/RELEASE" ]; then        
  ASSEMBLY_DIR="${SPARK_HOME}/lib"    #如果RELEASE文件存在，表明Spark已结合hadoop编译生成的jar包在lib。建议使用cdh5的生态圈，不用自己编译，解决版本冲突的问题
else
  ASSEMBLY_DIR="${SPARK_HOME}/assembly/target/scala-$SPARK_SCALA_VERSION"     #注意，在Spark2.0版本后，这个目录已经没有了，把一个大的jar包分为若干个jar包
fi
#ls -l lib目录，并通过正则匹配 spark-assembly-1.6.0-cdh5.7.0-hadoop2.6.0-cdh5.7.0.jar(我这里以spark-1.6.0-cdh5.7.0为例子，并统计文件行数）
GREP_OPTIONS= num_jars="$(ls -1 "$ASSEMBLY_DIR" | grep "^spark-assembly.*hadoop.*\.jar$" | wc -l)" 

#如果上面的num_jars统计文件行数为0，或上面的$SPARK_ASSEMBLY_JAR长度为0，或$SPARK_PREPEND_CLASSES不存在，打印log并退出
if [ "$num_jars" -eq "0" -a -z "$SPARK_ASSEMBLY_JAR" -a "$SPARK_PREPEND_CLASSES" != "1" ]; thenecho "Failed to find Spark assembly in $ASSEMBLY_DIR." 1>&2
  echo "You need to build Spark before running this program." 1>&2
  exit 1
fi
if [ -d "$ASSEMBLY_DIR" ]; then        #如果上面的$ASSEMBLY_DIR找到
  ASSEMBLY_JARS="$(ls -1 "$ASSEMBLY_DIR" | grep "^spark-assembly.*hadoop.*\.jar$" || true)"
  if [ "$num_jars" -gt "1" ]; then    #如果有多个num_jars，则打印log并退出，防止运行时因为Spark版本出错
    echo "Found multiple Spark assembly jars in $ASSEMBLY_DIR:" 1>&2
    echo "$ASSEMBLY_JARS" 1>&2
    echo "Please remove all but one jar." 1>&2
    exit 1
  fi
fi
 
SPARK_ASSEMBLY_JAR="${ASSEMBLY_DIR}/${ASSEMBLY_JARS}"    #获取spark-assembly-1.6.0-cdh5.7.0-hadoop2.6.0-cdh5.7.0.jar(我这里以spark-1.6.0-cdh5.7.0为例子)
 
LAUNCH_CLASSPATH="$SPARK_ASSEMBLY_JAR"    #简单赋值，更换变量是为了方便维护
 
# Add the launcher build dir to the classpath if requested.    #若有需要，把启动程序构建目录添加到classpath
if [ -n "$SPARK_PREPEND_CLASSES" ]; then
  LAUNCH_CLASSPATH="${SPARK_HOME}/launcher/target/scala-$SPARK_SCALA_VERSION/classes:$LAUNCH_CLASSPATH"
fi
 
export _SPARK_ASSEMBLY="$SPARK_ASSEMBLY_JAR"    #导出$SPARK_ASSEMBLY_JAR，相当于作为全局变量，供其他程序访问
 
# For tests
if [[ -n "$SPARK_TESTING" ]]; then
  unset YARN_CONF_DIR
  unset HADOOP_CONF_DIR
fi
 
#获取命令行传进来的全部参数，赋给启动程序
CMD=()
while IFS= read -d ‘‘ -r ARG; do
  CMD+=("$ARG")
done < <("$RUNNER" -cp "$LAUNCH_CLASSPATH" org.apache.spark.launcher.Main "$@")
exec "${CMD[@]}" 

./bin/spark-submit \ 
  --class <main-class> \ 
  --master <master-url> \ 
  --deploy-mode <deploy-mode> \ 
  --conf <key>=<value> \ 
  ... # other options 
  <application-jar> \ 
  [application-arguments]