码迷,mamicode.com
首页 > 其他好文 > 详细

Spark脚步文件作用说明

时间:2014-07-25 00:07:34      阅读:241      评论:0      收藏:0      [点我收藏+]

标签:style   blog   http   java   os   strong   文件   art   

  见明知意的文件名,还用我来介绍??可以说我闲的蛋疼,反正我已经做了记录了,哈哈

  sbin目录下的脚本文件

slaves.sh               在所有定义在${SPARK_CONF_DIR}/slaves的机器上执行一个shell命令
spark-config.sh         被其他所有的spark脚本所包含,里面有一些spark的目录结构信息
spark-daemon.sh			将一条spark命令变成一个守护进程
spark-daemons.sh        在所有定义在${SPARK_CONF_DIR}/slaves的机器上执行一个spark命令
spark-executor          运行org.apache.spark.executor.MesosExecutorBackend,具体作用暂时没关注
start-all.sh            启动master进程,以及所有定义在${SPARK_CONF_DIR}/slaves的机器上启动Worker进程
start-history-server.sh 启动历史记录进程
start-master.sh         启动spark master进程
start-slave.sh          启动某机器上spark slave进程
start-slaves.sh         在所有定义在${SPARK_CONF_DIR}/slaves的机器上启动Worker进程
stop-all.sh             在所有定义在${SPARK_CONF_DIR}/slaves的机器上停止Worker进程
stop-history-server.sh  停止历史记录进程
stop-master.sh          停止spark master进程
stop-slaves.sh          停止某机器上spark slave进程

 bin目录下的脚本文件

 这个目录下有很多.cmd的脚步,就不管了,只关注在linux上可能用到的脚步

compute-classpath.sh    计算spark的classpath并打印出来
load-spark-env.sh       加载spark-env.sh中的配置信息,确保仅会加载一次
run-example             运行example需要用到
spark-class             内部最终为变成用java运行java类
spark-shell             Spark Shell连接spark 集群
spark-submit            提交作业到master

写完后发现一哥们更有意思,把所有脚步的执行流程都解释出来了,可以移步到这里去看

http://www.cnblogs.com/hujunfei/category/563669.html

收工

Spark脚步文件作用说明,布布扣,bubuko.com

Spark脚步文件作用说明

标签:style   blog   http   java   os   strong   文件   art   

原文地址:http://my.oschina.net/heartdong/blog/294509

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!