SPARK 资源调度源码总结

标签：cut   start   提交app   多个   ica   lis   font   exe   app   

1. Executor在集群中分散启动，有利于task计算的数据本地化

2. 默认情况下（提交任务的时候没有设置--executor-cores选项），每一个Worker为当前的Application启动一个Executor,这个Executor会使用这个Worker的所有的cores和1G内存

3. 如果想在Worker上启动多个Executor，提交Application的时候要加--executor-cores这个选项

4. 默认情况下没有设置--total-executor-cores,一个Application会使用Spark集群中所有的cores

SPARK 资源调度源码总结

标签：cut   start   提交app   多个   ica   lis   font   exe   app   

原文地址：https://www.cnblogs.com/xiangyuguan/p/11241130.html