标签:功能 color 核数 bin 恢复 main 包括 规模 图片
[lxl@hadoop102 sorfware]$ tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/module/ [lxl@hadoop102 module]$ mv spark-2.1.1-bin-hadoop2.7 spark
[lxl@hadoop102 spark]$ bin/spark-submit --class org.apache.spark.examples.SparkPi --executor-memory 1G --total-executor-cores 2 ./examples/jars/spark-examples_2.11-2.1.1.jar 100
bin/spark-submit --class --master --deploy-mode --conf = ... # other options [application-arguments]
--master 指定 Master 的地址,默认为 Local --class: 你的应用的启动类 (如 org.apache.spark.examples.SparkPi) --deploy-mode: 是否发布你的驱动到 worker 节点(cluster) 或者作为一个本地客户端 (client) (default: client)* --conf: 任意的 Spark 配置属性, 格式 key=value. 如果值包含空格,可以加引号 “key=value” application-jar: 打包好的应用 jar,包含依赖. 这个URL 在集群中全局可见。 比如hdfs:// 共享存储系统, 如果是 file:// path, 那么所有的节点的path 都包含同样的 jar application-arguments: 传给 main()方法的参数 --executor-memory 1G 指定每个 executor 可用内存为 1G --total-executor-cores 2 指定每个 executor 使用的 cup 核数为 2 个
3) 结果展示
该算法是利用蒙特·卡罗算法求PI
[lxl@hadoop102 spark]$ mkdir input
hello atguigu
hello spark
[lxl@hadoop102 spark]$ bin/spark-shell
scala>
[lxl@hadoop102 spark]$ jps 3627 SparkSubmit 4047 Jps
标签:功能 color 核数 bin 恢复 main 包括 规模 图片
原文地址:https://www.cnblogs.com/LXL616/p/11040692.html