java -jar moco-runner-1.0.0-standalone.jar http -p 12306 -c config/conf.json 配置文件 [ { "request": { "uri": "/test1", "method": "POST" }, "response": { ...
spark程序大致有如下运行模式: standalone模式:spark自带的模式 spark on yarn:利用hadoop yarn来做集群的资源管理 local模式:主要在测试的时候使用, 这三个模式先大致了解,目前我用到的就是local和yarn。其中,我们写spark程序,一般在idea ...
先跑起mysql数据库主从,并有nacos_config数据库。 有nacos-standalone-mysql.yaml 文件 启动命令 :docker-compose -f nacos-standalone-mysql.yaml start 查看日志:nacos.log 此时提示:未设置数据源 ...
分类:
其他好文 时间:
2019-10-06 00:34:02
阅读次数:
2954
Spark支持三种集群部署方式(Standalone,Mesos,Yarn),其中Master服务(Spark Standalone,Mesos Master,Yarn ResourceManager)决定哪些应用可以运行,在那个节点上运行,以及什么时候运行。Slave服务(Yarn NodeMan... ...
分类:
其他好文 时间:
2019-10-01 13:36:44
阅读次数:
84
1.先下载相关的依赖,这里echarts和高德地图放到一起。(高德地图需要先去申请一个key) // The Vue build version to load with the command // (runtime only or standalone) has been set in webp ...
分类:
其他好文 时间:
2019-09-30 16:22:39
阅读次数:
214
50070:HDFSwebUI的端口号 8485:journalnode默认的端口号 9000:非高可用访问数rpc端口 8020:高可用访问数据rpc 8088:yarn的webUI的端口号 8080:master的webUI,Tomcat的端口号 7077:spark基于standalone的提 ...
分类:
其他好文 时间:
2019-09-27 19:34:16
阅读次数:
365
Spark 集群相关 来源于官方, 可以理解为是官方译文, 外加一点自己的理解. 版本是2.4.4 本篇文章涉及到: 集群概述 master, worker, driver, executor的理解 打包提交,发布 Spark application standalone模式 SparkCluste ...
分类:
其他好文 时间:
2019-09-27 19:01:08
阅读次数:
111
1、你要切换到yarn-cluster或者yarn-client模式,很简单,将我们之前用于提交spark应用程序的spark-submit脚本,加上--master参数,设置为yarn-cluster,或yarn-client,即可。如果你没设置,那么,就是standalone模式。2、yarn集 ...
分类:
Web程序 时间:
2019-09-19 18:06:18
阅读次数:
151
1.独立模式(standalone|local) nothing! 本地文件系统。 不需要启用单独进程。 2.pesudo(伪分布模式) 等同于完全分布式,只有一个节点。 SSH: //(Socket), //public + private /server : sshd ps -Af | grep ...
分类:
其他好文 时间:
2019-09-03 22:18:44
阅读次数:
109
一、Spark运行流程 1、构建Spark Application的运行环境(启动SparkContext),SparkContext向资源管理器(可以是Standalone、Mesos或YARN)注册并申请运行Executor资源; 2、资源管理器分配Executor资源并启动Standalone ...
分类:
其他好文 时间:
2019-08-29 20:01:04
阅读次数:
65