作者：刘旭晖 Raymond 转载请注明出处Email：colorant at 163.comBLOG：http://blog.csdn.net/colorant/随着Spark的逐渐成熟完好, 越来越多的可配置參数被加入到Spark中来, 本文试图通过阐述这当中部分參数的工作原理和配置思路, 和大 ...
分类：
其他好文 时间：
2017-06-11 19:14:27
阅读次数：
1363
清理日志由于mesos平台日志文件会备份在日志系统内，固主机上的大日志文件可以定时清理。/data/docker/containers-typef-name"*.log"-size+500M/data/docker/containers目录下.log类型且大于500M的文件可清理/data/logbak/passport/10.5.0/stress/base-typef-namepassport.log...
分类：
其他好文 时间：
2017-06-06 10:45:43
阅读次数：
280
MesosArchitecture上图显示了Mesos的主要组成部分。Mesos由一个masterdaemon来管理slavedaemon在每个集群节点上的运行,mesosapplications（也称为frameworks）在这些slaves上运行tasks。Mesosmaster&slave首先，Mesos是一个分布式的架构，它分Mesosmaster和Mesosslave，sla..
分类：
其他好文 时间：
2017-06-01 16:42:04
阅读次数：
251
Spark运行的4中模式： Local Standalone Yarn Mesos 一、安装spark前期准备 1、安装java $ sudo tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/service/ export JAVA_HOME=/opt/ser ...
分类：
其他好文 时间：
2017-05-22 16:38:41
阅读次数：
222
Spark一共有5种运行模式：Local，Standalone，Yarn-Cluster，Yarn-Client和Mesos。 1. Local Local模式即单机模式，如果在命令语句中不加任何配置，则默认是Local模式，在本地运行。这也是部署、设置最简单的一种模式 2. Standalone ...
分类：
其他好文 时间：
2017-05-15 15:40:06
阅读次数：
168
Spark有以下四种运行模式： local：本地单进程模式，用于本地开发测试Spark代码; standalone：分布式集群模式，Master-Worker架构，Master负责调度，Worker负责具体Task的执行; on yarn/mesos：运行在yarn/mesos等资源管理框架之上，y ...
分类：
其他好文 时间：
2017-05-06 01:01:50
阅读次数：
246
POJ 1985 Cow Marathon(树的直径) http://poj.org/problem?id=1985 题意: 有一个树结构, 给你树的全部边(u,v,cost), 表示u和v两点间有一条距离为cost的边. 然后问你该树上最远的两个点的距离是多少?(即树的直径) 分析: 对于树的直径 ...
分类：
其他好文 时间：
2017-04-27 10:24:11
阅读次数：
172
执行时需要传入的参数说明 Usage: spark-submit [options] <app jar | Python file> [app options] 参数名称 含义 --master MASTER_URL 可以是spark://host:port, mesos://host:port, ...
分类：
其他好文 时间：
2017-04-25 00:45:51
阅读次数：
508
Spark集群模式&Spark程序提交 1. 集群管理器 Spark当前支持三种集群管理方式 Standalone—Spark自带的一种集群管理方式，易于构建集群。 Apache Mesos—通用的集群管理，可以在其上运行Hadoop MapReduce和一些服务应用。 Hadoop YARN—Ha ...
分类：
其他好文 时间：
2017-04-25 00:37:59
阅读次数：
227
生成taskInfo task = mesos_pb2.TaskInfo() task_id = name task.task_id.value = task_id task.slave_id.value = offer.slave_id.value task.name = name task.da ...
分类：
其他好文 时间：
2017-04-23 14:26:37
阅读次数：
433
