假设Spark的部署方式选择Standalone，一个採用Master/Slaves的典型架构，那么Master是有SPOF（单点故障，Single Point of Failure）。Spark能够选用ZooKeeper来实现HA。 ZooKeeper提供了一个Leader Election机制， ...
分类：
其他好文 时间：
2017-06-10 12:42:23
阅读次数：
248
假设Spark的部署方式选择Standalone。一个採用Master/Slaves的典型架构。那么Master是有SPOF（单点故障，Single Point of Failure）。Spark能够选用ZooKeeper来实现HA。 ZooKeeper提供了一个Leader Election机制， ...
分类：
其他好文 时间：
2017-06-10 12:22:02
阅读次数：
240
启动hadoop再启动spark后jps，发现master进程和worker进程同时存在，调试了半天配置文件。 测试发现，当我关闭hadoop后 worker进程还是存在， 但是，当我再关闭spark之后再jps，发现worker进程依旧存在 于是想起了在~/spark/conf/slaves 中配 ...
分类：
系统相关 时间：
2017-06-09 00:55:34
阅读次数：
316
MesosArchitecture上图显示了Mesos的主要组成部分。Mesos由一个masterdaemon来管理slavedaemon在每个集群节点上的运行,mesosapplications（也称为frameworks）在这些slaves上运行tasks。Mesosmaster&slave首先，Mesos是一个分布式的架构，它分Mesosmaster和Mesosslave，sla..
分类：
其他好文 时间：
2017-06-01 16:42:04
阅读次数：
251
Linux里插入 i 退出并保存 esc ：wq 按enter键 搭建哨兵：（主服务器用来插入，从服务器用来做查询） 1.复制conf文件 2.主服务器为：master 从服务器为：slaves 3.分别修改从服务器conf配置文件中的端口号，并设置本机ip的主服务器端口号 4.退出并保存 5.启动 ...
分类：
其他好文 时间：
2017-05-28 11:44:50
阅读次数：
218
KETTLE集群搭建 说明： 本文档基于kettle5.4 一、集群的原理与优缺点 1.1集群的原理 Kettle集群是由一个主carte服务器和多个从carte服务器组成的，类似于master-slave结构，不同的是’master’处理具体任务，只负责任务的分发和收集运行结果。 Master c ...
分类：
其他好文 时间：
2017-04-23 10:47:34
阅读次数：
261
Windows slaves fail to start via DCOM Skip to end of metadata Added by Kohsuke Kawaguchi, last edited by Mark Corsillo on Nov 23, 2016 (view change) s ...
分类：
其他好文 时间：
2017-04-21 14:14:52
阅读次数：
389
安装spark包 修改spark-env.sh文件 修改slaves文件 spark1 spark2 spark3 安装spark集群 在另外两个节点进行一模一样的配置，使用scp将spark和.bashrc拷贝到spark2和spark3即可。 启动spark集群 ...
分类：
其他好文 时间：
2017-04-17 10:05:24
阅读次数：
221
Hadoop单机Hadoop测试环境搭建： 1. 安装jdk，并配置环境变量,配置ssh免密码登录 2. 下载安装包hadoop-2.7.3.tar.gz 3. 配置/etc/hosts 127.0.0.1 YARN001 4. 解压缩hadoop-2.7.3.tar.gtz到/home/zhang... ...
分类：
其他好文 时间：
2017-04-15 18:26:17
阅读次数：
209
监控的选型 我们的DCOS 主要是面向2种业务形态：互联网应用，NFV组件和相关的数据库。2种不同的业务虽然说都是跑在容器内部，但是其实需要监控的信息和指标都是各不相同。因此在选择监控方案的时候我们更多的考虑了多样性和可定制化方案，同时最重要的是反应速度和自动化的因素 我们的方案需要有告警和自动的弹 ...
分类：
其他好文 时间：
2017-04-02 00:04:23
阅读次数：
345
