storm提交任务的过程: 1.客户端通过storm提交topology 2.nimbus主节点创建本地topology任务目录。tmp 3.nimbus监控zookeeper心跳,计算工作量。 4.nimbus向zookeeper分配任务。 5.从节点监控zk的数据,一旦有新任务分配,启动任务to ...
分类:
其他好文 时间:
2017-07-22 23:40:18
阅读次数:
245
基于zk的消息队列activemq的主从集群环境部署,简单可靠 ...
分类:
其他好文 时间:
2017-07-22 19:52:08
阅读次数:
234
本文参考以下链接:http://www.cnblogs.com/yuyijq/p/4116365.htmlZookeeper-Zookeeperleader选举http://www.cnblogs.com/yuyijq/p/3424473.htmlZookeeper-Zookeeper可以干什么http://www.cnblogs.com/yuyijq/p/3391945.htmlZookeeper--Zookeeper是什么那分布式协调服务又是个..
分类:
其他好文 时间:
2017-07-18 21:04:57
阅读次数:
127
Zookeeper的Client直接与用户打交道,是我们使用Zookeeper的interface。了解ZK Client的结构和工作原理有利于我们合理的使用ZK,并能在使用中更早的发现问题。本文将在研究源码的技术上讲述ZK Client的工作原理及内部工作机制。 在看完ZK Client的大致架构 ...
分类:
其他好文 时间:
2017-07-14 19:34:19
阅读次数:
108
服务器架构 机器信息: 这里部属的机器为3个Master控制节点,3个slave运行节点,其中: zookeeper、Mesos-master、marathon运行在Master端;Mesos-slave和docker运行在Slave端;需要修改zk的内容来保证slave能够被发现和管理 构建环境 ...
分类:
其他好文 时间:
2017-07-11 23:02:45
阅读次数:
275
脚本名称为zk_run.sh 将下面代码粘贴进zk_run.sh 添加执行权限 chmode +x zk_run.sh 运行脚本 ./zk_run.sh start 如果发现zookeeper没有启动起来,尝试在每个zookeeper的zookeeper-3.4.10/bin/zkEnv.sh脚本最 ...
分类:
系统相关 时间:
2017-07-09 16:11:46
阅读次数:
208
hadoop2.7.3+zookeeper3.4.9+hbase1.2.6我想让它们实现开机自启动,需要2个脚本实现。h1.sh和h2.sh.#!/bin/bash#discribe:实现hadoop+zookeeper+hbase开机自启动#对我非常有用的链接:ssh到其他机器,实现zk启动。https://zhidao.baidu.com/question/1447196109490350780.html#..
分类:
其他好文 时间:
2017-07-07 19:51:51
阅读次数:
155
学长拉我进了个群,感觉把人家的朋友圈都拉低了,见识到了很厉害的人,深深感到自己是彩笔,所以也想写一点小东西,希望能给这个社会带来哪怕一点点正面影响... 钟馗眼(Eyes of ZK) 开发初衷: 在求职者投递简历的时候帮助其识别出来骗子岗位,假的,不靠谱的职位,避免更多的人被骗。 初步想法: 先从... ...
分类:
其他好文 时间:
2017-07-02 10:09:34
阅读次数:
135
直接使用zk的api实现业务功能比较繁琐。因为要处理session loss,session expire等异常,在发生这些异常后进行重连。又因为ZK的watcher是一次性的,如果要基于wather实现发布/订阅模式,还要自己包装一下,将一次性订阅包装成持久订阅。另外如果要使用抽象级别更高的功能, ...
分类:
其他好文 时间:
2017-06-30 12:27:01
阅读次数:
147
kafka重置offset 1.删除zookeeper上节点信息 打开client :./zkCli.sh -server 127.0.0.1:12181 删除consumer:rmr /consumers/xxx 2.代码中设置从最小读(注意程序启动前保证zk上的consumer不存在) prop ...
分类:
其他好文 时间:
2017-06-30 12:18:59
阅读次数:
327