package com.doctor.logbackextend;import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Properties;import kafka.consumer...
分类：
Web程序 时间：
2015-07-01 20:32:42
阅读次数：
174
学习jstorm过程中，碰到一问题： ?ERROR com.alibaba.jstorm.daemon.supervisor.SyncProcessEvent ?- Failed Sync Process java.lang.IllegalArgumentException: No output fields defined fo...
分类：
其他好文 时间：
2015-04-26 12:31:31
阅读次数：
248
JStorm之Nimbus简介一、简介 JStorm集群包含两类节点：主控节点（Nimbus）和工作节点（Supervisor）。其分别对应的角色如下： 1. 主控节点（Nimbus）上运行Nimbus Daemon。Nimbus负责接收Client提交的Topology，分发代码，分配任务给工.....
分类：
Web程序 时间：
2015-04-07 13:26:49
阅读次数：
250
来自阿里的流处理框架：JStorm 关于流处理框架，在先前的文章汇总已经介绍过Strom，今天学习的是来自阿里的的流处理框架JStorm。简单的概述JStorm就是：JStorm 比Storm更稳定，更强大，更快，Storm上跑的程序，一行代码不变可以运行在JStorm上。直白的讲JStorm是阿....
分类：
Web程序 时间：
2015-04-03 12:51:23
阅读次数：
176
topology在服务端提交过程中，会经过一系列的验证和初始化：TP结构校验、创建本地目录并拷贝序列化文件jar包、生成znode用于存放TP和task等信息，最后一步才进行任务分配，如下图：
提交主函数位于ServiceHandler.java中
private void makeAssignment(String topologyName, String topologyId,
...
分类：
Web程序 时间：
2015-03-16 19:21:04
阅读次数：
176
问题描述1、在流式计算中经常需要对一批的数据进行汇总计算，类似SQL中的GROUP BY。在用JStorm来实现这一条简单的SQL时，面对的是一条一条的数据库变化的消息（这里需要保证有序消费），其实相当于在一堆的消息上面做了一个嵌套的SQL查询，用一张图表示如下：2、业务DB中的表基本上不会有大宽表...
分类：
Web程序 时间：
2015-02-05 13:08:06
阅读次数：
244
topology提交前会先判断集群中是否存在同名作业，如果存在在提交失败，如果没有则会增加集群提交次数SubmittedCount，每次提交成功，该变量都会加1，然后会为该作业分配一个id，生成规则如下：
public static String TopologyNameToId(String topologyName, int counter) {
return topologyNam...
分类：
Web程序 时间：
2015-01-16 20:58:00
阅读次数：
534
一个topology包含一或多个spout bolt，spout负责在数据源获得数据并发送给bolt，每个bolt负责做完处理后发给下一个bolt。通常topology的创建是由TopologyBuilder来创建的，该组件会记录包含哪些spout bolt，并做相应验证：各组件是否有id冲突,校验方法如下：
private void validateUnusedId(String id) {
...
分类：
Web程序 时间：
2015-01-16 16:47:39
阅读次数：
335
Supervisor中文翻译是监督者，意思简单明了，就是对资源进行监控，其实主要是woker资源。该组件所做的事情概括如下：
1、每隔一段时间发送心跳证明自己还活着
2、下载新的topology
3、释放无效的woker
4、分配新的任务
该组件主要包含：心跳线程、supervisor事件接受线程、处理线程，一旦事件接受到则会进入任务分配环节，主要逻辑...
分类：
Web程序 时间：
2015-01-14 16:52:28
阅读次数：
284
NimbusServer相当于hadoop里的JobTracker或yarn里的ResourceManager，在集群中属于首脑地位，负责分发任务，监控集群状态，与supervisor的通信主要通过Zookeeper。nimbus在启动过程中会做以下工作，以保证集群稳定运行：
1、清理无效topology
2、建立zk连接并创建相应znode
3、启动监控线程
4、启动httpserver...
分类：
Web程序 时间：
2015-01-13 15:58:30
阅读次数：
403
