nimbus 是集群的管理节点 superviser ： 一个superviser 在一台机器上， 它本身是一个进程，有一个id 管理在同一机器上的 多个worker进程，每个worker进程只服务于一个topology，每个worker对外有一个port，用于接收数据； 一个worker内有多个e ...
分类：
其他好文 时间：
2018-05-28 13:47:53
阅读次数：
144
伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久才可以被搜出来， ...
分类：
其他好文 时间：
2018-05-28 11:34:21
阅读次数：
177
进到一个topology的页面， 里面有整体的stat， spout的情况 bolt的情况 其中b 0，负责的是数据持久化，如果这个有fail，那么会导致数据处理延迟 其他有少量fail，是没什么关系的 那如何查找某个具体是哪个spout和bolt，哪台机器，什么错？ 比如b 0有fail 那么点击 ...
分类：
其他好文 时间：
2018-05-27 23:40:55
阅读次数：
185
FACL（FilesystemAccessControlList）是指文件访问控制列表，该属性可以利用文件扩展保存额外的访问控制权限，比如有一下情况：storm用需要创建一个test文件，他需要cathy用户同样具有rw权限，通常的权限控制做法是需要修改test文件的other权限为rw，但是这样做以后所有的用户都具有rw权限，带来极大的安全隐患，此时就该facl发挥作用的时候了。facl权限管理
分类：
其他好文 时间：
2018-05-27 22:46:59
阅读次数：
208
周五在公司搭好的ELK上查看日志，组长让看看其中NullPointerException出现很多的原因。 通过NullPointerException搜索，点看其中一个查看，发现异常的信息就一行java.lang.NullPointerException，并没有堆栈信息。 看了几个都没有，然后翻代码 ...
分类：
其他好文 时间：
2018-05-27 13:44:04
阅读次数：
212
Splitting a stream has no effect on the batch. If you join the stream back together, then yes, it will be the same batch. Tuples are passed between pa ...
分类：
其他好文 时间：
2018-05-27 10:43:15
阅读次数：
158
首先spout有三种：这些关系到相同的batchid里面是否包含相同的tuple 事务性：相同 模糊事务性：如果取不到原来的，则拿新的 无事务：不一定 所以只有事务性才能做到一个tuple唯一一次处理 模糊事务性 才能做到 最多处理一次 而无事务，则可能处理多次 ———————— 而在State这里 ...
分类：
其他好文 时间：
2018-05-27 00:59:15
阅读次数：
241
You can increase the batch size by changing "tridentKafkaConfig.fetchSizeBytes" property. Also, batch size is related with number of brokers and numbe ...
分类：
其他好文 时间：
2018-05-27 00:20:13
阅读次数：
199
trident里面 batch会被缓存，这样失败了可以重新发送 多个batch可以并行被process，但是commit是严格按照txid顺序来执行 一个batch的状态会存在zk里 只要batch在timeout时间内commit就算完成了，应该同时会清缓存 如果异常或超时了，就会replay 在 ...
分类：
其他好文 时间：
2018-05-24 12:00:30
阅读次数：
238
package org.apache.storm.metric.internal; import java.util.Timer; /** * Just holds a singleton metric/stat timer for use by metric/stat calculations * ...
分类：
其他好文 时间：
2018-05-15 19:43:15
阅读次数：
124
