这个是在window环境下面安装的kafka 下载pom依赖 org.apache.storm storm kafka client 1.1.1 org.apache.kafka kafka clients 0.10.0.0 org.apache.storm storm core 1.1.1 <! ...
分类:
其他好文 时间:
2018-06-26 17:23:48
阅读次数:
158
采用filebeat收集日志,日志文件频繁rotate,造成filebeat占用文件不释放,只要filebeat保持着被删除文件Open状态,操作系统就不释放磁盘空间,导致可用磁盘空间逐渐减小。使用lsof命令查看filebeat保持着的文件资源,可以发现许多被filebeat占用空间的失效文件(deleted)文件。deleted状态的文件没有释放,始终占据磁盘空间解决办法:查看filebeat
分类:
系统相关 时间:
2018-06-26 14:30:11
阅读次数:
285
动词搭配宾语(200个) Book 5 第六册1-7课中“谓语+宾语搭配” The human attack on the ecosphere has instigated an ecological counterattack. Nature knows best. A wire zings th ...
分类:
其他好文 时间:
2018-06-23 00:01:26
阅读次数:
181
在本地编辑工具写了strom的例子,用 LocalCluster 运行后,并没有打印出预期的内容,反而在日志里有出现错误: 经排查,是主线程休眠的时间太短了,看了网上的设置,都是休眠10s,而此时storm还没有初始化完成,所以导致还没开始就结束了 解决方案:将休眠时间调高,让程序可以正常执行 ...
分类:
其他好文 时间:
2018-06-22 13:31:13
阅读次数:
1975
1、什么是storm Apache Storm is a free and open source distributed realtime computation system. 免费、开源、分布式、实时计算系统 Storm makes it easy to reliably process un ...
分类:
其他好文 时间:
2018-06-21 17:18:16
阅读次数:
172
现象:STORM UI中发现bolt中有failed,异常日志抛异常read time out 业务场景:storm读写redis。 查看redis日志发现,正常情况下 每隔2小时都会有超时的异常抛出来,抛出异常的 redis机器有多台。 分析慢日志: 1、看命令数和value大小:找到其中一台re ...
分类:
其他好文 时间:
2018-06-17 17:48:51
阅读次数:
148
在这里,非常感谢下面的著名大牛们,一路的帮助和学习,给予了我很大的动力! 有了Hadoop,再次有了Spark,一次又一次,一晚又一晚的努力相伴! HBase简介(很好的梳理资料) 1、 博客主页:http://jiajun.iteye.com/ 2、博客主页:http://www.cnblogs. ...
分类:
其他好文 时间:
2018-06-16 11:51:49
阅读次数:
186
npm:file->settings搜索npm,右边的interpriter的地址要保证是对的,然后点击enable,稍等即可完成 语法:file->settings搜索language,右边有一个javascript选择es6或react jsx(包含es6),点击‘ok’,完成 还有一个defa ...
分类:
Web程序 时间:
2018-06-15 22:36:23
阅读次数:
1199
一、Storm介绍 1、Storm是Twitter开源的一个分布式的实时计算系统,用于数据的实时分析,持续计算,分布式RPC。 ①官网地址:http://storm-project.net ②源码地址:https://github.com/nathanmarz/storm 2、实时计算需要解决一些什 ...
分类:
其他好文 时间:
2018-06-13 11:30:10
阅读次数:
187
一:介绍 1.说明 Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU intensive的计算。DRPC的storm topology以函数的参数流作为输入,而把这些函数调用的返回值作为topology的输出流。 2.工作机制 Distributed RPC是由一个”DPR ...
分类:
其他好文 时间:
2018-06-12 23:30:05
阅读次数:
275