之前项目里面 pom 里面的 storm-kafka 的依赖版本是 1.0.1 或 1.1.0 这两个版本的 KafkaSpout 的 SpoutConfig 都是无法设置 securityProtocol 的。 而 HDP 2.5.0.0-1245 里面的 “定制版”。 pom 如下： 当然，此版 ...
分类：
其他好文 时间：
2017-08-29 16:28:33
阅读次数：
250
课程目录：weekend110-第1天 01-hadoop职位需求状况 02-hadoop课程安排 03-hadoop应用场景 04-hadoop对海量数据处理的解决思路 05-hadoop版本选择和伪分布式安装 06-hadoop版本选择和伪分布式安装2 07-hdfs&mapreduce测试 0 ...
分类：
其他好文 时间：
2017-08-13 16:18:07
阅读次数：
143
人们说哲学是门装逼的科学，我也是一个很能装的人，而且今天肯定能装的清新脱俗。 ...
分类：
其他好文 时间：
2017-07-01 18:15:56
阅读次数：
145
测试storm-starter里的TridentWordCount，测试storm-kafka模块，单独建立工程， 注意log4j-slf4j-impl-2.1引起的依赖冲突，之前运行报错都是因为在storm安装包的lib库里已经有这个jar包了， 编译topology的时候又有其他依赖于这个jar ...
分类：
其他好文 时间：
2017-04-12 23:38:20
阅读次数：
221
公司对客户开放多个系统，运营人员想要了解客户使用各个系统的情况，在此之前，数据平台团队已经建设好了统一的Kafka消息通道。 为了保证架构能够满足业务可能的扩张后的性能要求，选用storm来处理各个应用系统上传到kafka中的埋点数据并在Mysql中汇聚。 埋点数据上报的格式为json，会上报类似如 ...
分类：
数据库 时间：
2016-12-02 01:09:35
阅读次数：
308
为了和qq空间同步，也写的第四天，前面几天明天会发布，本来打算把每天学的东西记录下来，通过朋友给的建议要发的话稍微系统化下，从大数据需要的linux基础，到离线数据分析包括hadoop、hive、flume、hbase等,再到实时数据分析包括storm、kafka、redias等，最后的内存计算部分 ...
分类：
系统相关 时间：
2016-11-10 03:13:34
阅读次数：
347
今天提交storm任务上集群的时候出现了这个异常：storm.kafka.UpdateOffsetExceptionjava.lang.RuntimeException:storm.kafka.UpdateOffsetExceptionatbacktype.storm.utils.DisruptorQueue.consumeBatchToCursor(DisruptorQueue.java:135)atbacktype.storm.utils.DisruptorQueu..
分类：
其他好文 时间：
2016-07-21 20:04:08
阅读次数：
403
简单的输入输出做完了，来点复杂点儿的场景：从某个topic定于消息，然后根据空格分词，统计单词数量，然后将当前输入的单词数量推送到另一个topic。首先规划需要用到的类：从KafkaSpout接收数据并进行处理的backtype.storm.spout.Scheme子类；数据切分bolt：SplitSentenceBolt..
分类：
其他好文 时间：
2016-06-23 19:01:57
阅读次数：
629
错误如下： 原因是版本不兼容问题， storm-0.10.1 kafka_2.10-0.10.0.0 ...
分类：
其他好文 时间：
2016-06-07 14:40:38
阅读次数：
2723
