1.下载 wget https://archive.apache.org/dist/storm/apache storm 0.9.6/apache storm 0.9.6.tar.gz 2.解压 tar zxvf apache storm 0.9.6.tar.gz C install/ mv apa ...
分类：
其他好文 时间：
2018-06-11 14:00:33
阅读次数：
154
Kafka+Zookeeper+Storm的docker化因为项目需要，需要把kafka、zookeeper、storm等服务组件docker化，在借鉴相关的开源dockerfile文件后，终于完成，以此记录。1.首先是建立基础的Linux镜像，针对本项目做了定制。FROMcentosMAINTAINERcc.zhang1024@gmail.comCOPYjq/usr/bin/RUNyumupda
分类：
其他好文 时间：
2018-06-11 13:49:02
阅读次数：
263
1.共同点 都需要实现storm.trident.operation.Function接口 2.不同点 其中函数有发射这个步骤。 .each(new Fields("orderTime"),new DateTransFormerFunction(),new Fields("day","hour"," ...
分类：
其他好文 时间：
2018-06-10 20:15:38
阅读次数：
234
1.过滤操作 只是判断某个tuple是否保留 无需跨网络，无需跨分区 不会改变tuple的结构，只是改变tuple的数量 2.需求 过滤掉不是订单的tuple。 其中订单中包含“IBEIfeng.gif”。 3.主驱动类 先过滤 后打印 4.过滤类 5.效果 ...
分类：
其他好文 时间：
2018-06-09 23:13:38
阅读次数：
180
1.问题由来 命令：java -jar data.jar 1000 >>nginx.log 报错： Exception in thread "main" java.lang.NoClassDefFoundError: com.ibeifeng.test.data.NginxLogGenerator ...
分类：
编程语言 时间：
2018-06-02 23:54:42
阅读次数：
254
为了进一步打造提升（大数据躺过的坑）本微信公众平台的博文高质量水平，特邀请善于分享、主动、敢于专研尝试新技术新领域的您，一起共同维护好我们的知识小天地。目前涉及领域有：大数据领域：Hadoop、Hive、HBase、Zookeeper、Flume、Sqoop、Kafka、Spark、Storm、Ze ...
分类：
微信 时间：
2018-05-31 14:37:52
阅读次数：
383
1.Lambda架构背景介绍 Lambda架构是由Storm的作者Nathan Marz提出的一个实时大数据处理框架。Marz在Twitter工作期间开发了著名的实时大数据处理框架Storm，Lambda架构是其根据多年进行分布式大数据系统的经验总结提炼而成。 Lambda架构的目标是设计出一个能满 ...
分类：
其他好文 时间：
2018-05-29 13:59:24
阅读次数：
149
消息的可靠处理机制 Storm内部通过一种巧妙的异或算法判读每个tuple是否被正确完整的处理。 Spout的一个Task创建一个Tuple时，即在Spout的nextTuple()方法中实现从特定数据源读取数据的处理逻辑中，会与Acker进行通信，向Acker发送消息，Acker保存该Tuple对 ...
分类：
其他好文 时间：
2018-05-28 15:04:05
阅读次数：
167
conf.setNumWorkers(2); // 该Topology运行在Supervisor节点的2个Worker进程中 topologyBuilder.setSpout("blue spout", new BlueSpout(), 2); // 设置并行度为2，则Task个数为2 1 topo ...
分类：
其他好文 时间：
2018-05-28 15:02:55
阅读次数：
171
任务级容错 Bolt任务crash引起的消息未被应答。此时，acker中所有与此Bolt任务关联的消息都会因为超时而失败，对应的Spout的fail方法将被调用。 acker任务失败。如果acker任务本身失败了，它在失败之前持有的所有消息都将超时而失败。Spout的fail方法将被调用。 Spou ...
分类：
其他好文 时间：
2018-05-28 14:54:01
阅读次数：
180
