2017.4.5 集群现状

标签：hba   bsp   2.0   ext   不包含   ase   手动   ati   编写   

一、使用hadoop发行版CDH5.9.0

　　开启HBase 1.2.0

　　开启HDFS 2.6.0

　　开启ZooKeeper

二、使用Storm 0.0.1-incubating 该版本没有external模块

三、使用kafka_2.10-0.9.0.1 （2.1.0表示编译kafka所使用的scala版本）

四、使用storm-kafka 0.9.3

　　由于storm 0.9.1-incubating不包含storm-kafka，因而storm-kafka 0.9.3是从storm0.9.3抽取的

　　主要为了使用KafkaSpout，从而不用自己手动编写Spout。

五、运行情况

　　各组件cdh、kafka、storm，三个集群运行正常

　　kafka集群的生产者消费者测试程序运行正常，通过。

六、目标

　　storm消费kafka中的数据，处理完后保存到cdh中的hbase中。

七、问题

　　storm没有读取kafka数据

     原因：怀疑是storm-kafka0.9.3与storm0.9.1incubating不匹配，且incubating版本不适合生产环境

     解决方案：①放弃使用storm-kafka，手动编写kafkaspout

　　　　　　  ②升级storm，这是长远方案

2017.4.5 集群现状

标签：hba   bsp   2.0   ext   不包含   ase   手动   ati   编写   

原文地址：http://www.cnblogs.com/cenglinjinran/p/6679467.html