由于项目需要,最近对storm进行了预研,安装与使用方式网上有很多示例,在此记录一下,备忘。 一、storm简介 ????Storm的术语包括Stream、Spout、Bolt、Task、Worker、Stream Grouping和Topology。S...
分类:
其他好文 时间:
2014-08-06 12:04:11
阅读次数:
409
1 背景 最近由于项目需要,需要使用kafka的producer。但是对于c++,kafka官方并没有很好的支持。 在kafka官网上可以找到0.8.x的客户端。可以使用的客户端有C版本客户端,此客户端虽然目前看来还较为活跃,但是代码问题还是较多的,而且对于c++的支持并不是很好。 还有c++版本,...
分类:
其他好文 时间:
2014-08-06 01:42:30
阅读次数:
407
Spark应用开发实践性非常强,很多时候可能都会将时间花费在环境的搭建和运行上,如果有一个比较好的指导将会大大的缩短应用开发流程。
本篇主要讲述如何运行KafkaWordCount,这个需要涉及Kafka集群的搭建,还是说越仔细越好。
分类:
其他好文 时间:
2014-08-02 23:13:04
阅读次数:
267
openfire 访问 user service 插件 访问不到安照说明文档,我访问创建用户的url 如下http://127.0.0.1:9090/plugins/userservice/userservice?type=add&secret=bigsecret&username=kafka&pa...
分类:
其他好文 时间:
2014-08-01 10:46:01
阅读次数:
152
Kafka集群配置比较简单,为了更好的让大家理解,在这里要分别介绍下面三种配置
单节点:一个broker的集群单节点:多个broker的集群多节点:多broker集群
一、单节点单broker实例的配置
1.首先启动zookeeper服务
Kafka提供了一个简单的zookeeper配置文件来帮助启动zookeeper实例,用下面这个命令即可,首先进入Kafka的安装...
分类:
其他好文 时间:
2014-07-31 20:59:27
阅读次数:
334
阅读背景:您需要对Zk,Kafka有基础的了解 ? ? ?本章主题:详尽的梳理ZkCoordinator的过程 package?com.mixbox.storm.kafka;
import?org.slf4j.Logger;
import?org.slf4j.LoggerFactory;
import?...
分类:
其他好文 时间:
2014-07-23 14:00:16
阅读次数:
343
前言: kafka是linkedin开源的消息队列, 淘宝的metaq就是基于kafka而研发. 而消息队列作为一个分布式组件, 在服务解耦/异步化, 扮演非常重要的角色. 本系列主要研究kafka的思想和使用, 本文主要讲解kafka的一些基本概念和api的使用. *) 准备工作1) 配置ma.....
介绍略 集群安装: 一.准备工作: 1.版本介绍: 目前我们使用版本为kafka_2.9.2-0.8.1(scala-2.9.2为kafka官方推荐版本,此外还有2.8.2和2.10.2可以选择) 2.环境准备: 安装JDK6,目前使用版本为1.6,并配置JAV...
分类:
其他好文 时间:
2014-07-21 10:25:51
阅读次数:
173
# Kafka 高级部分之自定义Encoder实现Class级别的数据传送已经解析
# 前言
本博文中用到的所有工程代码,jar包什么的都已经上传到群214293307共享中,需要的话自己下载研究了。
本博文《_00023 Kafka 诡异操作_001自定义Encoder实现Class级别的数据传送以及解析》中的Eclipse工程代码下载地址 http://download.csdn.net/detail/u012185296/7633405
# Class级别信息Send的原理
简单的说就是将一个...
分类:
其他好文 时间:
2014-07-18 12:31:58
阅读次数:
527