Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计
Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行,可以由一个或多个服务组成,每个服务叫做一个broker.
下面来看下如何简单的使用:
...
分类:
其他好文 时间:
2015-01-14 11:06:44
阅读次数:
150
如果你要利用代码来跑kafka的应用,那你最好先把官网给出的example先在单机环境和分布式环境下跑通,然后再逐步将原有的consumer、producer和broker替换成自己写的代码。所以在阅读这篇文章前你需要具备以下前提:1.简单了解kafka功能,理解kafka的分布式原理2.能在分布式...
分类:
其他好文 时间:
2015-01-08 17:16:27
阅读次数:
191
这部分内容对了解系统和提高软件性能都有很大的帮助,kafka官网上也给出了比较详细的配置详单,但是我们还是直接从代码来看broker到底有哪些配置需要我们去了解的,配置都有英文注释,所以每一部分是干什么的就不翻译了,都能看懂:?123456789101112131415161718192021222...
分类:
其他好文 时间:
2015-01-08 16:53:32
阅读次数:
157
MQ全称为Message Queue,消息队列(MQ)是一种应用程序对应用程序的通信方法RabbitMQ是流行的开源消息队列系统,用erlang语言开发几个概念说明:Broker:简单来说就是消息队列服务器实体。 Exchange:消息交换机,它指定消息按什么规则,路由到哪个队列。 Queu...
分类:
其他好文 时间:
2015-01-04 16:35:20
阅读次数:
295
在settings.py里installed_apps里添加 djcelery需安装django-celery在末端添加import djcelerydjcelery.setup_loader()BROKER_URL = 'amqp://guest:guest@localhost:5672//'CE...
分类:
其他好文 时间:
2014-12-29 15:02:58
阅读次数:
225
在写celery后台任务时,使用redis作为broker,但是启用worker时一直报错,[2014-12-23 14:50:16,056: ERROR/MainProcess] consumer: Cannot connect to redis://localhost:6379/0: Error 111 connecting to loca...
分类:
系统相关 时间:
2014-12-23 17:49:26
阅读次数:
541
利用cxf开发WebService
1.什么是CXF
Apache CXF =Celtix + Xfire
支持多种协议:
? SOAP1.1,1,2
? XML/HTTP
? CORBA(Common ObjectRequest Broker Architecture公共对象请求代理体系结构,早期语言使用的WS。C,c++,C#)
? 并可以与Spri...
分类:
Web程序 时间:
2014-12-19 10:06:14
阅读次数:
229
事件通知(EventNotification)介绍了解事件通知事件通知是特殊类型的数据库对象,用于将有关服务器和数据库事件的信息发送到ServiceBroker服务。执行事件通知可对各种Transact-SQL数据定义语言(DDL)语句和SQL跟踪事件做出响应,采取的响应方式是将这些事件的相关信息发送到Ser..
分类:
其他好文 时间:
2014-12-18 19:05:13
阅读次数:
445
也是用来转发消息的Broker 一个消息队列的服务实体Queue 是消息的载体Channel 客户端一个连接里可以有多个channelchannel不是直接往某个queue里发消息,而是发给exchanger,并带上route key。有exchange 根据 key 路由到不同的queue。
分类:
其他好文 时间:
2014-12-17 18:18:25
阅读次数:
221
做kafka相关项目,需要用到监控的东东,找到了两个方法第一个:http://quantifind.com/KafkaOffsetMonitor/非常容易上手,效果也直观,可以显示各个topic consumer的offset broker存储log的长度不过发现一个bug就是当 consumer没...
分类:
其他好文 时间:
2014-12-17 17:55:21
阅读次数:
768