在消费者接受队消息时，出现异常 javax.jms.JMSException: Failed to build body from content. Serializable class not available to broker. Reason: java.lang.ClassNotFound ...
分类：
其他好文 时间：
2016-09-23 14:46:11
阅读次数：
182
Kafka架构Kafka的整体架构非常简单，是显式分布式架构，producer、broker（kafka）和consumer都可以有多个。Producer，consumer实现Kafka注册的接口，数据从producer发送到broker，broker承担一个中间缓存和分发的作用。broker分发注册到系统中的consumer。broker的作用类似于..
分类：
其他好文 时间：
2016-09-23 00:07:07
阅读次数：
268
在kafka 目录下执行生产消息命令： ./kafka-console-producer --broker-list nodexx:9092 --topic 201609 在spark bin 目录下执行 ...
分类：
其他好文 时间：
2016-09-21 15:55:27
阅读次数：
153
实际中最好用的日志框架是logback，我们现在会直接使用logback通过tcp协议向logstash-shipper输入日志数据。在上一节的基础上修改！！！ 一、代码 1、pom.xml 2、application.properties 3、LogstashProperties.java 4、L ...
分类：
其他好文 时间：
2016-09-21 00:03:53
阅读次数：
274
用sql server自带的消息队列service borker，调用存储过程中，执行了一个跨库的操作，先是用了一个用户，权限什么都给够了，但是一直提示 服务器主体 "user" 无法在当前安全上下文下访问数据库 "dbname"。 想着是架构方面的问题，换sa还是不行。查到微软的一篇文章 提示需要 ...
分类：
数据库 时间：
2016-09-19 16:13:46
阅读次数：
270
摘要 Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对于分布式系统 ...
分类：
其他好文 时间：
2016-09-13 21:58:58
阅读次数：
148
kafka 是一个消息系统， 具体资料可以参考官网： BrokerKafka集群包含一个或多个服务器，这种服务器被称为broker Topic每条发布到Kafka集群的消息都有一个类别，这个类别被称为topic。（物理上不同topic的消息分开存储，逻辑上一个topic的消息虽然保存于一个或多个br ...
分类：
其他好文 时间：
2016-09-13 16:27:14
阅读次数：
119
1.稀疏索引 kafka分布式实现 tar包内容 server.properties broker.id=0 ...
分类：
其他好文 时间：
2016-09-01 21:17:20
阅读次数：
112
在启动Flume的时候，出现下面的异常，但是程序照样能运行，Kafka也能够收到数据，只是偶尔会断点。 2016-08-25 15:32:54,561 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - kafka.utils.Loggin ...
分类：
Web程序 时间：
2016-08-30 20:59:02
阅读次数：
876
前面已经介绍了如何利用Thrift Source生产数据，今天介绍如何用Kafka Sink消费数据。 其实之前已经在Flume配置文件里设置了用Kafka Sink消费数据 那么当Flume的channel收到数据的时候，会根据配置文件主动把数据event发送到Kafka的broker上，所以只要 ...
分类：
Web程序 时间：
2016-08-30 01:45:16
阅读次数：
258
