一、消息队列 RabbitMQ是目前非常热门的一款消息中间件，不管是互联网大厂还是中小企业都在大量使用。 1.1 什么是消息队列 MQ全称为Message Queue，即消息队列。“消息队列”是在消息的传输过程中保存消息的容器。它是典型的：生产者、消费者模型。生产者不断向消息队列中生产消息，消费者不 ...
分类：
编程语言 时间：
2020-06-29 11:54:48
阅读次数：
71
注：安装的kafka版本为kafka_2.10-0.8.2.1，zookeeper版本选的是zookeeper-3.4.14 一.下载zookeeper 官网下载zookeeper-3.4.14.tar.gz,解压到相应目录下： 解压后的目录包含（修改conf目录下的zoo_sample.cfg文件 ...
分类：
其他好文 时间：
2020-06-29 11:27:17
阅读次数：
50
工作模式： 1、简单模式 HelloWorld : 一个生产者、一个消费者，不需要设置交换机（使用默认的交换机） 2、工作队列模式 Work Queue: 一个生产者、多个消费者（竞争关系），不需要设置交换机（使用默认的交换机） 3、发布订阅模式 Publish/subscribe: 需要设置类型为 ...
分类：
其他好文 时间：
2020-06-28 18:11:23
阅读次数：
46
摘要 笔者最近发现偶然发现一个非常友好的java爬虫框架，感觉非常适合用来java代码以及爬虫知识的学习，随通过查阅网上资料以及阅读其官方手册，并且分析其源代码，学习到了非常多的有用知识，包括java开发的基本哲学，面向对象的知识，设计模式，当然最重要的还是爬虫开发的一系列知识。本篇作为源代码web ...
分类：
Web程序 时间：
2020-06-28 09:35:49
阅读次数：
68
使用了kerberos认证之后，整个kafka系统安全了，而且性能也保持着不错的状态，但是在实际中工作中kerberos未必都能够正常使用，也就是说一些组件无法正常运用Kerberos认证。但是在实际的开发之中，作为消息生产者的数据来源可能非常的多，所以在这样的状态下，kerberos认证必须保留， ...
分类：
其他好文 时间：
2020-06-28 00:24:15
阅读次数：
64
1.集合source 2.hdfs source 3.kafka 单value source 4. kafka 键值对source 启动生产者 5.自定义source ...
分类：
其他好文 时间：
2020-06-27 21:42:37
阅读次数：
90
1、使用 BlockingQueue ArrayBlockingQueue 完成了很多工作，比如队列满了就去阻塞生产者线程，队列有空就去唤醒生产者线程等。 import java.util.concurrent.*; public class MyProdCons { public static v ...
分类：
其他好文 时间：
2020-06-27 16:05:17
阅读次数：
48
生产者消费者模式2-->信号灯法 public class TestPC2 { public static void main(String[] args) { TV tv = new TV(); new Player(tv).start(); new Watcher(tv).start(); } ...
分类：
其他好文 时间：
2020-06-26 22:41:43
阅读次数：
74
点对点消息系统：生产者发送一条消息到queue，一个queue可以有很多消费者，但是一个消息只能被一个消费者接收，当没有消费者可用时，这个消息会被保存直到有一个可用的消费者，所以Queue实现了一个可靠的负载均衡。 发布订阅消息系统：发布者发送到topic的消息，只有订阅了topic的订阅者才会收到 ...
分类：
其他好文 时间：
2020-06-26 22:33:00
阅读次数：
79
名词： commitLog : 消息存储的地方，持久化到磁盘中，保存着生产者发送的完整消息。 consumerqueue: 逻辑消费队列，每一个队列中维护着commitLog 文件中的消息偏移量进行消费。 index: 索引文件。 初始化： 在Broker 启动的时候，org.apache.rock ...
分类：
其他好文 时间：
2020-06-26 21:48:18
阅读次数：
63
