简单介绍:说明:Beantalkd是一个高性能,轻量级的分布式消息队列,最初设计目的是想通过后台异步执行耗时任务降低WEB应用页面访问延迟,支持过1000万用户的应用,被豆瓣内部广泛使用.几大特性:1.支持持久化,默认使用内存,但可启动时-b指定持久化目录,将任务写入Binlog,以相同参数启..
分类：
其他好文 时间：
2016-12-02 03:42:21
阅读次数：
219
Kafka是用于日志处理的分布式消息队列，Kafka使用scala语言开发的。 各个开源分布式处理系统Cloudera、Apache Storm、Spark都支持与Kafka集成。其日志处理的一个场景:Kafka采集日志以后，经过spark分布式计算，将日志数据导入到HBase中。Kafka采集的日 ...
分类：
其他好文 时间：
2016-11-29 21:35:02
阅读次数：
188
文章地址 1. 一些词汇和技术 1）Zookeeper注册中心 Storm集群 2. 核心思想 1）【概述】 消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题。实现高性能，高可用，可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。 目前在生产环境，使用较多的 ...
分类：
Web程序 时间：
2016-11-18 22:46:45
阅读次数：
277
原文地址 以下是消息队列以下的大纲，本文主要介绍消息队列概述，消息队列应用场景和消息中间件示例（电商，日志系统）。 本次分享大纲 消息队列概述 消息队列应用场景 消息中间件示例 JMS消息服务（见第二篇：大型网站架构系列：分布式消息队列（二）） 常用消息队列（见第二篇：大型网站架构系列：分布式消息队 ...
分类：
其他好文 时间：
2016-11-18 22:15:50
阅读次数：
318
备注：1.如果您此前未接触过RocketMQ，请先阅读附录部分，以便了解RocketMQ的整体架构和相关术语2.文中的MQServer与Broker表示同一概念 分布式消息系统作为实现分布式系统可扩展、可伸缩性的关键组件，需要具有高吞吐量、高可用等特点。而谈到消息系统的设计，就回避不了两个问题： R ...
分类：
其他好文 时间：
2016-11-11 11:44:10
阅读次数：
161
1、为什么要有Kafka？ [出自 Hrq] Kafka是一个消息系统， 原本开发自LinkedIn，用作LinkedIn的活动流（activity stream）和运营数据处理管道（pipeline）的基础。现在主要用作数据管道（data pipeline）和消息系统 Kafka出现的原因： l ...
分类：
其他好文 时间：
2016-11-10 21:29:55
阅读次数：
223
备注：1.如果您此前未接触过RocketMQ，请先阅读附录部分，以便了解RocketMQ的整体架构和相关术语2.文中的MQServer与Broker表示同一概念 分布式消息系统作为实现分布式系统可扩展、可伸缩性的关键组件，需要具有高吞吐量、高可用等特点。而谈到消息系统的设计，就回避不了两个问题： 消... ...
分类：
其他好文 时间：
2016-09-27 19:27:36
阅读次数：
694
在上一篇，我们从使用方式和策略上，对消息队列做了一个宏观描述。从本篇开始，我们将深入到源码内部，仔细分析Kafka到底是如何实现一个分布式消息队列。我们的分析将从Producer端开始。 从Kafka 0.8.2开始，发布了一套新的Java版的client api, KafkaProducer/Ka ...
分类：
其他好文 时间：
2016-09-25 15:58:37
阅读次数：
144
在上一篇，我们从使用方式和策略上，对消息队列做了一个宏观描述。从本篇开始，我们将深入到源码内部，仔细分析Kafka到底是如何实现一个分布式消息队列。我们的分析将从Producer端开始。从Kafka ...
分类：
Web程序 时间：
2016-09-25 09:35:54
阅读次数：
2103
摘要 Kafka是由LinkedIn开发并开源的分布式消息系统，因其分布式及高吞吐率而被广泛使用，现已与Cloudera Hadoop，Apache Storm，Apache Spark集成。本文介绍了Kafka的创建背景，设计目标，使用消息系统的优势以及目前流行的消息系统对比。并介绍了Kafka的 ...
分类：
其他好文 时间：
2016-09-13 20:46:05
阅读次数：
242
