#include #include "stdio.h"#include #include #define N_CONSUMER 3 //消费者数量#define N_PRODUCER 2 //生产者数量#define C_SLEEP 1 //控制 consumer 消费的节奏#define P_SL...
分类：
编程语言 时间：
2014-11-05 21:06:30
阅读次数：
204
业界对于消息的传递有多种方案和产品，本文就比较有代表性的两个MQ(rabbitMQ,kafka)进行阐述和做简单的对比，在应用场景方面，RabbitMQ,遵循AMQP协议，由内在高并发的erlanng语言开发，用在实时的对可靠性要求比较高的消息传递上。kafka是Linkedin于2010年12月份...
分类：
其他好文 时间：
2014-11-05 14:30:10
阅读次数：
187
将之前自己调研的kafka相关的资料分享给你大家，只是简单研究，作为技术选型的前期准备使用，不设计到很深入使用。...
分类：
其他好文 时间：
2014-11-05 10:55:41
阅读次数：
271
生产者-消费者问题（Producer-consumer problem），也称作有限缓冲问题（Bounded-buffer problem），是多线程领域的一个经典问题，可以描述为：两个或者更多个线程共享同一个缓冲区，其中一个或多个作为“生产者”会不断地向缓冲区中添加数据，另外的一个或者多个作为.....
分类：
编程语言 时间：
2014-11-03 12:44:30
阅读次数：
147
Apache Samza is a distributed stream processing framework. It uses Apache
Kafka for messaging, and Apache
Hadoop YARN to provide fault tolerance, processor isolation, security, and resource manage...
分类：
其他好文 时间：
2014-11-02 16:36:31
阅读次数：
255
文章源地址：https://github.com/edenhill/librdkafka/blob/master/INTRODUCTION.md
librdkafka 是Apache Kafka 客户端C语言的高性能实现， 能够提供可靠并且表现优秀的客户端，同时它也提供比较初级的C++界面。
Contents
本文主要包含以下章节：
一、性能...
分类：
编程语言 时间：
2014-10-31 11:57:45
阅读次数：
1263
后面为了引入Dubbo RPC框架（用spring配置），先把spring 引入jstorm中，请先了解一下jsorm多线程方面的文档：http://storm.apache.org/documentation/Understanding-the-parallelism-of-a-Storm-topology.html ．
A worker process exe...
分类：
编程语言 时间：
2014-10-30 22:43:42
阅读次数：
517
本地模式启动的．
package com.doctor.kafkajstrom;
import java.util.HashMap;
import java.util.Map;
import java.util.concurrent.TimeUnit;
import org.apache.commons.lang.RandomStringUtils;
import org.slf4j.Log...
分类：
编程语言 时间：
2014-10-30 22:37:43
阅读次数：
465
kafka文件系统设计那些事，从架构层面，实现机制角度阐述kafka文件系统高效性能。
一个大文件分成多个小文件段。
多个小文件段，容易定时清除或删除已经消费完文件，减少磁盘占用。
index全部映射到memory直接操作，避免segment file被交换到磁盘增加IO操作次数。
根据索引信息，可以确定发送response到consumer的最大大小。
索引文件元数据存储用的是相对前一个segment file的offset存储，节省空间大小。...
分类：
其他好文 时间：
2014-10-28 20:08:50
阅读次数：
368
public class ShengChanZheXiaoFeiZhe {
public static void main(String[] args) {
Container c = new Container();
BulletProducer producer = new BulletProducer(c);
BulletConcumer consumer = new BulletConcumer(c);
Thread t1 = new Thread(producer);
Th...
分类：
编程语言 时间：
2014-10-27 21:21:29
阅读次数：
251
