分布式消息系统：KafkaKafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要...
分类：
其他好文 时间：
2015-04-03 12:57:02
阅读次数：
199
kernel: TCP: time wait bucket table overflow的问题最近用elk收集系统日志，发现某些机器有很多内核报错
网上大多数的说法是要把net.ipv4.tcp_max_tw_buckets 这个内核参数调大。但是没说原理我想了一下，其实tw_buckets的含义是time wait bucket table 这个表满了。
为什么会满？netstat -an|m...
分类：
其他好文 时间：
2015-04-01 17:42:01
阅读次数：
138
初一看common包的代码吓了一跳，这么多scala文件！后面仔细一看大部分都是Kafka自定义的Exception类，简直可以改称为kafka.exceptions包了。由于那些异常类的名称通常都定义得很直观，笔者就不在一一赘述了。现在我们说说common包中其他的代码。一、AppInfo.sca...
分类：
其他好文 时间：
2015-04-01 13:14:20
阅读次数：
119
Kafka utils包最后一篇~~~十五、ShutdownableThread.scala可关闭的线程抽象类！ 继承自Thread同时还接收一个boolean变量isInterruptible表明是否允许中断。既然是可关闭的，因此一定不是守护线程，而是一个用户线程(不会阻塞JVM关闭)。提供的方法...
分类：
其他好文 时间：
2015-03-31 19:25:41
阅读次数：
222
最近开研究kafka，下面分享一下kafka的设计原理。kafka的设计初衷是希望作为一个统一的信息收集平台,能够实时的收集反馈信息,并需要能够支撑较大的数据量,且具备良好的容错能力.1、持久性kafka使用文件存储消息,这就直接决定kafka在性能上严重依赖文件系统的本身特性.且无论任..
分类：
其他好文 时间：
2015-03-31 13:03:36
阅读次数：
224
我们继续研究kafka.utils包八、KafkaScheduler.scala首先该文件定义了一个trait:Scheduler——它就是运行任务的一个调度器。任务调度的方式支持重复执行的后台任务或是一次性的延时任务。这个trait定义了三个抽象方法:1. startup:启动调度器，用于接收调度...
分类：
其他好文 时间：
2015-03-31 12:14:44
阅读次数：
259
深入理解kafka设计原理 最近开研究kafka，下面分享一下kafka的设计原理。kafka的设计初衷是希望作为一个统一的信息收集平台,能够实时的收集反馈信息,并需要能够支撑较大的数据量,且具备良好的容错能力. ??? 1、...
分类：
其他好文 时间：
2015-03-31 11:01:33
阅读次数：
467
最近开研究kafka，下面分享一下kafka的设计原理。kafka的设计初衷是希望作为一个统一的信息收集平台,能够实时的收集反馈信息,并需要能够支撑较大的数据量,且具备良好的容错能力.
1、持久性
kafka使用文件存储消息,这就直接决定kafka在性能上严重依赖文件系统的本身特性.且无论任何OS下,对文件系统本身的优化几乎没有可能.文件缓存/直接内存映射等是常用的手段.因为k...
分类：
其他好文 时间：
2015-03-31 10:53:37
阅读次数：
133
Kafka.utils，顾名思义，就是一个工具套件包，里面的类封装了很多常见的功能实现——说到这里，笔者有一个感触：当初为了阅读Kafka源代码而学习了Scala语言，本以为Kafka的实现会用到很多函数编程(Functional Programming, FP)，结果目前来看，大部分还是很朴素地以...
分类：
其他好文 时间：
2015-03-30 17:48:59
阅读次数：
191
