Don't think it is supported yet. Take a look at thisJIRA trackingDelete Topic. For delete manuallyShutdown the clusterClean kafka log dir (specified b...
分类:
其他好文 时间:
2014-07-11 22:50:35
阅读次数:
328
本节主要从整体角度介绍Kafka的设计思想,其中的每个理念都可以深入研究,以后我可能会发专题文章做深入介绍,在这里只做较概括的描述以便大家更好的理解Kafka的独特之处。本节主要涉及到如下主要内容:
Kafka设计基本思想Kafka中的数据压缩Kafka消息转运过程中的可靠性Kafka集群镜像复制Kafka 备份机制
一、kafka由来
由于对JMS日常管理的过度开支和...
分类:
其他好文 时间:
2014-07-11 00:59:04
阅读次数:
246
上篇文章中我们搭建了kafka的服务器,并可以使用Kafka的命令行工具创建topci,发送和接收消息。下面我们来搭建kafka的开发环境。
大家开发环境需要引入kafka的jar包,一种方式是将Kafka安装包中lib下的jar包加入到项目的classpath中,这种比较简单了。不过我们使用另一种更加流行的方式,使用maven管理jar包依赖。
创建好maven项目后,在...
分类:
其他好文 时间:
2014-07-11 00:12:15
阅读次数:
313
Kakfa在提高效率方面做了很大努力。Kakfa的一个主要使用场景是处理网站活动日志,吞吐量是非常大的,每个页面都会产生好多次写操作。读方面,假设每个消息只被消费一次,读的量的也是很大的,Kafka也尽量使读的操作更轻量化。
我们之前讨论了磁盘的性能问题,线性读写的情况下影响磁盘性能问题大约有两个方面:太多的琐碎的I/O操作和太多的字节拷贝。...
分类:
其他好文 时间:
2014-07-10 22:24:30
阅读次数:
260
4.2 Persistence(持久化)
不要畏惧文件系统!
Kafka大量依赖文件系统去存储和缓存消息。对于硬盘有个传统的观念是硬盘总是很慢,这使很多人怀疑基于文件系统的架构能否提供优异的性能。实际上硬盘的快慢完全取决于使用它的方式。设计良好的硬盘架构可以和内存一样快。
在6块7200转的SATA RAID-5磁盘阵列的线性写速度差不多是600MB/s,但是随即写的速度却是...
分类:
其他好文 时间:
2014-07-10 21:59:28
阅读次数:
260
本文为官方文档的翻译加个人理解。作者翻译时,elasticsearch(下面简称es)的版本为1.2.1。1、系统级别及设置方面1.1 es启动时,默认是作为一个前台程序启动。如果你想让es作为一个后台守护进程,需要在启动命令后面加-d参数。1.2 命令行参数,默认不需要再加-Des.前缀。新的格式...
分类:
其他好文 时间:
2014-07-10 16:18:09
阅读次数:
231
一. 環境安裝ElasticSearch(以下簡稱ES)安裝已經算相對簡單了, 但要使用需要配置的插件, 對剛入門的新手還是有點麻煩, 所幸medcl大神提供一個配置好的ES-rtf版本, 新手們在參數配置上浪費無謂的時間。Github上的elasticsearch-rtf , 裡面都有詳盡的使用說...
分类:
其他好文 时间:
2014-07-09 17:13:37
阅读次数:
561
This article introduces the networking part of Elasticsearch. We look at the network topology of an Elasticsearch cluster, which connections are estab...
分类:
Web程序 时间:
2014-07-06 20:08:14
阅读次数:
393
背景是设计一个实时数据接入的模块,负责接收客户端的实时数据写入(如日志流,点击流),数据支持直接下沉到HBase上(后续提供HBase上的查询),或先持久化到Kafka里,方便后续进行一些计算和处理,再下沉到文件系统或做别的输出。
在设计中,对于客户端和服务端有这么些目标。
客户端需要支持多语言(Java,C++),做得尽量轻量级,只要连上服务端的ip:port,以RPC的形式调用简单的write就可以把数据写出去。客户端不承担任何逻辑的处理,服务端的负载均衡对客户端是透明的。
服务端想要做的是一个去中心...
分类:
其他好文 时间:
2014-07-04 08:59:19
阅读次数:
552
# Kfaka的体系结构
# 学习前言
Kafka的整个学习过程就是自己看官网的文档,出错了找各种错,各种百度Google什么的,还好最后都解决了,不然就坑爹了,伤不起啊!英语真心也是硬伤,还是好好学英语,多记记单词吧!看官方文档还是有点压力的,不过压力就是动力,人生就该如此,这几天有点小忙,今天终于把这个整理完了,以此来帮助那些想学这些新技术的朋友们,虽然整理的时候有点累,但是还是值得的。对云计算有兴趣的朋友可以加上面说的214293307的群哦,一起学习,共同进步 ...
# Kafka介绍
# 介...
分类:
编程语言 时间:
2014-07-03 18:41:34
阅读次数:
392