码迷,mamicode.com
首页 >  
搜索关键字:elasticsearch logstash kibana kafka    ( 9959个结果
kafka delete topic
Don't think it is supported yet. Take a look at thisJIRA trackingDelete Topic. For delete manuallyShutdown the clusterClean kafka log dir (specified b...
分类:其他好文   时间:2014-07-11 22:50:35    阅读次数:328
kafka入门二:Kafka的设计思想、理念
本节主要从整体角度介绍Kafka的设计思想,其中的每个理念都可以深入研究,以后我可能会发专题文章做深入介绍,在这里只做较概括的描述以便大家更好的理解Kafka的独特之处。本节主要涉及到如下主要内容: Kafka设计基本思想Kafka中的数据压缩Kafka消息转运过程中的可靠性Kafka集群镜像复制Kafka 备份机制 一、kafka由来      由于对JMS日常管理的过度开支和...
分类:其他好文   时间:2014-07-11 00:59:04    阅读次数:246
漫游kafka实战篇之搭建Kafka开发环境
上篇文章中我们搭建了kafka的服务器,并可以使用Kafka的命令行工具创建topci,发送和接收消息。下面我们来搭建kafka的开发环境。 大家开发环境需要引入kafka的jar包,一种方式是将Kafka安装包中lib下的jar包加入到项目的classpath中,这种比较简单了。不过我们使用另一种更加流行的方式,使用maven管理jar包依赖。 创建好maven项目后,在...
分类:其他好文   时间:2014-07-11 00:12:15    阅读次数:313
漫游Kafka设计篇之效率优化
Kakfa在提高效率方面做了很大努力。Kakfa的一个主要使用场景是处理网站活动日志,吞吐量是非常大的,每个页面都会产生好多次写操作。读方面,假设每个消息只被消费一次,读的量的也是很大的,Kafka也尽量使读的操作更轻量化。 我们之前讨论了磁盘的性能问题,线性读写的情况下影响磁盘性能问题大约有两个方面:太多的琐碎的I/O操作和太多的字节拷贝。...
分类:其他好文   时间:2014-07-10 22:24:30    阅读次数:260
漫游Kafka设计篇之数据持久化
4.2 Persistence(持久化) 不要畏惧文件系统! Kafka大量依赖文件系统去存储和缓存消息。对于硬盘有个传统的观念是硬盘总是很慢,这使很多人怀疑基于文件系统的架构能否提供优异的性能。实际上硬盘的快慢完全取决于使用它的方式。设计良好的硬盘架构可以和内存一样快。 在6块7200转的SATA RAID-5磁盘阵列的线性写速度差不多是600MB/s,但是随即写的速度却是...
分类:其他好文   时间:2014-07-10 21:59:28    阅读次数:260
Elasticsearch从0.90到1.2的不兼容变化-系统和设置
本文为官方文档的翻译加个人理解。作者翻译时,elasticsearch(下面简称es)的版本为1.2.1。1、系统级别及设置方面1.1 es启动时,默认是作为一个前台程序启动。如果你想让es作为一个后台守护进程,需要在启动命令后面加-d参数。1.2 命令行参数,默认不需要再加-Des.前缀。新的格式...
分类:其他好文   时间:2014-07-10 16:18:09    阅读次数:231
[ElasticSearch] 如何使用中文分詞ik與繁簡轉換stconvert插件
一. 環境安裝ElasticSearch(以下簡稱ES)安裝已經算相對簡單了, 但要使用需要配置的插件, 對剛入門的新手還是有點麻煩, 所幸medcl大神提供一個配置好的ES-rtf版本, 新手們在參數配置上浪費無謂的時間。Github上的elasticsearch-rtf , 裡面都有詳盡的使用說...
分类:其他好文   时间:2014-07-09 17:13:37    阅读次数:561
Elasticsearch Internals: Networking Introduction An Overview of the Network Topology
This article introduces the networking part of Elasticsearch. We look at the network topology of an Elasticsearch cluster, which connections are estab...
分类:Web程序   时间:2014-07-06 20:08:14    阅读次数:393
一个轻客户端,多语言支持,去中心化,自动负载,可扩展的实时数据写服务的实现方案讨论
背景是设计一个实时数据接入的模块,负责接收客户端的实时数据写入(如日志流,点击流),数据支持直接下沉到HBase上(后续提供HBase上的查询),或先持久化到Kafka里,方便后续进行一些计算和处理,再下沉到文件系统或做别的输出。 在设计中,对于客户端和服务端有这么些目标。 客户端需要支持多语言(Java,C++),做得尽量轻量级,只要连上服务端的ip:port,以RPC的形式调用简单的write就可以把数据写出去。客户端不承担任何逻辑的处理,服务端的负载均衡对客户端是透明的。 服务端想要做的是一个去中心...
分类:其他好文   时间:2014-07-04 08:59:19    阅读次数:552
_00017 Kafka的体系结构介绍以及Kafka入门案例(初级案例+Java API的使用)
# Kfaka的体系结构 # 学习前言 Kafka的整个学习过程就是自己看官网的文档,出错了找各种错,各种百度Google什么的,还好最后都解决了,不然就坑爹了,伤不起啊!英语真心也是硬伤,还是好好学英语,多记记单词吧!看官方文档还是有点压力的,不过压力就是动力,人生就该如此,这几天有点小忙,今天终于把这个整理完了,以此来帮助那些想学这些新技术的朋友们,虽然整理的时候有点累,但是还是值得的。对云计算有兴趣的朋友可以加上面说的214293307的群哦,一起学习,共同进步 ... # Kafka介绍 # 介...
分类:编程语言   时间:2014-07-03 18:41:34    阅读次数:392
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!