kafka是一个分布式的，高吞吐量的、信息分片存储，消息同步复制的开源消息服务，它提供了消息系统的功能，但是采用了独特的设计。 kafka最初由LinkedIn设计开发，使用Scala语言编写，用作LinkedIn网站的活动流数据和运营数据处理工具，这其中活动流数据是指页面访问量、被查看内容方面的信 ...
分类：
其他好文 时间：
2016-05-10 18:09:26
阅读次数：
184
基于Flume+LOG4J+Kafka的日志采集架构方案 本文将会介绍如何使用 Flume、log4j、Kafka进行规范的日志采集。 Flume 基本概念 Flume是一个完善、强大的日志采集工具，关于它的配置，在网上有很多现成的例子和资料，这里仅做简单说明不再详细赘述。Flume包含Source ...
分类：
Web程序 时间：
2016-05-09 18:27:39
阅读次数：
215
使用 Flume、log4j、Kafka进行规范的日志采集。 Flume 基本概念 Flume是一个完善、强大的日志采集工具，关于它的配置，在网上有很多现成的例子和资料，这里仅做简单说明不再详细赘述。Flume包含Source、Channel、Sink三个最基本的概念： Source ..
bbs.chinaacc.com/forum-2-26/topic-5640278.html
bbs.c...
分类：
Web程序 时间：
2016-05-09 07:05:38
阅读次数：
200
Spark学习八：spark streaming与flume和kafka集成标签（空格分隔）： SparkSpark学习八spark streaming与flume和kafka集成
一Kafka
二flume和kafka的集成
三kafka和spark streaming的集成方式一kafka推送
四kafka和spark streaming的集成方式一spark streaam主动获取
五spar...
分类：
Web程序 时间：
2016-05-09 07:03:05
阅读次数：
292
本文将会介绍如何使用 Flume、log4j、Kafka进行规范的日志采集。 Flume 基本概念 Flume是一个完善、强大的日志采集工具，关于它的配置，在网上有很多现成的例子和资料，这里仅做简单说明不再详细赘述。Flume包含Source、Channel、Sink三个最基本的概念： Source ...
分类：
Web程序 时间：
2016-05-08 22:22:06
阅读次数：
394
最近一段时间，使用Kafka比较多。从初期的FE项目中单纯调研Kafka
Producer怎么使用到后面的在弦上项目使用Kafka
Consumer期间，对Kafka有了一个大致的了解。最近由于比较空闲，所以在寻找一些关于Kafka的资料来看。总的来说，Kafka就是一个新型的分布式消息队列开源工具，现成的PDF、书籍是比较少的，最好的资料还是Apache
上的Kafka，Apache Ka...
分类：
其他好文 时间：
2016-05-07 09:14:02
阅读次数：
223
kafka指定topic每分钟接收到的数据总量监控
脚本:
#!/bin/bash
#mysql-host
mysql_host='192.168.60.161'
#mysql-port
mysql_port='3306'
#mysql-username
username='root'
#mysql-password
#注意:此处如果mysql密码不为空，需要去下面切换一下mysql的执行代码，注...
分类：
其他好文 时间：
2016-05-07 07:08:40
阅读次数：
2122
首先说明，各工具的安装就不在这说明了，网上很多，可自行查看。
我们在这里用实例说明各个工具的配置以及最后展示的效果。
假如我们有一批tracklog日志需要用ELK实时展示出来：
一、收集日志，我们使用flume工具
在日志服务器端布置agent发往收集collect，配置如下：
agent（可多个）
agent.sources = s1
agent.channels...
分类：
Web程序 时间：
2016-05-06 16:24:34
阅读次数：
1001
在本月初的写作计划中，我本来只打算粗略介绍一下Kafka（同样是因为进度原因）。但是，最近有很多朋友要求我详细讲讲Kafka的设计和使用，另外两年前我在研究Kafka准备将其应用到生产环境时，由于没有仔细理解Kafka的设计结构所导致的问题最后也还没有进行交代。所以我决定即使耽误一些时间，也要将Kafka的原理和使用场景给读者详细讨论讨论。这样，也算是对两年来自己学习和使用Kafka的一个总结。...
分类：
其他好文 时间：
2016-05-06 16:20:06
阅读次数：
472
