e：elasticsearchl：logstashk：kibanalogstash快速入门：http://www.2cto.com/os/201411/352015.htmlelk中文指南 ：http://kibana.logstash.es/content/logstash/index.html
分类：
其他好文 时间：
2015-07-15 12:53:15
阅读次数：
156
废话不多说，直接进入主题。总体架构是客户端统一用rsyslog日志收集，--->fluentd服务器上--->mongondb集群--->Elasticsearch+Kibana服务器上展示。rsyslog安装和配置1、更改history格式在/etc/profile.d目录下创建history.sh脚本，内容如下HISTTIMEFORMAT=‘%F%T‘HIST..
分类：
其他好文 时间：
2015-07-14 06:21:38
阅读次数：
270
说明:本文只是对相应的功能进行简介，并不会具体介绍部署方案，因为所有的包都是使用的tar.gz格式解压直接可用的，如果有什么不懂的地方或是本人有说错的地方，欢迎大家提问和质疑，也欢迎大家一起交流学习。环境：OS:ubuntu14.0Kernel:3.13.0-24-genericlogstash:1.5.1elastic..
分类：
其他好文 时间：
2015-07-08 14:52:19
阅读次数：
187
1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。3.agent里面包含3个核心组件：source、channel、sink。3.1 source组件是专用于收集日志的，可以处理各种类...
分类：
Web程序 时间：
2015-07-02 06:30:00
阅读次数：
887
介绍
这套系统，logstash负责收集处理日志文件内容存储到elasticsearch搜索引擎数据库中。kibana负责查询elasticsearch并在web中展示。
logstash收集进程收获日志文件内容后，先输出到redis中缓存，另一logstash处理进程从redis中读出并转存到elasticsearch中，以解决读快写慢速度不一致问题。...
分类：
其他好文 时间：
2015-06-30 12:55:52
阅读次数：
204
主要包括了两大主要流程：日志收集并实时处理流程、调用读取实时计算结果流程，我们使用基于Dubbo框架开发的服务来提供实时计算结果读取聊天人数的功能。上图中，实际上业务接口服务器集群也可以基于Dubbo框架构建服务，就看我们想要构建什么样的系统来满足我们的需要。
如果不使用注册中心，服务消费方也能够直接调用服务提供方发布的服务，这样需要服务提供方将服务地址暴露给服务消费方，而且也无法使用监控中心的功能，这种方式成为直连。
如果我们使用注册中心，服务提供方将服务发布到注册中心，而服务消费方可以通...
分类：
其他好文 时间：
2015-06-26 22:29:40
阅读次数：
1903
一. 监控系统选型1. nagio, 2. zabbix,3. nagios + cacti,4. 小米刚开源了自己的监控系统 open-falcon 可以看看二. 纯日志采集与分析使用ELK, 三件套的使用。
分类：
其他好文 时间：
2015-06-26 21:01:54
阅读次数：
108
因公司数据安全和分析的需要，故调研了一下 GlusterFS + lagstash + elasticsearch + kibana 3 + redis 整合在一起的日志管理应用：安装，配置过程，使用情况等续一，glusterfs分布式文件系统部署：说明：公司想做网站业务日志及系统日志统一收集和.....
分类：
其他好文 时间：
2015-06-25 00:08:21
阅读次数：
384
最近搞了一个logstash kafka elasticsearch kibana 整合部署的日志收集系统。部署参考lagstash + elasticsearch + kibana 3 + kafka 日志管理系统部署 02 上线过程中有一些环节，觉得还是值的大家注意的比如：1，应用运维和研发人员...
分类：
其他好文 时间：
2015-06-19 22:58:06
阅读次数：
224
上一篇说了利用ExecSource从本地日志文件异步的收集日志，这篇说说采用RPC方式同步收集日志的方式。笔者对Thrift比较熟悉，所以用ThriftSource来介绍RPC的日志收集方式。
整体的结构图如下：
1. ThriftSource包含了一个Thrift Server，以及一个Thrift Service服务的实现。这里的Thrift Service是由ThriftSourcePr...
分类：
Web程序 时间：
2015-06-17 21:52:31
阅读次数：
3867
