类型设置： logstash中的redis插件，指定了三种方式来读取redis队列中的信息。 list=>BLPOP (相当于队列) channel=>SUBSCRIBE (相当于发布订阅的某个特定的频道) pattern_channel=>PSUBSCRIBE (相当于发布订阅某组频道) 其中li ...
分类：
其他好文 时间：
2016-12-09 16:27:20
阅读次数：
265
topbeat定期收集系统信息如每个进程信息、负载、内存、磁盘等等，然后将数据发送到elasticsearch进行索引，最后通过kibana进行展示。 下面是具体的安装及配置步骤： 1、安装topbeat 2、配置topbeat 3、配置elasticsearch模板 4、启动topbeat 最后看 ...
分类：
其他好文 时间：
2016-12-09 16:14:06
阅读次数：
214
在外理日志时，除了访问日志外，还要处理运行时日志，该日志大都用程序写的，比如log4j。运行时日志跟访问日志最大的不同是，运行时日志是多行，也就是说，连续的多行才能表达一个意思。 在filter中,加入以下代码: filter { multiline { } } 如果能按多行处理，那么把他们拆分到字 ...
分类：
其他好文 时间：
2016-12-09 15:47:17
阅读次数：
230
在搭建Elasticsearch数据库的过程中，首先使用了其推荐的Logstash工具导入数据，但是用起来非常不顺手，所以想用Perl擅长的正则表达式对数据进行过滤分类，然后导入Elasticsearch，于是搜索CPAN找到了Search::Elasticsearch模块。该模块在CPAN上的文档写的比较简洁，于是将使用..
分类：
其他好文 时间：
2016-12-09 01:26:18
阅读次数：
504
查看一下agent端的shipper的配置： 先简测一下刚配好的shipper： 可以看到没有报错，接下来启动logstash并指定刚才配置好的配置文件： 再看看所监控的log日志的内容： 发现 这个shipper启动的时候会从头到尾，把配置文件全读一边（这种效里也是从配置文件中配置好的） 再看一下 ...
分类：
Web程序 时间：
2016-12-08 20:50:44
阅读次数：
335
由于公司的elasticsearch集群只是用了两台服务器。只要一台服务器数据丢失elasticsearch将丢失一半数据。所以数据的备份恢复就相当重要。elasticsearch快照和恢复模块可以创建单个索引或者整个集群的快照到远程的仓库实现数据的备份及恢复。下面以备份恢复.kibana索引为例数据..
分类：
其他好文 时间：
2016-12-08 00:09:51
阅读次数：
675
技术栈线:1.支持灵活的处理方式,Elasticsearch是实时全文索引,无需像其它的产品样预先编程才能实现2.支持简单的配置方式,Elasticsearch是全部采用JSON接口,Logstash是RubyDSL设计,都是通用配置语法3.支持高效的数据检索,虽然每次查询都是实时计算,但基本上可以实现全天数据查询..
分类：
其他好文 时间：
2016-12-07 23:47:58
阅读次数：
432
一、简介1、核心组成ELK由Elasticsearch、Logstash和Kibana三部分组件组成；Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash是一个完全开源的工具，它可以对你..
分类：
其他好文 时间：
2016-12-06 14:59:54
阅读次数：
266
环境：这里集群机器为2分别为10.100.19.205和206配置hosts10.100.19.206master10.100.19.210slave1这里在205机器上操作1下载es2.42解压到目录下3配置elasticsearch.yml，配置如下cluster.name:fcar-cluster集群名称node.name:node-2当前节点名称host:10.100.19.205network.host..
分类：
其他好文 时间：
2016-12-06 00:06:41
阅读次数：
510
一、ELK简介1、组成ELK是Elasticsearch、Logstash、Kibana三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合使用，而且又都先后归于 Elastic.co 公司名下，故有此简称。Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发 ...
分类：
其他好文 时间：
2016-12-05 19:23:01
阅读次数：
229
