在logstash的输出中，每行开头都会加上timestamp因此，对于mysqlslowlog和javalog
多行输出格式，就显得画蛇添足了；不过，logstash提供了multiline功能
filter{
#如果是以#Time开头的就开始新一行
if[type]==‘slowlog‘{
multiline{
what=>next
pattern=>"^#Time:"
#如..
分类：
数据库 时间：
2016-12-22 20:41:34
阅读次数：
213
elastic使用lucene建立索引的步骤中，需要文件系统缓存需要同步到磁盘上。（多个segment->commit文件来维护） 当建立历史数据时，并不要求太高的实时性时，可以减小（默认1s）自动刷新时间。 curl -XPOST http://127.0.0.1:9300/logstash-20 ...
分类：
其他好文 时间：
2016-12-20 11:49:42
阅读次数：
162
新版插件:说明:从5.0开始,插件都独立拆分成gem包,每个插件可独立更新,无需等待Logstash自身整体更新,具体管理命令可参考./bin/logstash-plugin--help帮助信息../bin/logstash-pluginlist其实所有的插件就位于本地./vendor/bundle/jruby/1.9/gems/目录下扩展:如果GitHub上面(htt..
分类：
其他好文 时间：
2016-12-19 22:20:18
阅读次数：
284
新版插件:说明:从5.0开始,插件都独立拆分成gem包,每个插件可独立更新,无需等待Logstash自身整体更新,具体管理命令可参考./bin/logstash-plugin--help帮助信息../bin/logstash-pluginlist其实所有的插件就位于本地./vendor/bundle/jruby/1.9/gems/目录下扩展:如果GitHub上面(htt..
分类：
其他好文 时间：
2016-12-19 22:19:52
阅读次数：
393
最近Hue+Solr 方案原型验证有了一些进展。正好也收到了Google的大数据专家Sam的来件询问进展，我答复如下： Sam, 你好。 已经把Kafka＋flume＋solr的实时索引搭建起来了， 现在用实时事件统计的场景在测试数据(当前方案为kafka storm mysql)，solr现在数据... ...
分类：
其他好文 时间：
2016-12-19 21:36:08
阅读次数：
383
我们通过Logstash收集的Nginx Access log中已经包含了客户端IP的数据（remote_addr），但是只有这个IP还不够，要在Kibana的显示请求来源的地理位置还需要借助GeoIP数据库来实现。GeoIP 是最常见的免费 IP 地址归类查询库，同时也有收费版可以采购。GeoIP ...
分类：
其他好文 时间：
2016-12-17 13:47:31
阅读次数：
356
在石墨，我们之前使用ELK搭了一套监控图表，由于一些原因，比如：1、Kibana经常查日志查挂2、Kibana的图表不太美观、不够灵活所以调研了一下，选择用StatsD+Grafana+InfluxDB搭建一套新的监控系统。工具简介StatsD是一个使用Node.js开发的简单的网络守护进程，通过UDP或者TCP方..
分类：
数据库 时间：
2016-12-16 20:03:37
阅读次数：
590
一、简介1、组成ELK由Elasticsearch、Logstash和Kibana三部分组件组成；Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash是一个完全开源的工具，它可以对你的日..
分类：
其他好文 时间：
2016-12-15 15:03:55
阅读次数：
481
Monolog 发送你的日志到文件、到sockets、到邮箱、到数据库或（和）者其他网路存储服务（云）。Monolog可以做到同时保存到一个或多个存储介质(后面的栈冒泡处理)。 安装 $ composer require monolog/monolog 基本用法 php use Monolog\Lo ...
分类：
Web程序 时间：
2016-12-15 11:54:27
阅读次数：
651
Kibana+X-Pack介绍使用（全） Kibana是一个为 ElasticSearch 提供的数据分析的 Web 接口。可使用它对日志进行高效的搜索、可视化、分析等各种操作。Kibana目前最新的版本5.0.2，回顾一下Kibana 3和Kibana 4的界面。 下面的图展示的是Kibana 3 ...
分类：
其他好文 时间：
2016-12-15 00:22:42
阅读次数：
2216
