ELK是对Elasticsearch、Logstash、Kibana整合平台的简称。在日常的运维工作中，要实时监控服务器的业务、系统和硬件状态，除了使用监控之外，还需要搜集大量的日志来进行分析。但是在面对海量的服务器和集群时，通过单台登录查询的方式显然是不可能的，对于不同时间段和集群日..
分类：
其他好文 时间：
2016-12-30 14:30:55
阅读次数：
379
公司项目需要，要将mysql数据库中的数据快速检索并分词。 开始使用的是sphinx，这个搜索引擎安装，配置，使用，都比较简单，无需安装其他插件，相对来说功能比较单一。 对于新增记录，我的处理方法是添加增量索引，定期合并到主索引，这导致索引体积越来越大。由于sphinx在运行时是将这些索引放在内存里 ...
分类：
其他好文 时间：
2016-12-29 14:26:23
阅读次数：
396
ELK是一个日志分析和统计框架，是Elasticsearch、Logstash和Kibana三个核心开源组件的首字母缩写，实践中还需要filebeat、redis配合完成日志的搜集。 组件一览 名称 版本 说明 Elasticsearch 2.3 分布式搜索引擎，存储和搜索日志 Logstash 2 ...
分类：
其他好文 时间：
2016-12-23 18:36:09
阅读次数：
164
ELK+FileBeat+Log4Net搭建日志系统 ElasticSearch配置 默认不需要配置，监听9200端口。直接运行即可 Kibana配置 elasticsearch.url: "http://localhost:9200"默认连接es地址，如果本机测试无需修改。正式环境中连接到对应服务 ...
分类：
Web程序 时间：
2016-12-23 09:39:07
阅读次数：
458
最近Hue+Solr 方案原型验证有了一些进展。正好也收到了Google的大数据专家Sam的来件询问进展，我答复如下： Sam, 你好。 已经把Kafka＋flume＋solr的实时索引搭建起来了， 现在用实时事件统计的场景在测试数据(当前方案为kafka storm mysql)，solr现在数据... ...
分类：
其他好文 时间：
2016-12-19 21:36:08
阅读次数：
383
我们通过Logstash收集的Nginx Access log中已经包含了客户端IP的数据（remote_addr），但是只有这个IP还不够，要在Kibana的显示请求来源的地理位置还需要借助GeoIP数据库来实现。GeoIP 是最常见的免费 IP 地址归类查询库，同时也有收费版可以采购。GeoIP ...
分类：
其他好文 时间：
2016-12-17 13:47:31
阅读次数：
356
在石墨，我们之前使用ELK搭了一套监控图表，由于一些原因，比如：1、Kibana经常查日志查挂2、Kibana的图表不太美观、不够灵活所以调研了一下，选择用StatsD+Grafana+InfluxDB搭建一套新的监控系统。工具简介StatsD是一个使用Node.js开发的简单的网络守护进程，通过UDP或者TCP方..
分类：
数据库 时间：
2016-12-16 20:03:37
阅读次数：
590
一、简介1、组成ELK由Elasticsearch、Logstash和Kibana三部分组件组成；Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash是一个完全开源的工具，它可以对你的日..
分类：
其他好文 时间：
2016-12-15 15:03:55
阅读次数：
481
Kibana+X-Pack介绍使用（全） Kibana是一个为 ElasticSearch 提供的数据分析的 Web 接口。可使用它对日志进行高效的搜索、可视化、分析等各种操作。Kibana目前最新的版本5.0.2，回顾一下Kibana 3和Kibana 4的界面。 下面的图展示的是Kibana 3 ...
分类：
其他好文 时间：
2016-12-15 00:22:42
阅读次数：
2216
前一段时间开始搞优化后端API性能的事，发现根本无从下手，Kibana中虽然有记一些简陋且零散的日志，但也瞅不出啥眉目来。总结了下是日志太少了，所以决定先搞搞日志的事，目标是记录API请求相关的日志，找出哪个接口慢，最好具体到哪个函数慢。记日志必然要涉及日志打点，怎么..
分类：
其他好文 时间：
2016-12-14 22:24:10
阅读次数：
313
