elk日志分析与挖掘深入分析 1 为什么要做日志采集？ 2 挖财自己的日志采集和分析体系应该怎么建？ 2.1 日志的采集 2.2 日志的汇总与过滤 2.3 日志的存储 2.4 日志的分析与查询 3 需要解决哪些技术问题？ 3.1 logstash与kafka的对接 3.2 kafka到elastic ...
分类：
其他好文 时间：
2016-11-30 14:26:09
阅读次数：
397
大纲： 一、简介 二、Logstash 三、Redis 四、Elasticsearch 五、Kinaba 一、简介 1、核心组成 ELK由Elasticsearch、Logstash和Kibana三部分组件组成； Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现 ...
分类：
其他好文 时间：
2016-11-30 13:39:06
阅读次数：
4268
ELK日志分析之安装 1.介绍： NRT elasticsearch是一个近似实时的搜索平台，从索引文档到可搜索有些延迟，通常为1秒。 集群 集群就是一个或多个节点存储数据，其中一个节点为主节点，这个主节点是可以通过选举产生的，并提供跨节点的联合索引和搜索的功能。集群有一个唯一性标示的名字，默认是e ...
分类：
其他好文 时间：
2016-11-28 23:29:53
阅读次数：
290
elasticsearch可以通过rerouteapi来手动进行索引分片的分配。不过要想完全手动，必须先把cluster.routing.allocation.disable_allocation参数设置为true，禁止es进行自动索引分片分配，否则你从一节点把分片移到另外一个节点，那么另外一个节点的一个分片又会移到那个节点。一..
分类：
其他好文 时间：
2016-11-25 14:28:27
阅读次数：
230
ELK其实并不是一款软件，而是一整套解决方案，是三个开源软件Elasticsearch,Logstash和Kibana。 Elasticsearch是一个实时的分布式搜索和分析引擎，它可以用于全文搜索以及分析。它是一个建立在全文搜索引擎ApacheLucene基础上的搜索引擎，便用java语言编写。 ...
分类：
其他好文 时间：
2016-11-24 06:51:05
阅读次数：
295
背景 我们的storm实时流计算项目已经上线几个月了，由于各种原因迟迟没有进行监控，每次出现问题都要登录好几台机器，然后使用sed，shell，awk，vi等各种命令来查询原因，效率非常低下，而且有些统计是没法做的，所以很有必要对storm本身相关的日志以及我们运行在storm上面的任务的日志做一个 ...
分类：
其他好文 时间：
2016-11-22 20:44:22
阅读次数：
240
本次安装是使用的是ELK5.0版本，即ElasticSearch5.0,Logstash5.0,Kibana5.0.1，确认JDK版本JDK的安装这里我们就不说了，直接确认我们的版本，这里我们用的是JDK1.8alvin@iZ28a8qlufiZ:~$java-versionjavaversion"1.8.0_101"Java(TM)SERuntimeEnvironment(build1.8.0_101-b13)Ja..
分类：
其他好文 时间：
2016-11-21 23:44:46
阅读次数：
564
最近在使用log4net的时候有一个简单的需求，就是自定义个格式化输出符。这个输出符是专门用来帮我记录下业务ID、业务类型的。比如，“businessID:328593,businessType: orderID”。类似这样的输出日志。这些日志会被elk agent提取送到日志中心ES中，用来进行辅... ...
分类：
Web程序 时间：
2016-11-20 13:37:45
阅读次数：
204
初探ELK-使用geoip插件来制作可视化的地图2016/11/17一、前提
1、本次操作是在前述文章的基础上添砖加瓦。
2、思路
1）通过logstash将clientip识别成geoip.location等数据
2）然后更新ES的模版，标记geoip.location这个properties的type为geo_point
3）最后在kibana上选择"Visu..
分类：
其他好文 时间：
2016-11-17 21:19:50
阅读次数：
1208
在实际的项目中需要对线上日志做实时分析跟统计，这一套方案可以用现有的ELK(ElasticSearch, Logstash, Kibana)方案既可以满足，关于这个方案的具体的步骤可以参考网上的解决方案。但如果只想统计某个错误码(http状态码，业务错误码)在指定时间内出现多少次然后就触发一个告警或 ...
分类：
其他好文 时间：
2016-11-17 07:46:34
阅读次数：
432
