有时候我们需要对一些服务器日志进行分析，并对其中错误的日志进行报警，在这里我们采用logstash来收集这些日志，和采用自己开发的邮件发送系统来发送错误日志数据。
例如我们有几个文件需要监控（BI日志）
我们可以通过配置logstash来收集这些文件日志
input{
file{
path=> "/diskb/bidir/smartbi...
分类：
其他好文 时间：
2016-05-07 07:14:34
阅读次数：
638
logstashgrokpatternUSERNAME[a-zA-Z0-9_-]+
USER%{USERNAME}
INT(?:[+-]?(?:[0-9]+))
BASE10NUM(?<![0-9.+-])(?>[+-]?(?:(?:[0-9]+(?:\.[0-9]+)?)|(?:\.[0-9]+)))
NUMBER(?:%{BASE10NUM})
BASE16NUM(?<![0-9A-Fa-f])(?:[+-]?(?:0x)?(?:[0-9A-Fa-f]+))
BASE16FLOAT\b(..
分类：
其他好文 时间：
2016-05-06 19:54:54
阅读次数：
265
如果我们想展示hive中的数据,则可以使用Kibana展示工具,而在这之前需要把hive表数据导入到es中,这就用到了ES-Hadoop插件.
插件安装:
下载地址：https://github.com/elasticsearch/elasticsearch-hadoop#readme
add上面的jar包到hive
hive –e “add jar elasticsear...
分类：
其他好文 时间：
2016-05-06 16:26:46
阅读次数：
1039
首先说明，各工具的安装就不在这说明了，网上很多，可自行查看。
我们在这里用实例说明各个工具的配置以及最后展示的效果。
假如我们有一批tracklog日志需要用ELK实时展示出来：
一、收集日志，我们使用flume工具
在日志服务器端布置agent发往收集collect，配置如下：
agent（可多个）
agent.sources = s1
agent.channels...
分类：
Web程序 时间：
2016-05-06 16:24:34
阅读次数：
1001
背景：目前业务中有个数据库数据大道3亿左右。如果直接从数据库进行查询，等待时间超过15分钟，用户很多时候想查看数据，只能写SQL在数据库中直接查询喝几杯茶后，结果还没出来。用户看到我们项目中使用到ES集群，于是希望将数据库中的数据同步到ES集群中。 软件版本：logstash-2.2.2 ，Elas ...
分类：
数据库 时间：
2016-05-03 17:51:33
阅读次数：
4121
ELK就是一套完整的日志分析系统 ELK=Logstash+Elasticsearch+Kibana 统一官网https://www.elastic.co/products ELK模块说明 Logstash 作用：用于处理传入的日志，负责收集、过滤和写出日志 Logstash分为三个组件input， ...
分类：
其他好文 时间：
2016-04-29 21:57:50
阅读次数：
215
http://www.tuicool.com/articles/QFvARfr
开源实时日志分析ELK平台部署
版本：elasticsearch-2.3.2
logstash-2.3.2
kibana-4.5.0
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配...
分类：
其他好文 时间：
2016-04-29 15:04:07
阅读次数：
176
以kibana为例 以下为skibana名称的脚本内容 #!/bin/bash #chkconfig: 2345 80 90 #description:kibana kibana="/usr/mysoft/kibana-4.4.1-linux-x64/bin/kibana" $kibana # da... ...
分类：
系统相关 时间：
2016-04-29 14:26:12
阅读次数：
258
[root@mysql~]#cat/usr/local/logstash-2.2.0/etc/test1.conf
input{
#stdin{
#type=>"yeshuai"
#codec=>"json"
#}
file{
type=>"yeshuai"
path=>["/opt/log/test.log"]
start_position=>"beginning"
codec=>"json"
}
}
filter{
if[type]=="yeshuai"{
thro..
分类：
Web程序 时间：
2016-04-25 19:51:03
阅读次数：
468
部署环境： centos 6.X jdk 1.7 elasticsearch 2.3.1 https://www.elastic.co/downloads/elasticsearch logstash 2.3.1 https://www.elastic.co/downloads/logstash K ...
分类：
其他好文 时间：
2016-04-15 13:42:24
阅读次数：
688
