作为运维人员，熟悉系统日志是一项基本功。本文将介绍centos6的系统日志rsyslog及loganalyzer工具。简介系统日志：记录历史事件，通常都是按时间顺序将发生的事件予以记录，linux上的日志分为syslogd(系统进程相关日志)和klogd(内核事件日志)centos5：syslog缺点：不能进行并行..
分类：
其他好文 时间：
2016-03-13 18:17:41
阅读次数：
339
Logstash.Confinput { file { type => "SSRCode" path => "E:/FTPRootWorkSpace/SD/2016*/2016*/*.txt" start_position => "beginning" } } filter { csv { colu
分类：
其他好文 时间：
2016-03-11 20:35:03
阅读次数：
1579
ES中使用自动检测对索引字段进行索引，例如IP、日期自动检测（默认开启）、数字自动检测（默认关闭）进行动态映射自动为文档设定索引，当需要为字段指定特定的类型时，可能使用Mapping在索引生成定义映射，Logstash中默认索引的设置是基于模板的。首先我们需要指定一个默认的映射文件，文件的内容大致如下：{
"template" : "logstash-*",
"mappings" : {...
分类：
其他好文 时间：
2016-03-08 02:14:37
阅读次数：
160
1. UTF-8编码，无BOM格式，否则容易乱码 2. 经过压缩的JSON——单行文件 3. 带有line terminators——否则会导致不出发logstash的event 通过配置output为： output { stdout { codec => json }输出：{"name":"ll
分类：
Web程序 时间：
2016-03-08 02:06:18
阅读次数：
631
$gemsources--removehttps://rubygems.org/$gemsources-ahttps://ruby.taobao.org/$gemsources-l/usr/local/logstash/vendor/jruby/bin/geminstalllogstash-output-zabbixvim/usr/local/logstash/Gemfilehttps://ruby.taobao.org/usr/local/logstash/bin/plugininstall/usr/loc..
分类：
其他好文 时间：
2016-03-07 19:26:00
阅读次数：
579
前提：处理大数据日志收集分析，随着搜索集群的快速膨胀，大量日志处理及情况反馈滞后带来一系列问题，亟需一个工具能快速分析定位集群中那种日志或那个机器出现了异常。运维的日志分析系统定制化较重，分析不够实时。故找一个RTF工具可以直接即上手。1、简介：logstash日志收..
分类：
其他好文 时间：
2016-03-04 16:35:09
阅读次数：
436
查询mysql数据库编码是否为utf8： mysql> show create database test; 查询mysql数据表编码是否为utf8: mysql> show create table yjdb; 如不是utf8： Vim /usr/share/doc/rsyslog-7.4.7/m
分类：
数据库 时间：
2016-03-04 13:00:48
阅读次数：
329
4.1 检查是否安装了rsyslog软件 # rpm -qa|grep rsyslog //默认系统都安装了该软件 4.2 安装rsyslog 连接MySQL数据库的模块 # yum install rsyslog-mysql –y rsyslog-mysql 为rsyslog 将日志传送到MySQ
分类：
其他好文 时间：
2016-03-04 12:58:08
阅读次数：
151
一旦你按下Ctrl+C，停下标准输入输出，XXX进程也就随之停止了。作为一个肯定要长期运行的程序，应该怎么处理呢？该问题对于一个运维来说应该属于基础知识办法有很多种，这里以logstash来介绍四种最常用的办法：标准的service方式采用RPM、DEB发行包安装的读者，推荐采用这种方..
分类：
其他好文 时间：
2016-03-03 14:54:34
阅读次数：
153
LogAnalyzer是一款syslog日志和其他网络事件数据的Web前端。它提供了对日志的简单浏览、搜索、基本分析和一些图表报告的功能。数据可以从数据库或一般的syslog文本文件中获取，所以LogAnalyzer不需要改变现有的记录架构。基于当前的日志数据，它可以处理syslog日志消息，Window..
分类：
其他好文 时间：
2016-03-01 19:21:09
阅读次数：
836
