摘自：http://kibana.logstash.es/content/logstash/plugins/input/syslog.html一：marvel介绍marvel 是 Elastic.co 公司推出的商业监控方案，也是用来监控 Elasticsearch 集群实时、历史状态的有力用具，便...
分类：
其他好文 时间：
2016-01-18 22:25:12
阅读次数：
436
Nginx不记录指定文件类型的日志Nginx默认日志记录太详细，包括了很多图片等信息，如何设置不记录指定文件的类型的日志呢？一、设置Nginx日志类型日志格式类型：daixuan远程的IP，代理IP，时间，域名，访问地址，链接，状态码，referer，浏览器信息[root@daixuanconf]#cd/usr/lo..
分类：
其他好文 时间：
2016-01-13 00:52:54
阅读次数：
222
分析和存储日志（一）1、系统日志架构永久日志：进程和操作系统内核需要能够为发生的是事件记录日志，这些日志可用于系统审核和问题故障排除，这些日志永久存储在/var/log目录中，由rsyslog服务进行维护和管理。临时日志：sysetemd-journald守护进程提供一种改进的日志管理服务..
分类：
系统相关 时间：
2016-01-08 15:57:23
阅读次数：
352
Node里面的Buffer其实就是用于网络请求、文件读取等等操作，而且是分配在堆外，不会占用堆内的内存，这也是因为本来V8的内存就很小，如果读取大文件，那就......之前有看过Logstash的Buffer源码，感觉比这个高级多了....而Ruby中的Buffer则有点缓存的性质，支持大小的限制，...
分类：
Web程序 时间：
2016-01-07 22:50:03
阅读次数：
207
ELK日志分析平台学习记录首先ELK主要指elasticsearch、logstash和kibana，三个开源软件组合而成的一套日志平台解决方案。可以将平时收集到的日志，通过前台展示出来，并且可以加以分析，理论上可以解放劳动力（再也不用干上生产取日志这种活了——很搓）。最近在研究ELKstack日..
分类：
其他好文 时间：
2016-01-07 01:32:20
阅读次数：
4249
redis（logstash）.conf内容#服务端配置,logstash抓取redis数据，配置名自取例一#从redis读数据input{redis{host=>"127.0.0.1"port=>6379type=>"redis-input"data_type=>"list"key=>"logstash:redis"}}output{#输出到elastdout{}elasticsearch{cluster=>"ela..
分类：
其他好文 时间：
2016-01-06 18:23:54
阅读次数：
391
1.syslog介绍：日志服务在CentOS5上默认为syslog，而6上全部升级为rsyslog。Rsyslog是syslog的增强版，提供了很多高级的特性。syslog由两个进程构成，klogd和syslogd，klogd记录Kernel产生的日志信息，而syslogd是普通的日志信息。除了一些高级特性，Rsyslog和syslog的整体框架..
分类：
其他好文 时间：
2016-01-04 00:13:11
阅读次数：
386
kibana做图表无法选取需要选的字段，即通过term的方式过滤选择某一个field时发现列表里无此选项。再去discover里看，发现此字段前面带有问号，点击后提示这个字段未做索引，不能用于visualize和discover的搜索。思考：从源头查起，日志是logstash收集上来的，猜想可能原因是log..
分类：
其他好文 时间：
2015-12-31 21:06:55
阅读次数：
200
最近使用logstash的作为日志处理工具是发现一个问题,logstash给提供了一个默认的时间字段@timestamp,这个时间无论我怎么该他都是０时区的时间，没有办法改成+08:00时区的时间，后来查了很多资料发现原来是代码直接获取的UTC默认的时间，所以无论怎么更改系统时间它都不会改变。..
分类：
其他好文 时间：
2015-12-30 13:51:00
阅读次数：
4773
Nginx 日志对于大部分人来说是个未被发掘的宝藏，总结之前做某日志分析系统的经验，和大家分享一下 Nginx 日志的纯手工分析方式。Nginx 日志相关配置有 2 个地方：access_log 和 log_format 。默认的格式：access_log /data/logs/nginx-acce...
分类：
其他好文 时间：
2015-12-29 17:42:33
阅读次数：
128
