Flume配置
。
flume生成的数据结构
"_index" : "logstash-2013.01.07",
"_type" : "tms_jboss_syslog",
"_id" : "a_M9X_0YSpmE7A_bEzIFiw",
"_score" : 1.0, "_source" : {"@source":"file://localhost.localdomain/tmp...
分类：
其他好文 时间：
2014-10-09 17:03:48
阅读次数：
290
Logstash+Elasticsearch+Kibana+S3+NginxbuildourprivatelogquerysystemSystemstructureHowtosetupLogstash-index(Logstashserver)yum-yinstalljava-1.7.0-openjdkInstallandconfigureElasticsearch(Logstash1.4.2recommendsElasticsearch1.1.1)rpm--importhttp://packages.ela..
分类：
其他好文 时间：
2014-09-27 09:56:30
阅读次数：
322
数组states[$NF]，格式输出printf,注意循环结构范围{}nginx日志格式分状态码查看流量awk‘{StatesCode[$9]+=$10}END{printf("StateCode------SIZE(bytes)\n");for(iinStatesCode)printf("%8s%18s\n",i,StatesCode[i])}‘access.log
分类：
其他好文 时间：
2014-09-26 20:37:59
阅读次数：
127
用了这个logstash扩展https://github.com/PeterPaulH/logstash-influxdb/blob/master/src/influxdb.rb把这个文件放到 logstash-1.4.2/lib/logstash/outputs看一下午logstash的文档，终于...
分类：
数据库 时间：
2014-09-25 22:12:27
阅读次数：
355
1,准备 master：10.1.5.241 slave01：10.1.5.242 在服务器端和客户端分别安装rsyslog [root@master ~]# yum -y rsyslog [root@master ~]# rsyslogd -version rsyslogd 5.8.10, compiled with: ?? ?FEATURE_REG...
分类：
其他好文 时间：
2014-09-23 20:07:45
阅读次数：
305
服务端去给客户端发指令，告诉客户端我curl完了，客户端也就是rsyslog服务端#!/usr/bin/pythonimportpycurlimportsocketimporttimedefwork_socket():s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)s.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1)s.bind((‘10.67...
分类：
其他好文 时间：
2014-09-23 13:22:14
阅读次数：
223
rsyslog分为服务端和客户端客户端rsyslog配置文件配置一下几条比较有用$ActionQueueTypeLinkedList#useasynchronousprocessing开启缓存队列$ActionQueueFileNamebackup_local#setfilename,alsoenablesdiskmode如果客户端挂了，缓存队列写到本地backup_local这个变量上面已经定..
分类：
其他好文 时间：
2014-09-23 13:22:04
阅读次数：
407
1. 安装Nginx sudo apt-get install nginxUbuntu安装之后的文件结构大致为：所有的配置文件都在/etc/nginx下，并且每个虚拟主机已经安排在了/etc/nginx/sites-available下程序文件在/usr/sbin/nginx日志放在了/var/l....
分类：
其他好文 时间：
2014-09-19 19:05:35
阅读次数：
339
七、Nginx日志及日志分割（1）Nginx日志文件查看Nginx配置文件：找到access_log，yum安装默认存储在/var/log/nginx目录下，且默认main格式：main格式定义：log_format main '$remote_addr - $remote_user [$time_...
分类：
其他好文 时间：
2014-09-18 12:58:53
阅读次数：
152
