web-master的nginx格式： api-master的nginx日志格式： post请求的日志格式： ...
分类：
其他好文 时间：
2016-07-12 12:14:32
阅读次数：
210
Linux优化： 1、建立普通账号，使用普通用户登陆。 2、处理SELINUX。 3、处理防火墙。 4、精简开机自启动服务。保留sshd，network，crond，rsyslog，sysstat。 5、LINUX最小化安全理念。5条。 1）安装linux系统最小化，yum安装软件包也要最小化， 无 ...
分类：
系统相关 时间：
2016-07-11 10:23:26
阅读次数：
242
需求;logstash运行在SUSE,LINUX,PPC LINUX,AIX机器上,并监控文件发送日志到KAFKA中去, 问题:在AIX机器上,file插件总是报异常,无法完成数据的读取 NotImplementedError: stat.st_dev unsupported or native s ...
分类：
其他好文 时间：
2016-07-10 23:09:45
阅读次数：
242
出现nginx日志报499错误的原因：修改nginx的配置文件：nginx.conf或者vhost的文件,把下面的这两上参数设置更大些：proxy_read_timeout60s;
proxy_send_timeout60s;重启nginx即可解决此问题；
分类：
其他好文 时间：
2016-07-08 20:09:16
阅读次数：
140
最近研究logstash。使用过程中发现logstashtimestamp记录的时间戳为UTC时间。比我们的时区早8个小时。造成发送到es里的数据每天早上8点才创建索引，发送的file的数据每天早上8点自动切割。不符合我们实际的需求。找了两周都没解决这个问题。功夫不负有心人。终于找到一个方法解..
分类：
其他好文 时间：
2016-07-07 22:45:43
阅读次数：
1176
Logstash管道可以配置一个或多个输入插件、过滤器插件和输出插件。其中，输入插件和输出插件是必选的，过滤器插件是可选的。下图是Logstash常见的使用场景。上一节的例子中我们使用标准的输入和输出插件做了简单的示例。接下来我们演示一些复杂的场景。如下图所示是Logstash的..
分类：
其他好文 时间：
2016-07-07 17:35:49
阅读次数：
167
前言：通常情况下，我们将Kafka的日志数据通过logstash订阅输出到ES，然后用Kibana来做可视化分析，这就是我们通常用的ELK日志分析模式。但是基于ELK的日志分析，通常比较常用的是实时分析，日志存个十天半个月都会删掉。那么在一些情况下，我需要将日志数据也存一份到我HDFS，..
分类：
其他好文 时间：
2016-07-06 18:47:15
阅读次数：
850
https://github.com/elastic/beats-dashboards一、介绍filebeat貌似功能笔logstash更好，是下一代的日志收集器。topbeat定期收集系统信息如每个进程信息、负载、内存、磁盘等等，然后将数据发送到elasticsearch进行索引。packetbeat可以分析某个时间段mysql或者mongodb的慢查询..
分类：
其他好文 时间：
2016-07-06 18:37:49
阅读次数：
288
这里我们用到的是ngx_log_if，它是Nginx的一个第三方模块。第一步：先到Github下载ngx_log_if地址https://github.com/cfsego/ngx_log_if/,你可以下载压缩包，然后在解压unzipngx_log_if-master.zip第二步编译安装nginx./configure--prefix=/usr/local/nginx--with-pcre--add-mo..
分类：
其他好文 时间：
2016-07-06 18:33:34
阅读次数：
169
日志类型日志设备/类型说明authpam产生的日志authprivssh,ftp等登录信息的验证信息cron时间任务相关kern内核lpr打印mail邮件mark(syslog)rsyslog服务内部的信息,时间标识news新闻组user用户程序产生的相关信息uucpunixtounixcopy,unix主机之间相关的通讯local1-7自定义的日志设..
分类：
其他好文 时间：
2016-07-05 19:09:46
阅读次数：
391
