每次有新服务器上线的时候我们需要采集日志信息涉及到各种配置： rsyslog客户端 rsyslog中继服务器 rsyslog服务器 logstash-shipper 如果手动配置的话工作量较大，而且容易出错。写了个脚本以便快速部署。 文件结构如下 执行log-make.sh将询问操作内容，1为创建配 ...
分类：
其他好文 时间：
2018-03-17 12:15:51
阅读次数：
216
笔记内容：搭建ELK日志分析平台——安装kibana和logstash笔记日期：2018-03-0327.6安装kibana27.7安装logstash27.8配置logstash27.9kibana上查看日志27.10收集nginx日志27.11使用beats采集日志本文是上一篇ELK介绍及搭建Elasticsearch分布式集群的后续。安装kibana由于上一篇中我们已经配置过yum源，这里就
分类：
其他好文 时间：
2018-03-04 21:16:19
阅读次数：
291
课程介绍 课程名称： 点击流日志分析 1、什么是点击流系统？记录用户在网站上的操作，用户行为轨迹。 2、日志有哪些需要注意的地方，如何采集日志（flume），日志格式，日志包含的信息量（字段） 3、分析什么？ 网址来源，TOPK 客户端流量占比 Android、IOS、..... 网页热力图 课程目 ...
分类：
其他好文 时间：
2018-02-04 14:42:10
阅读次数：
2154
1.采集日志文件时一个很常见的现象 采集需求：比如业务系统使用log4j生成日志，日志内容不断增加，需要把追加到日志文件中的数据实时采集到hdfs中。 1.1.根据需求，首先定义一下3大要素： 采集源，即source—监控日志文件内容更新：exec ‘tail -F file’ 下沉目标，即sink ...
分类：
Web程序 时间：
2018-01-19 16:45:15
阅读次数：
313
最近部署filebeat采集日志。 发现配置multiline后，日志偶尔会丢失数据，而且采集到的数据长度都不相同，所以和日志长度没有关系。 查阅filebeat官网后，找到了问题。filebeat有个配置max_lines,默认值为500。查看了我们的日志文件，发现需要合并的日志行数超过了500行 ...
分类：
其他好文 时间：
2017-12-14 15:47:31
阅读次数：
743
一、系统日志默认分类1./var/log/messages系统服务及日志，包括服务的信息，报错等等/var/log/secure系统认证信息日志/var/log/maillog系统邮件服务信息/var/log/cron系统定时任务信息/var/log/boot.log系统启动信息2.日志管理服务rsyslog（1）rsyslog负责采集日志和分类存放日..
分类：
系统相关 时间：
2017-10-19 12:44:05
阅读次数：
187
1.系统日志默认分类/var/log/messages##系统服务及日志，包括服务的信息，报错等等/var/log/secure##系统认证信息日志/var/log/maillog##系统邮件服务信息/var/log/cron##系统定时任务信息/var/log/boot.log##系统启动信息2.日志管理服务rsyslog1.rsyslog负责采集日志和分类存..
分类：
其他好文 时间：
2017-10-19 12:40:57
阅读次数：
203
一、系统日志默认分类1./var/log/messages系统服务及日志，包括服务的信息，报错等等/var/log/secure系统认证信息日志/var/log/maillog系统邮件服务信息/var/log/cron系统定时任务信息/var/log/boot.log系统启动信息2.日志管理服务rsyslog（1）rsyslog负责采集日志和分类存放日..
分类：
系统相关 时间：
2017-10-19 12:39:27
阅读次数：
193
系统日志默认分类/var/log/messages系统服务及日志，包括服务的信息，报错等等/var/log/secure系统认证信息日志/var/log/maillog系统邮件服务信息/var/log/cron系统定时任务信息/var/log/boot.log系统启动信息日志管理服务rsyslog1）rsyslog负责采集日志和分类存放日志2）rsysl..
分类：
系统相关 时间：
2017-10-18 11:18:48
阅读次数：
265
一、系统默认日志分类/var/log/messages系统服务及日志，包括服务的信息，报错等等/var/log/secure系统认证信息日志/var/log/maillog系统邮件服务信息/var/log/cron系统定时任务信息/var/log/boot.log系统启动信息二、日志管理服务rsyslog1、rsyslog负责采集日志和分类存放日志..
分类：
系统相关 时间：
2017-07-25 01:02:16
阅读次数：
315
