1、server.conf文件[elk@logserverbin]$catserver.conf
input{
redis{
host=>"10.10.45.200"
data_type=>"list"
key=>"elk_frontend_access:redis"
port=>"5379"
}
}
output{
if"_grokparsefailure"in[tags]{
}else{
if[type]=="www1_access"{
elasticsearch{
host..
分类:
其他好文 时间:
2017-05-06 17:37:04
阅读次数:
3053
因为docker产生的容器不是一个永久存储的文件,所以无法保证你的文件永久保存。建议大家把容器产生的日志通过fluentd,flume,logstash等工具传送到一个日志仓库,这样保证方便保证数据的安全和管理。由于docker官方的推荐,我们本次讲解是fluentd日志收集组件。具体使用如下:..
分类:
其他好文 时间:
2017-05-05 23:15:08
阅读次数:
1798
写在前面:在做ELK logstash 处理MySQL慢查询日志的时候出现的问题: 1、测试数据库没有慢日志,所以没有日志信息,导致 IP:9200/_plugin/head/界面异常(忽然出现日志数据,删除索引后就消失了) 2、处理日志脚本问题 3、目前单节点 配置脚本文件/usr/local/l ...
分类:
数据库 时间:
2017-05-05 18:29:28
阅读次数:
394
【一】资源准备#3台4C*8G,安装Zookeeper、Kafka、Logstash——Broker(input:filebeat;output:Kafka)10.101.2.2310.101.2.2410.101.2.25#2台4C*8G,安装Logstash——Indexer(input:Kafaka;output:Elasticsearch)10.101.2.2610.101.2.27#3台8C*16G,安装Elasticsearch10.101.2.2810..
分类:
其他好文 时间:
2017-05-04 23:11:46
阅读次数:
2545
因为搭建ELK服务器是只给系统分配了100G的磁盘空间。后来因为有大量的服务器日志需要存放,只能扩展Linux系统磁盘空间。前提是exsi有足够的空闲磁盘空间。否则后面操作是无法进行的1.打开虚拟机的à编辑设置。扩充磁盘大校我原来是100G现在扩容到1.1T注意:要把虚拟机关机后才..
分类:
系统相关 时间:
2017-05-04 16:17:41
阅读次数:
240
0. 背景 我们在使用ELK进行日志记录的时候,通过网址在Kibana中查看我们的应用程序(eg: Java Web)记录的日志, 但是默认是任何客户端都可以访问Kibana的, 这样就会造成很不安全,我们应该设置相应的用户名和密码, 只有通过登录用户名和密码才能通过Kibana查看我们的日志。 1 ...
分类:
其他好文 时间:
2017-04-29 15:15:45
阅读次数:
377
Kibana也是一个开源和免费的工具,他可以帮助您汇总、分析和搜索重要数据日志并提供友好的web界面。他可以为Logstash 和ElasticSearch 提供日志分析的Web界面 它是一个基于浏览器页面的ES前端展示工具,是为ES提供日志分析的web接口,可用它对日志进行高效的搜索、可视化、分析 ...
分类:
其他好文 时间:
2017-04-29 12:51:57
阅读次数:
856
介绍:ELK套件(ELKstack)是指ElasticSearch、Logstash和Kibana三件套。这三个软件可以组成一套日志分析和监控工具。Logstash:负责在客户端收集日志信息ElasticSearch(es):负责将logstash收集的信息整理存储并建立索引es会建立索引并且把日志信息存放在索引中es多节点:可..
分类:
其他好文 时间:
2017-04-28 23:43:30
阅读次数:
321
下载ELK(Elasticsearch,Logstash,Kibana) Elasticsearch:wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.4.4.tar.gz Logs ...
分类:
其他好文 时间:
2017-04-28 17:14:27
阅读次数:
261
一、Windows环境下ELK平台的搭建 1.安装配置Java环境 在Oracle官网获取最新版的Java版本,由于只是运行不是开发,所以也可以只下载JRE。官网:http://www.oracle.com/ 2.安装ELK 由于Logstash服务依赖ES服务,Kibana服务依赖Logstash ...
分类:
Windows程序 时间:
2017-04-27 17:56:29
阅读次数:
1239