缘起最近在使用腾讯云，想对访问日志进行收集与分析，发现CLB（负责均衡）日志只能保存到COS上面，而且是每个CLB没小时压发送个gz压缩包到COS。实现方式CLB配置日志存储到COS，Filebeat客户端CVM安装cosfs挂载COS，并配置Filebeat输出到Elasticsearch集群，最后通过Kibana和Grafana分析。参考文档https://www.elastic.co/gui
分类：
其他好文 时间：
2018-08-15 10:42:55
阅读次数：
262
ELK搭建踩过的坑学习博客：http://blog.51cto.com/zero01/2082794日志多而杂，搜索慢--->集中式管理分布式系统--->快速定位服务器和模块收集-传输-存储-分析-警告ELK:elasticsearch搜索引擎logstash日志的收集、分析、过滤kibana日志分析界面beats日志采集器收集网络数据、指标、日志、window实践、审计、运行时间x-
分类：
其他好文 时间：
2018-08-15 10:38:31
阅读次数：
167
ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分
分类：
其他好文 时间：
2018-08-13 18:08:01
阅读次数：
195
临时搭建了一套EFK（elasticsearch，filebeat，kibana），filebeat6.0默认的index是filebeat+时间，这样无法满足正常的业务需求，如果是收集一个地方的还可以，超出一个就需要自定义index了，自定义的方法如下：setup*部分需要顶格写，同时注意index定义必须是小写字符，否则会报错。#--------------------------Elasti
分类：
其他好文 时间：
2018-08-13 12:22:14
阅读次数：
261
ES的资源： https://www.elastic.co/guide/en/elasticsearch/reference/current/getting-started.htmlhttps://www.elastic.co/webinars/getting-started-kibana?baym ...
分类：
其他好文 时间：
2018-08-12 22:50:16
阅读次数：
271
云中树莓派（1）：环境准备 云中树莓派（2）：将传感器数据上传到AWS IoT 并利用Kibana进行展示 云中树莓派（3）：通过 AWS IoT 控制树莓派上的Led 云中树莓派（4）：利用声音传感器控制Led灯 1. 声音传感器及其配置 声音传感器如下图所示： 将 VCC 引脚接入树莓派 5V ...
分类：
其他好文 时间：
2018-08-12 12:18:44
阅读次数：
237
https://www.elastic.co/cn/downloads/logstash https://www.elastic.co/cn/products/kibana https://elasticsearch.cn/ http://www.cnblogs.com/aresxin/p/8035 ...
分类：
其他好文 时间：
2018-08-11 18:58:42
阅读次数：
177
Centos7部署ELK日志收集系统一、ELK概述：ELK是一组开源软件的简称，其包括Elasticsearch、Logstash和Kibana。ELK最近几年发展迅速，已经成为目前最流行的集中式日志解决方案。Elasticsearch:能对大容量的数据进行接近实时的存储，搜索和分析操作。本项目中主要通过Elasticsearch存储所有获取的日志。Logstash：数据收集引擎，它支持动态的的从
分类：
系统相关 时间：
2018-08-09 17:31:06
阅读次数：
300
云上树莓派（1）：环境准备 云上树莓派（2）：将传感器数据上传到AWS IoT 并利用Kibana进行展示 1. 传感器安装及配置 1.1 DHT22 安装 DHT22 是一款温度与湿度传感器，它有3个针脚，左边的第一个引脚（#1）为3-5V电源，第二个引脚（#2）连接到数据输入引脚，最右边的引脚（ ...
分类：
Web程序 时间：
2018-08-09 12:13:05
阅读次数：
494
我们平时分析log直接在日志文件中grep、awk就可以获得自己想要的信息，此方法效率低下，生产中需要集中化的日志管理，所有服务器上的日志收集汇总Elasticsearch一个节点(node)就是一个Elasticsearch实例，一个集群(cluster)由一个或多个节点组成，它们具有相同的cluster.name，它们协同工作，分享数据和负载。当加入新的节点或者删除一个节点时，集群就会感知到并
分类：
其他好文 时间：
2018-08-01 00:23:30
阅读次数：
259
