Elasticsearch 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash 是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索） kibana 也是一个开 ...
分类：
其他好文 时间：
2019-05-14 11:08:58
阅读次数：
187
为什么使用ELK日志分析：一般我们需要进行日志分析场景：直接在日志文件中grep、awk就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。准备两台测试服务器：Centos7（1），Cento
分类：
其他好文 时间：
2019-05-12 01:01:41
阅读次数：
153
要点Kubernetes生产应用云主机弹性伸缩日志收集平台ELK监控平台从zabbix到prometheus代码发布平台Jenkins堡垒机jumpserver打点服务应用prometheus<aid="ks">Kubernetes生产应用</a>关键点:服务对弹性伸缩,deployment利用HorizontalPodAutoscaling实现对pod
分类：
其他好文 时间：
2019-05-09 18:21:54
阅读次数：
114
欢迎关注个人公众号“没有故事的陈师傅”搭建这个平台的初衷只是为了我和我的两个小伙伴来更好的学习es以及周边组件，欲善其事，必利其器，只是单纯的去学习理论知识是不够的，理论与操作相结合，才能学的更扎实。环境配置：使用自己的两台1v2g阿里云主机以及好友颖枞的一台1v2gvps，共计三台主机环境架构如下：三台主机的环境分别如下：node1：elasticsearch6.4+filebeatnode2：
分类：
其他好文 时间：
2019-05-08 18:58:03
阅读次数：
601
apache_log------>logstash----->redis---->logstash----->es日志写到redis中redis安装配置略input{path=>"/var/log/access_log"type=>"acccess_log"start_postition=>"beginning"}output{redis{host=>
分类：
其他好文 时间：
2019-04-27 14:39:14
阅读次数：
148
语法格式logstash中行为事件，流程:事件---input---codec---filter---codec----outputinput{#注释stdin{}}#可以不用写filter{}output{elasticsearch{hosts=>["ip:9200"]index="test-%{+YYYY.DD.mm}"}stdout{codec=>"rubydebug"}}rsy
分类：
其他好文 时间：
2019-04-27 11:32:38
阅读次数：
141
前言 logstash是ELK日志系统中的一部分，主要承担将收集完成日志进行过滤，并且输出到es的职责。 logstash本身也可以作为客户端部署到应用系统的服务器上进行日志收集，但是由于资源开销占用过大，所以客户端的收集工作交给了beats进行，logstash专心在独立的服务器上完成日志解析处理 ...
分类：
其他好文 时间：
2019-04-12 14:57:49
阅读次数：
185
关于k8s的几个问题？k8s的日志收集--EFKk8s的状态监控--Prometheusk8s的集群高可用etcd高可用网络高可用apiserver高可用controller-manager高可用scheduler高可用dashboard高可用k8s的几个概念node（所包含的组件）kubelet--监视已分配给节点的podproxy--通过在主机上维护网络规则并执行连接转发来实现k8s服务抽象d
分类：
Web程序 时间：
2019-04-09 09:19:30
阅读次数：
163
这篇博客讲的是elasticsearch+logstash+kibana部署的方法。 内容大纲： 1、elasticsearch+logstash+kibana部署 2、收集Tomcat日志 3、收集tcp日志 一、elasticsearch+logstash+kibana部署 1、elastics ...
分类：
其他好文 时间：
2019-04-05 19:41:23
阅读次数：
227
本节主要内容： 1. 日志收集系统设计2. 日志客户端开发 1. 项目背景 a. 每个系统都有日志，当系统出现问题时，需要通过日志解决问题 b. 当系统机器比较少时，登陆到服务器上查看即可满足 c. 当系统机器规模巨大，登陆到机器上查看几乎不现实 2. 解决方案 a. 把机器上的日志实时收集，统一的 ...
分类：
其他好文 时间：
2019-04-05 19:38:21
阅读次数：
895
