架构、分布式、日志队列，标题自己都看着唬人，其实就是一个日志收集的功能，只不过中间加了一个Kafka做消息队列罢了。 kafka介绍 Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站 ...
分类：
编程语言 时间：
2018-02-06 16:33:47
阅读次数：
267
绪论： 本文的内容包括flume的背景、数据流模型、常见的数据流操作、flume agent启动和flume agent简单实例。参考文档为flume官网的flume1.8.0 FlumeUserGuide。 一、背景 flume是由cloudera软件公司产出的可分布式日志收集系统，2009年被捐 ...
分类：
Web程序 时间：
2018-02-05 20:10:49
阅读次数：
284
架构、分布式、日志队列，标题自己都看着唬人，其实就是一个日志收集的功能，只不过中间加了一个Redis做消息队列罢了。 前言 为什么需要消息队列？ 当系统中出现“生产“和“消费“的速度或稳定性等因素不一致的时候，就需要消息队列，作为抽象层，弥合双方的差异。 比如我们系统中常见的邮件、短信发送，把这些不 ...
分类：
编程语言 时间：
2018-02-02 11:43:58
阅读次数：
197
因为在生产环境上需要上线一套ELK环境，但是日志收集程序Logstash需要依赖对应版本的JDK环境，具体的版本依赖在下载时有提示，提示如下：https://www.elastic.co/downloads/logstashVersion:
6.1.3
Release date:
January 30, 2018
Notes:
View&n
分类：
编程语言 时间：
2018-01-31 15:37:39
阅读次数：
267
为什么用到ELK： 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集 ...
分类：
其他好文 时间：
2018-01-31 11:39:13
阅读次数：
143
Rsyslog简介 rsyslog是一个开源工具，被广泛用于Linux系统以通过TCP/UDP协议转发或接收日志消息。rsyslog守护进程可以被配置成两种环境，一种是配置成日志收集服务器，rsyslog进程可以从网络中收集其它主机上的日志数据，这些主机会将日志配置为发送到另外的远程服务器。rsys... ...
分类：
其他好文 时间：
2018-01-27 15:25:11
阅读次数：
327
为了解决公司的项目在集群环境下查找日志不便的问题，我在做过简单调研后，选用Elastic公司的Elastic Stack产品作为我们的日志收集，存储，分析工具。 Elastic Stack是ELK（Elasticsearch，Logstash，Kibana）从5版本开始的新名称，那么的他们都能干什么 ...
分类：
其他好文 时间：
2018-01-19 00:16:05
阅读次数：
623
1.启动elasticsearch docker run -d --name myes -p 9200:9200 elasticsearch:2.3 2.启动kibana docker run --name mykibana -e ELASTICSEARCH_URL=http://118.184.6 ...
分类：
编程语言 时间：
2018-01-17 15:49:45
阅读次数：
193
大家在做分部署系统开发的时候是不是经常因为查找日志而头疼，因为各服务器各应用都有自己日志，但比较分散，查找起来也比较麻烦，今天就给大家推荐一整套方便的工具ELK，ELK是Elastic公司开发的一整套完整的日志分析技术栈，它们是Elasticsearch，Logstash，和Kibana，简称ELK ...
分类：
其他好文 时间：
2018-01-15 00:28:02
阅读次数：
267
用logstash收集日志并发送到redis，然后通过logstash取redis数据写入到es集群，最近kibana显示日志总是中断，日志收集不过来，客户端重启发现报错： 根据报错推断redis满了，在客户端清空redis 重启收集端的logstash 可以重新写入数据，由此判断有进程不断写入re ...
分类：
其他好文 时间：
2018-01-11 15:24:06
阅读次数：
297
