Filebeat简介 Filebeat是一个轻量级的收集日志和传输日志的工具（一直以为Filebeat是存储数据，并不是的它只是做一个收集传输功能）；Filebeat安装在每一个你想要收集日志的服务器上，相当于客户端。Filebeat监控你指定的日志文件或者路径，收集日志事件向Elasticsear ...
分类：
其他好文 时间：
2019-02-23 10:45:45
阅读次数：
500
五邑隐侠，本名关健昌，10年游戏生涯，现隐居五邑。本系列文章以TypeScript为介绍语言。 这一篇介绍日志系统的设计。一般我们开发一个demo，只会简单的用cocos提供的cc.log打印下日志，方便调试功能。但是要开发一个商业项目，还要考虑怎么收集日志，方便产品上线后定位线上问题。如果线上产品 ...
分类：
其他好文 时间：
2019-02-23 10:31:26
阅读次数：
285
前言 我一直负责公司的 nginx 日志收集，现在每天的 pv 数在10亿级别，存储大概1T（ 2 默认的 elasticsearch 5分片2副本）不到，因为开始的时候 nginx 日志也是逐渐收集的，因为是第一次做问题也比较多，想着等着我们的 ELK 平台成熟了再接应用的日志。 当前的问题 如果 ...
分类：
其他好文 时间：
2019-02-06 19:55:36
阅读次数：
207
数据采集：采用Flume收集日志，采用Sqoop将RDBMS以及NoSQL中的数据同步到HDFS上 消息系统：可以加入Kafka防止数据丢失 实时计算：实时计算使用Spark Streaming消费Kafka中收集的日志数据，实时计算结果大多保存在Redis中 机器学习：使用了Spark MLlib ...
分类：
其他好文 时间：
2019-01-04 14:49:53
阅读次数：
154
一、Flume是什么 Flume是一个数据，日志收集的一个组件，可以用于对程序，nginx等日志的收集，而且非常简单，省时的做完收集的工作。Flume是一个分布式、可靠、和高可用的海量日志采集聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集日志，同时Flume对日志做简单的处理。 Fl ...
分类：
Web程序 时间：
2018-12-30 13:59:48
阅读次数：
189
Filebeat是一个轻量级的托运人，用于转发和集中日志数据。Filebeat作为代理安装在服务器上，监视您指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或Logstash进行索引。以下是Filebeat的工作原理：启动Filebeat时，它会启动一个或多个输入，这些输入将查找您为日志数据指定的位置。对于Filebeat找到的每个日志，Filebeat启动一个收集器。
分类：
其他好文 时间：
2018-12-21 13:04:27
阅读次数：
251
启动项目报错 报错原因：项目启动内存不足 解决办法 修改项目启动内存 java Xms1048m Xmx1048m Xss512k jar xxx.jar 参数解释 ...
分类：
编程语言 时间：
2018-11-30 14:07:53
阅读次数：
484
一、概述 使用elasticsearch收集日志进行处理，时间久了，很老的数据就没用了或者用途不是很大，这个时候就要对过期数据进行清理.这里介绍两种方式清理这种过期的数据。 1、curator 关于版本： 安装： https://www.elastic.co/guide/en/elasticsear ...
分类：
其他好文 时间：
2018-11-23 20:37:44
阅读次数：
747
一、Filebeat介绍 Filebeat是一种轻量型，开源的日志采集工具，安装于客户端中来收集指定的日志目录，将收集的日志发送到logstash、es、redis、kafka中，来代替logstash的数据采集方案，logstash在运行过程中相当耗费服务器资源，就算没有在收集日志一样会对CPU， ...
分类：
其他好文 时间：
2018-11-21 16:01:10
阅读次数：
147
ELK搭建实时日志分析平台 导言 ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成，ELK平台可以同时实现日志收集、日志搜索和日志分析的功能。对于生产环境中海量日志信息的分析处理无疑不是一个好的解决方案。 官方网站：https://www.elastic.co/ ...
分类：
其他好文 时间：
2018-10-31 15:35:34
阅读次数：
192
