1.flume的基础介绍（1）常用的数据收集工具 -Chukwa（Apache） -Scribe（Facebook） -Fluentd：Fluentd使用C/Ruby开发，使用JSON文件来统一日志数据。 -Logstash（著名的开源数据栈ELK（ElasticSearch，Logstash，Kibana）中
分类：
Web程序 时间：
2019-01-17 14:09:05
阅读次数：
215
这里主要介绍从MongoDB同步数据到ODPS。ruby环境的搭建以及fluent_plugin_mongo_odps插件的安装。 ...
分类：
其他好文 时间：
2019-01-15 14:24:44
阅读次数：
352
1、报错：buffer flush took longer time than slow_flush_log_threshold 解决方法：去掉buffer中的 time_key参数，restart ...
分类：
其他好文 时间：
2019-01-09 17:29:40
阅读次数：
772
DaemonSet 保证在每个 Node 上都运行一个容器副本，常用来部署一些集群的日志、监控或者其他系统管理应用。下面以日志收集 fluentd 为例，看下如何使用阿里云容器服务控制台创建DaemonSet。 准备Kubernetes环境 在阿里云容器服务控制台中创建Kubernetes 集群(1 ...
分类：
其他好文 时间：
2019-01-05 21:31:53
阅读次数：
197
S3日志拉取这里是S3插件的官方文档https://github.com/fluent/fluent-plugin-s3使用前，我们需要安装好S3插件我们因为从AWS的S3里拉取日志，需要在AWS上做一些配置：1.我们需要创建一个SQS的队列，然后授予每个桶SQS的权限。2.还需要给每个桶添加事件通知，这样S3桶一有更新，就会把更新扔到SQS里面。<source>@types3aws_
分类：
其他好文 时间：
2018-11-14 19:08:05
阅读次数：
264
主机安装td-agentcurl-Lhttps://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh|shyumremove应用名docker命令总结docker安装fluentd的官方文档https://hub.docker.com/r/fluent/fluentd执行这条命令拉取dockerimages，并运行dockerrun-
分类：
其他好文 时间：
2018-11-14 19:02:53
阅读次数：
734
利用tail内置插件来获取日志tail插件相当于tail-f，它会不断的获取更新的日志，<source>@typetailpath/log-dir/*-app.logpos_file/log-dir/app.log.postagidaasrefresh_interval10sread_from_headtruepath_keypath<parse>@typejson#把日志
分类：
其他好文 时间：
2018-11-14 18:58:31
阅读次数：
289
一、flume特点 flume是目前大数据领域数据采集的一个利器，当然除了flume还有Fluentd和logstash，其他的目前来说并没有深入的了解，但是我觉得flume能够在大数据繁荣的今天屹立不倒，应该有以下几点： 1. Flume可以将应用产生的数据存储到任何集中存储器中，完美的介入HDF ...
分类：
Web程序 时间：
2018-11-12 17:36:19
阅读次数：
239
安装方法： 详细文档： tag是什么？在fluentd中事件流可以通过tag来控制，filter，parse，match，label都可以筛选tag来处理对应的event rewrite-tag根据key的值来重写tag，支持正则表达式匹配，invert支持反向匹配，可以放在末尾来匹配所有不符合上面 ...
分类：
其他好文 时间：
2018-11-07 23:14:00
阅读次数：
421
