定义系统默认的日志收集还算EASY。但如何在公司项目里要配置程序员们写的自定义日志，那可能就要用到LOCAL及FILTER过滤这些东东了。。。慢慢走吧。。收集URL备用，都是讲LOCAL,TEMPLAT,FILTER比较好的CASE：http://blog.sina.com.cn/s/blog_4a...
分类：
其他好文 时间：
2015-01-26 00:02:05
阅读次数：
2414
需求：通过开源软件fluentd收集各个设备的apache访问日志到fluentd的转发服务器中，然后通过webHDFS接口，写入到hdfs文件系统中。软件版本说明：hadoop版本：1.1.2fluentd版本：1.1.21测试环境说明：node29服务器上安装了apache，以及fluentd，作为fluentd的客户端；node1服务..
分类：
其他好文 时间：
2015-01-06 18:16:52
阅读次数：
192
什么是SLS？简单日志服务（Simple Log Service，简称SLS）是针对日志收集、存储、查询和分析的服务。用户只需简单地配置日志产生的位置和格式等信息，就能实时查询海量日志，并可通过SLS把日志归档保存到ODPS中做数据分析。SLS提供API写入和查询日志的功能，其中支持多种布尔运算的查...
分类：
其他好文 时间：
2014-12-26 18:31:28
阅读次数：
245
最近在测试hadoop+fluentd方案，但是fluentd日志收集系统，需要append功能选择，写日志到HDFS中，官方给出的解决方案是：修改hdfs-site.xml文件,增加如下行：<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>..
分类：
移动开发 时间：
2014-12-25 18:49:44
阅读次数：
750
最近接到一个日志收集的需求，经过测试和修改，目前基本实现想要的功能，记录一下。 先说一下日志收集的需求，每隔1小时收集一次log日志，按照类别生成不同的lzo压缩文件，而且生成的日志要放在到前一个小时的目录中。 拿到这个需求先想到使用flume来进行日志收集，再用Interceptor进行过...
分类：
Web程序 时间：
2014-12-17 01:34:44
阅读次数：
280
一.scribe配置参数的两种方式: 1)通过命令行,-ccommandname 2)通过指定配置文件二.全局参数 1)port:(number) scribe监听的端口 默认为0 可以通过命令行-p指定 2)max_msg_per_second:(number) 每秒最大日志并发数 默认为0,0则表示没有限制 在scribeHandler::throttleDeny..
分类：
其他好文 时间：
2014-12-15 22:06:41
阅读次数：
350
批处理脚本 android_gather.bat set curDateStr=%date:~0,4%%date:~5,2%%date:~8,2%0%time:~1,1%%time:~3,2%%time:~6,2%adb logcat -d > android_%curDateStr%.logadb...
分类：
移动开发 时间：
2014-12-06 10:06:08
阅读次数：
258
说明：本来研究开源日志的系统是flume，后来发现配置比较麻烦，网上搜索到fluentd也是开源的日志收集系统，配置简单多了，性能不错，所以就改研究这个东东了！官方主页，大家可以看看：fluentd.org，支持300+的plugins，应该是不错的！fluentd是通过hadoop中的webHDFS与HDFS进..
分类：
其他好文 时间：
2014-12-04 18:18:05
阅读次数：
497
收集vmware的日志方法：登录VMware的命令行，用root用户执行vm-support命令，系统会提示输入存储位置。建议在/tmp下运行，生成的文件格式为esx-{date&time}.{PID}.tgz解压文件后在/commands/swfw.sh.txt这个文件里可以看服务器硬件的固件和驱动版本。
分类：
系统相关 时间：
2014-12-04 15:52:50
阅读次数：
580
Your logs are your data: logstash + elasticsearch
by
Andrey Redko
on February 25th, 2013
| Filed in:
Enterprise Java
Tags: Elasticsearch,
Logging,
Logstash
Topic of today’s post stays a b...
分类：
其他好文 时间：
2014-12-03 21:38:48
阅读次数：
326
