一、安装环境agent:192.168.7.101hdfs:192.168.7.70(namenode)192.168.7.71(datanode)192.168.7.72(datanode)192.168.7.73(datanode)操作系统：CentOS6.3x86_64须用到的软件包:jdk-1.7.0_65-fcs.x86_64flume-ng-1.5.0flume-ng-agent-1.5.0hadoop-2.3.0+cdh5.1.0cat/etc/hosts19..
分类：
其他好文 时间：
2014-09-03 15:05:57
阅读次数：
252
Flume日志收集一、Flume介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。设计目标：(1) 可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。...
分类：
其他好文 时间：
2014-08-31 17:13:21
阅读次数：
295
Flume日志收集一、Flume介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。设计目标：(1) 可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。...
分类：
其他好文 时间：
2014-08-31 17:11:31
阅读次数：
353
一、首先来解读下rsyslog配置文件的含义配置文件路径/etc/rsyslog.conf在rsyslog中facility设施可以从功能或者程序上对日志分类常用的以下几种auth和认证相关的authpriv和认证授权相关的cron专门给周期性任务计划做日志记录的daemon帮守护进程做日志记录kern给内核做日志记录lp..
分类：
数据库 时间：
2014-08-31 10:36:21
阅读次数：
532
源码获取请到github：https://github.com/DrJia/AndroidLogCollector
已经做成sdk的形式，源码已公开，源码看不懂的请自行google。
如果想定制适应自己app的sdk请自行fork。
AndroidLogCollector
android
app崩溃日志收集sdk 1.0
作者：贾博士
崩溃日...
分类：
移动开发 时间：
2014-08-15 21:11:59
阅读次数：
248
来自：http://doc.okbase.net/QING____/archive/19447.htmlkafka作为分布式日志收集或系统监控服务，我们有必要在合适的场合使用它。kafka的部署包括zookeeper环境/kafka环境，同时还需要进行一些配置操作.接下来介绍如何使用kafka. 我...
分类：
其他好文 时间：
2014-08-15 09:25:47
阅读次数：
455
自己倒腾费了很大劲，但是回过头来，倒是不难，还是写下来记录一下。安装我自己安装的时候，看了一个老版本的安装手册，走了不少弯路，最后还是参考官方手册，很简单很快的就安装好了，官网地址：http://graylog2.org/。安装相关依赖包1.yum-yinstallgcc*openssl-develglib2-de..
分类：
其他好文 时间：
2014-07-30 12:31:24
阅读次数：
289
收集：各种开源的分布式日志收集系统：Scribe， Flume等等存储可以同时包含各种不同的存储类型，可根据不同的需求增减相应的存储类型：底层存储：能够存储大量的数据，最好具有可扩展性 HDFS S3等等关系存储：MySQL，Postgresql等等键值存储：HBase，Redis等等计算计算能力也...
分类：
其他好文 时间：
2014-07-30 09:48:23
阅读次数：
213
Flume简介
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
系统功能
日志收集
Flume最早是Cloud...
分类：
其他好文 时间：
2014-07-28 14:41:13
阅读次数：
491
日志分析界面：logstash（分析端）+elashsearch（存储端）+kibana（展示端）工具：进行数据整理statsd1、diamond-->statsd-->graphite2、实时收集数据的做法：logstash-->statsd-->graphite日志收集可视化(LEK)：logstash+elasticsearch+kibanalegend:logstash--》..
分类：
其他好文 时间：
2014-07-20 23:38:43
阅读次数：
696
