在上家公司工作时，设计的日志收集与实时分析架构，还是比较简单的:flume-ng+rocketmq+storm+redis+前端展示消息队列部分，我们刚开始采用的是kafka，但kafka在支持回溯消费和重复消费方面比较弱，同时在数据安全方面也相对弱一些，后来我们改为阿里的rocketmq。考虑到我们的数..
分类：
其他好文 时间：
2015-05-09 20:31:03
阅读次数：
1639
常用的分布式日志收集系统：Apache Flume、Facebook Scribe、Apache Chukwa1、Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation）...
分类：
Web程序 时间：
2015-05-07 16:30:07
阅读次数：
248
在梳理团队开发流程，收集相关流程资料时，在百度文档上发现的一篇iOS软件代码规范文档；写的非常完善，具有很强操作性。百度上下载时花了一个下载币，现和大家共享。下载地址：http://download.csdn.net/detail/smallhorse87/8660881
在此基础上，我添加了客户端上线前收尾工作的备忘事项：
APP中是否装备了必备功能：统计，日志收集及发送...
分类：
移动开发 时间：
2015-05-04 20:12:32
阅读次数：
133
用户行为数据的收集无疑是构建推荐系统的先决条件，而Apache基金会下的Flume项目正是为分布式的日志收集量身打造的，本文是flume基本用法的调研笔记。
本文所用的Flume版本为目前最新版的ver1.5.2，它属于Flume-NG，在系统架构上与Flume-OG有所区别，二者的不同可以参考FlumeWiki文档的说明。
1. Flume是什么
Flume是Apache基金会下的一个开源...
分类：
Web程序 时间：
2015-04-29 19:50:05
阅读次数：
356
上篇笔记对Flume的使用场景和系统架构做了介绍，本篇笔记以实例说明Flume的配置方法。下面开始正文。
1. Flume使用实例
1.1 配置
Flume agent的3个组件及其拓扑关系是在配置文件中指定的，总的原则是必须列出source/channel/sink的name/type等重要的配置项，并通过channel将source(s)和sink(s)连接起来，此外，1个source可...
分类：
Web程序 时间：
2015-04-29 19:49:33
阅读次数：
223
简介
ELK 套装包括 ElasticSearch、LogStash 和 Kibana。 其中，ElasticSearch 是一个数据搜索引擎（基于 Apache Lucene）+分布式 NoSQL 数据库；LogStash 是一个消息采集转换器，类似 Syslog，可以接收包括日志消息在内的多种数据格式，然后进行格式转换，发送给后端继续处理；Kibana 是一个 Web 前段，带有强大...
分类：
其他好文 时间：
2015-04-28 11:51:18
阅读次数：
511
Hadoop大数据零基础实战培训教程一，教程内容：1，Hadoop2.0YARN深入浅出系列2，Avro数据序列化系统3，Chukwa集群监控系统4，Flume日志收集系统5，Greenplum架构6，Hadoop的起源7，Hadoop商业应用案例8，HBase案例分析9，HBase编程实践10，M...
分类：
其他好文 时间：
2015-04-26 12:05:41
阅读次数：
209
但对于很多中小企业来说，本身的设备也不是太多，也就几台到几十台而已，如果花费太多的精力去搞安全也不划算，如果不搞又感觉不放心。那什么方面的内容是中小企业关注的呢？个人认为应该优先关注访问安全，就是有没有人非法访问你的服务器，因为在云平台下，任何人只要接入网络都可以访问到你的机器。所以我认为应该优先关注此信息，报告非上班时间访问，非上班地点访问，密码猜测，账号猜测，账号猜测成功等行为。从我了解的情况下，这部分目前还没有比较有效的开源或者免费工具供大家使用，现在elk用的比较多，但大多数情况下都不太适合中小公司...
分类：
其他好文 时间：
2015-04-26 09:16:32
阅读次数：
133
1. flume 的基本概念
本文中所有与 flume 相关术语都采用斜体英文表示，这些术语的含义如下所示。
flume 一个可靠的，分布式的，用于采集，聚合，传输海量日志数据的工具。
Web Server 一个产生 Events/数据 的客户端。
Agent flume 系统中的一个节点，它主要包含三个部件：Source, Channel...
分类：
Web程序 时间：
2015-04-24 22:43:31
阅读次数：
263
START：Flume是Cloudera提供的一个高可用的、高可靠的开源分布式海量日志收集系统，日志数据可以经过Flume流向需要存储终端目的地。这里的日志是一个统称，泛指文件、操作记录等许多数据。一、Flume基础理论1.1 常见的分布式日志收集系统 Scribe是facebook开源的日志收集....
分类：
Web程序 时间：
2015-04-22 01:51:13
阅读次数：
166
