1 .背景 flume是由鼎鼎大名的cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程 ...
分类：
Web程序 时间：
2016-07-10 21:27:04
阅读次数：
211
https://github.com/elastic/beats-dashboards一、介绍filebeat貌似功能笔logstash更好，是下一代的日志收集器。topbeat定期收集系统信息如每个进程信息、负载、内存、磁盘等等，然后将数据发送到elasticsearch进行索引。packetbeat可以分析某个时间段mysql或者mongodb的慢查询..
分类：
其他好文 时间：
2016-07-06 18:37:49
阅读次数：
288
HDFS：分布式文件系统 MapReduce：分布式计算框架 Sqoop：数据库ETL工具 Flume：日志收集工具 Mahout：数据挖掘库 Hive：数据仓库 Pig：数据流处理 HBase：实时分布式数据库 Zookeeper：分布式协作服务 ...
分类：
其他好文 时间：
2016-07-01 20:14:23
阅读次数：
166
ELKstack简介：ELKstack是Elasticsearch、Logstash、Kibana三个开源软件的组合而成，形成一款强大的实时日志收集展示系统。各组件作用如下：Logstash：日志收集工具，可以从本地磁盘，网络服务（自己监听端口，接受用户日志），消息队列中收集各种各样的日志，然后进行过滤分析..
分类：
其他好文 时间：
2016-06-28 18:49:57
阅读次数：
457
分布式日志收集系统实践（视频教程）日志收集软件五花八门，最终用户没有精力，也不可能把所有的日志工具都拿过来试一遍，很多企业常见架构如图1所示。图1传统日志收集架构这种架构中，除了日志标准化问题、存储的性能问题，关键是在故障来临时，无法在上亿条的日志中迅速找出..
分类：
其他好文 时间：
2016-06-22 16:00:01
阅读次数：
328
利用OSSIM收集分析远程apache日志（视频教程）环境：OSSIMServer：192.168.11.228日志搜集器HttpServer：192.168.11.15日志发生器通过设置192.168.11.15机器上的rsyslog转发到192.168.11.228实现日志收集，利用apache插件归一化处理并入库分析。时长：约14分钟浏览地址：http:/..
分类：
Web程序 时间：
2016-06-20 22:29:34
阅读次数：
278
PG安装完成后默认不会记录日志，必须修改对应的（${PGDATA}/postgresql.conf）配置才可以，这里只介绍常用的日志配置。 1.logging_collector = on/off 是否将日志重定向至文件中，默认是off（该配置修改后，需要重启DB服务） DB安装完成，启动的服务进程 ...
分类：
数据库 时间：
2016-06-18 22:28:27
阅读次数：
275
场景1. flume是什么1.1 背景 flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后...
分类：
Web程序 时间：
2016-06-03 19:53:06
阅读次数：
646
Linux下日志的采集和分析是一个非常重要的工作，一般厂商都会有自己独有的命令，我这边列举下常用的两个Linux厂商的收集命令(RedhatLinux以及SuSeLinux），便于收集后，对系统进行全面分析。1.基于redhat的日志收集[root@openstack-01etc]#sosreport
sosreport(version3.2)
Thi..
分类：
系统相关 时间：
2016-06-03 16:00:25
阅读次数：
347
Linux下日志的采集和分析是一个非常重要的工作，一般厂商都会有自己独有的命令，我这边列举下常用的两个Linux厂商的收集命令(RedhatLinux以及SuSeLinux），便于收集后，对系统进行全面分析。1.基于redhat的日志收集[root@openstack-01etc]#sosreport
sosreport(version3.2)
Thi..
分类：
系统相关 时间：
2016-06-03 15:58:51
阅读次数：
432
