主要用于各业务后端服务的日志采集，windows环境和linux环境都支持。 rpm -ivh http://nxlog.co/system/files/products/files/1/nxlog-ce-2.9.1716-1_rhel6.x86_64.rpm rpm -qa |grep nxlog ...
分类：
其他好文 时间：
2017-11-20 14:28:06
阅读次数：
502
在具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程： 从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。 ...
分类：
Web程序 时间：
2017-11-06 21:27:05
阅读次数：
188
Flume概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 Flume主要由3个重要的组件购成： Source:完 ...
分类：
Web程序 时间：
2017-11-03 17:11:25
阅读次数：
268
1.JDK的安装参考jdk的安装，此处略。2.安装Zookeeper参考我的Zookeeper安装教程中的“完全分布式”部分。3.安装Kafka参考我的Kafka安装教程中的“完全分布式搭建”部分。4.安装Flume参考我的Flume安装教程。5.配置Flume5.1.配置kafka-s.cfg$cd/software/flume/conf/#切换到kafk..
分类：
Web程序 时间：
2017-10-30 21:04:32
阅读次数：
1233
Flume是Cloudera提供的日志收集系统，具有分布式、高可靠、高可用性等特点，对海量日志采集、聚合和传输，Flume支持在日志系统中制定各类数据发送，同时，Flume提供对数据进行简单处理，并写到各种数接受方的能力。其设计的原理也是基于将数据流，如日志数据从各种网站服务器上汇集起来存储到HDF ...
分类：
Web程序 时间：
2017-10-18 16:11:43
阅读次数：
307
概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中 一般的采集需求，通过对flume的简单配置即可实现 Flume针对特殊 ...
分类：
Web程序 时间：
2017-09-26 23:33:07
阅读次数：
275
日志对大型应用系统或者平台尤其重要，系统日志采集、分析是系统运维、维护及用户分析的基础。 一、系统日志分类 一般系统日志可分为三大类： 1、用户行为日志：通过采集系统用户使用系统过程中，一系列的操作日志。 2、业务变更日志：特定业务场景需要，采集某用户在某时使用某功能，对某业务（对象、数据）进行某操 ...
分类：
Web程序 时间：
2017-09-12 09:54:22
阅读次数：
170
shell日志采集 需求说明 点击流日志每天都10T，在业务应用服务器上，需要准实时上传至数据仓库（Hadoop HDFS）上 需求分析 一般上传文件都是在凌晨24点操作，由于很多种类的业务数据都要在晚上进行传输，为了减轻服务器的压力，避开高峰期。 如果需要伪实时的上传，则采用定时上传的方式 技术分 ...
分类：
其他好文 时间：
2017-09-09 22:33:26
阅读次数：
216
1. Flume简介 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 当前Flume有两个版本Flume 0. ...
分类：
Web程序 时间：
2017-09-02 16:47:41
阅读次数：
912
1，项目图如下： 2， 实现过程 启动zookeeper（三台）： 启动kafka（三台）： 在131中创建access的topic： 查看创建的主题： 启动flume： ...
分类：
其他好文 时间：
2017-09-01 23:06:18
阅读次数：
185
