读文件log传入kafka中 agent.sources = s1 agent.channels = c1 agent.sinks = k1 agent.sources.s1.type=exec agent.sources.s1.command=tail -F /tmp/logs/kafka.log ...
分类：
Web程序 时间：
2018-06-21 17:38:02
阅读次数：
246
flume：是分布式、可靠、可用性好服务，用于收集、聚合、移动大量日志数据。是基于流计算的简单灵活框架，用于在线分析stream：动态计算 flume优点：1.可以和任意集中式存储进程集成2.输入的数据速率大于写入存储目的地的速度，flume会进行缓冲3.flume提供上下文路由(数据流路线)4.f ...
分类：
Web程序 时间：
2018-06-19 18:57:11
阅读次数：
439
在之前的Hadoop是什么中已经说过MapReduce采用了分而治之的思想，MapReduce主要分为两部分，一部分是Map——分，一部分是Reduce——合MapReduce全过程的数据都是以键值对的形式存在的如果你想了解大数据的学习路线，想学习大数据知识以及需要免费的学习资料可以加群：784789432.欢迎你的加入。每天下午三点开直播分享基础知识，晚上20:00都会开直播给大家分享大数据项目
分类：
其他好文 时间：
2018-06-15 22:43:07
阅读次数：
183
一、 基本的离线数据处理架构： 数据采集 Flume：Web日志写入到HDFS 数据清洗 脏数据 Spark、Hive、MR等计算框架来完成。 清洗完之后再放回HDFS 数据处理 按照需要，进行业务的统计和分析。 也通过计算框架完成 处理结果入库 存放到RDBMS、NoSQL中 数据可视化 通过图形 ...
分类：
数据库 时间：
2018-06-15 00:02:22
阅读次数：
386
flume 1.7在windows下的安装与运行 一、安装 安装java，配置环境变量。 安装flume，flume的官网http://flume.apache.org/，下载地址，下载后直接解压即可。 二、运行 创建配置文件：在解压后的文件apache-flume-1.6.0-bin/conf下创 ...
每个flume agent包含三个主要组件：source、channel、sink。 Source是从一些其他产生数据的应用中接收数据的活跃组件，有自己产生数据的source，不过这些source通常用于测试目的，source可以监听一个或者多个网络端口，用于接收数据或者可以从本地文件系统读取数据， ...
分类：
Web程序 时间：
2018-06-08 19:24:31
阅读次数：
895
问题导读1.什么是flume2.flume的官方网站在哪里？3.flume有哪些术语？4.如何配置flume数据源码？ 一、什么是Flume? flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（origi ...
分类：
Web程序 时间：
2018-06-03 00:59:12
阅读次数：
261
一、需求利用flume采集Linux下的文件信息，并且传入到kafka集群当中。环境准备zookeeper集群和kafka集群安装好。二、配置flume官网下载flume。博主自己这里使用的是flume1.6.0。官网地址http://flume.apache.org/download.html解压... ...
分类：
Web程序 时间：
2018-06-03 00:02:50
阅读次数：
236
一 介绍 1.1 概述 Apache Flume是为有效收集聚合和移动大量来自不同源到中心数据存储而设计的可分布，可靠的，可用的系统。 Apache Flume的用途不仅限于日志数据聚合。由于数据源是可定制的，Flume可用于传输大量事物数据包括但不限于网络流量数据，社交媒体产生的数据，Email消 ...
分类：
Web程序 时间：
2018-06-03 00:01:51
阅读次数：
227
如果在一个界面里，可以是单个项目 注意：本文是以gradle项目的方式来做的！ 如何在IDEA里正确导入从Github上下载的Gradle项目（含相关源码）（博主推荐）（图文详解） 注意：本文是以maven项目的方式来做的！ 如何在IDEA里正确导入从Github上下载的Maven项目（含相关源码） ...
分类：
系统相关 时间：
2018-05-31 14:38:18
阅读次数：
273
