分布式 分布式服务：Dubbo+Zookeeper+Proxy+Restful 分布式消息中间件：KafKa+Flume+Zookeeper 分布式缓存：Redis 分布式文件：FastDFS 负载均衡：Keepalived+Nginx+Proxy(三重负载) JEESZ UI 基于Bootstra ...
分类：
其他好文 时间：
2017-05-16 10:57:42
阅读次数：
165
一、Flume简介 Flume是一个分布式的、高可用的海量日志收集、聚合和传输日志收集系统，支持在日志系统中定制各类数据发送方（如：Kafka，HDFS等），便于收集数据。其核心为agent，agent是一个java进程，运行在日志收集节点。 agent里面包含3个核心组件：source、chann ...
分类：
Web程序 时间：
2017-05-14 21:37:29
阅读次数：
342
转自：http://www.cnblogs.com/yurunmiao/p/5195754.html 目前平台使用Kafka + Flume的方式进行实时数据接入，Kafka中的数据由业务方负责写入，这些数据一部分由Spark Streaming进行流式计算；另一部分数据则经由Flume存储至HDF ...
分类：
Web程序 时间：
2017-05-14 15:26:39
阅读次数：
365
喜欢学习的朋友可以收藏 愿意了解框架技术或者源码的朋友直接加求求（企鹅）：2042849237 ...
分类：
Web程序 时间：
2017-05-11 16:58:53
阅读次数：
169
转载请注明原文出处：http://www.cnblogs.com/lighten/p/6830439.html 1.简介 该文主要是翻译官方的相关文档，源地址点击这里。介绍一下Flume的一些基本知识和搭建方法。 Apache Flume是一种分布式，可靠和可用的系统，用于高效收集，聚合和将许多不同 ...
分类：
Web程序 时间：
2017-05-10 09:42:55
阅读次数：
241
Overview Flume：一个分布式的，可靠的，可用的服务，用于有效地收集、聚合、移动大规模日志数据 我们搭建一个flume + Spark Streaming的平台来从Flume获取数据，并处理它。 有两种方法实现：使用flume-style的push-based方法，或者使用自定义的sink ...
分类：
Web程序 时间：
2017-05-09 12:32:54
阅读次数：
218
一、日志采集：从网络端口接收数据，下沉到logger 文件netcat-logger.conf: 启动命令：#告诉flum启动一个agent,指定配置参数, --name:agent的名字,flume-ng agent --conf conf --conf-file conf/netcat-logg ...
分类：
Web程序 时间：
2017-05-08 16:07:49
阅读次数：
186
因为docker产生的容器不是一个永久存储的文件，所以无法保证你的文件永久保存。建议大家把容器产生的日志通过fluentd，flume，logstash等工具传送到一个日志仓库，这样保证方便保证数据的安全和管理。由于docker官方的推荐，我们本次讲解是fluentd日志收集组件。具体使用如下：..
分类：
其他好文 时间：
2017-05-05 23:15:08
阅读次数：
1798
一、Spark Streaming的介绍??Spark Streaming是Spark 核心API的扩展，可实现实时数据流的可扩展，高吞吐量，容错流处理。 数据可以从诸如Kafka，Flume，Kin...
分类：
其他好文 时间：
2017-05-05 01:05:21
阅读次数：
348
介绍 概述 Apache Flume是一个用来从非常多不同的源有效地收集。聚集和移动大量的日志数据到一个中心数据仓库的分布式的，可靠的和可用的系统。 Apache Flume是Apache软件基金会的顶级项目。眼下有两个可获得的公布代码路线，0.9.x版本号和1.x版本号。本文档适用于1.x代码线。 ...
分类：
Web程序 时间：
2017-04-29 15:08:58
阅读次数：
263
