Hadoop家族学习路线图 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Ooz ...
分类：
其他好文 时间：
2017-08-09 12:53:05
阅读次数：
232
概述 Spark Streaming 支持多种实时输入源数据的读取，其中包括Kafka、flume、socket流等等。除了Kafka以外的实时输入源，由于我们的业务场景没有涉及，在此将不会讨论。本篇文章主要着眼于我们目前的业务场景，只关注Spark Streaming读取Kafka数据的方式。 S ...
分类：
其他好文 时间：
2017-08-08 15:17:44
阅读次数：
410
如果说大数据中分布式收集日志用的是什么，你完全可以回答Flume！（面试小心问到哦） 首先说一个复制本服务器文件到目标服务器上，需要目标服务器的ip和密码： 命令： scp filename ip:目标路径 一 概述 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚 ...
分类：
Web程序 时间：
2017-08-07 10:02:36
阅读次数：
282
一、什么是Flume? flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、 ...
分类：
Web程序 时间：
2017-08-01 16:35:15
阅读次数：
256
消息通过各种方式进入到Kafka消息中间件，比如可以通过使用Flume来收集日志数据，然后在Kafka中路由暂存，然后再由实时计算程序Storm做实时分析，最后将结果保存在HDFS中，这时我们就需要将在Storm的Spout中读取Kafka中的消息，然后交由具体的Spot组件去分析处理。下面开发一个 ...
分类：
其他好文 时间：
2017-07-31 19:52:51
阅读次数：
1616
学习如何将数据导入到 Apache Hadoop 机群并使用 Spark、Hive、Flume、Sqoop、Impala 及其他 Hadoop 生态系统工具对数据进行各种操作和处理分析，Spark and Hadoop开发员培训(CCA-175)报名平台活动家。 ...
分类：
其他好文 时间：
2017-07-28 12:12:57
阅读次数：
400
Flume是一个分布式的，效率高的用来收集日志数据的开源框架。它的架构是基于流式数据，有3个重要的组件，分别是Source，Channel和Sink。 Flume架构和特点 Flume架构图如上，非常简单。 一个Flume的事件(event)表示数据流中的一个单位，它会带有字节数据和可选的字符串属性 ...
分类：
Web程序 时间：
2017-07-27 09:37:27
阅读次数：
192
简单概述 最近在了解ELK做日志采集相关的内容，这篇文章主要讲解通过filebeat来实现日志的收集。日志采集的工具有很多种，如fluentd, flume, logstash,betas等等。首先要知道为什么要使用filebeat呢？因为logstash是jvm跑的，资源消耗比较大，启动一个log ...
分类：
其他好文 时间：
2017-07-26 18:10:59
阅读次数：
1037
filebeat用于是日志收集，感觉和 flume相同，但是用go开发，性能比较好 在2.4版本中， 客户机部署logstash收集匹配日志，传输到 kafka，在用logstash 从消息队列中抓取日志存储到elasticsearch中。 但是在 5.5版本中，使用filebeat 收集日志，减少 ...
分类：
其他好文 时间：
2017-07-26 17:38:52
阅读次数：
976
KafKa+Zookeeper+Flume部署脚本 愿意了解框架技术或者源码的朋友直接求求交流分享技术：2042849237 ...
分类：
Web程序 时间：
2017-07-26 13:35:55
阅读次数：
161
