视频课程包含： 十八掌徐培成老师就业班全套大数据视频共86G包含：Hadoop、Hive、Linux、Hbase、ZooKeeper、Pig、Sqoop、Flume、kafka、Scala、Spark、R语言基础、Storm基础、Redis基础、项目 等等！ 2018最火的可能就数大数据了，这里给大 ...
分类：
编程语言 时间：
2018-04-07 17:44:18
阅读次数：
534
Tomcat生产日志 Flume抓取日志下沉到kafka中 agent.sinks = k1 agent.sources = s1 agent.sources = s1 agent.channels = c1 agent.sinks = k1 agent.sources.s1.type=exec a ...
分类：
Web程序 时间：
2018-03-27 01:51:59
阅读次数：
346
日志采集异常，生产报错误日志： (org.apache.flume.source.SpoolDirectorySource$SpoolDirectoryRunnable.run:280) - FATAL: Spool Directory source spool_source: { spoolDir ...
分类：
Web程序 时间：
2018-03-14 17:00:11
阅读次数：
1091
一.Flume是什么？Flume是一个分布式，可靠的系统。它能够高效的收集，整合数据，还可以将来自不同源的大量数据移动到数据中心存储。Flume是Apache下的一个顶级项目。Flume不仅可以收集整合日志数据，因为数据源是可以自定义的，Flume能够用于传输大量日志数据，这些数据包含到不仅限于网络传输数据、社交媒体生成的数据、邮件信息等等。当前的版本有0.9.x和1.x。新版本具有更加灵活的配置
分类：
Web程序 时间：
2018-03-13 19:09:08
阅读次数：
215
一、实时业务指标分析 1.业务 业务： 订单系统 >MQ >Kakfa >Storm 数据：订单编号、订单时间、支付编号、支付时间、商品编号、商家名称、商品价格、优惠价格、支付金额 统计双十一当前的订单金额，订单数量，订单人数 订单金额（整个网站，各个业务线，各个品类，各个店铺，各个品牌，每个商品） ...
分类：
Web程序 时间：
2018-03-12 21:16:36
阅读次数：
229
一、官网教程案例学习 Kafka — 分布式消息队列 消息系统 消息中间件：缓冲于生产与消费中间 缓冲满了，可以进行Kafka的扩容 特性： 水平扩展性、容错性、实时、快 Kafka架构： 理解producer、consumer、broker（缓冲区）、topic（标签） 一个配置文件（server ...
分类：
其他好文 时间：
2018-03-11 17:38:13
阅读次数：
182
一、Flume基础部分： Flume -- 日志收集框架 产生背景： 日志分散到各个机器上，又想用大数据平台进行统计分析 从其他server把日志移动收集到集群上，并能够监控，需要有时效性、容错性、负载均衡 Flume 一般通过配置configuration file，来实现各种数据的收集 概述： ...
分类：
Web程序 时间：
2018-03-11 17:24:50
阅读次数：
204
WIN7+Ubuntu16.04+Flume1.8.0 1.下载apache-flume-1.8.0-bin.tar.gz http://flume.apache.org/download.html 2.解压到/usr/local/flume中 3.设置配置文件/etc/profile文件，增加fl ...
分类：
Web程序 时间：
2018-03-05 20:46:23
阅读次数：
237
