今天完成了实验六 安装了Flume，Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 2. 使用 Avro 数据 ...
分类：
其他好文 时间：
2020-02-05 23:06:48
阅读次数：
83
一、实验目的 （1）通过实验学习日志采集工具 Flume 的安装和使用方法； （2）掌握采用 Flume 作为 Spark Streaming 数据源的编程方法。 二、实验平台 操作系统： Ubuntu16.04 Spark 版本：2.1.0 Flume 版本：1.7.0 三、实验内容和要求 1.安 ...
分类：
其他好文 时间：
2020-01-27 23:56:31
阅读次数：
256
原理分析 分析 : 在采集数据的网页上进行埋点(编写一小段js用于动态生成Img标签,然后加入dom页面中，利用该标签将参数请求至服务器中) 通过img标签的src属性可以解决跨域问题将数据传递给后端服务器 后端服务器执行步骤： 1. 接受请求 , 响应图片(log.gif) 2. 解析参数 , 保 ...
分类：
其他好文 时间：
2020-01-27 21:55:21
阅读次数：
458
flume 1.1 Flume定义 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的 海量日志采集、聚合和传输的系统 。Flume基于流式架构，灵活简单。 大数据框架大致分为3类： 数据的采集和传输：flume 数据的存储：HDFS 数据的计算：MapReduce 1.2 应用场景 ...
分类：
Web程序 时间：
2020-01-23 12:37:38
阅读次数：
103
记录一下日志采集框架flume的相关内容，flume是由Cloudera开发，后面贡献给了Apache，是一个分布式的、稳定的，用于日志采集、汇聚和传输的系统，现在用的一般是1.x版本，老版本的因为用得少暂时不考虑。 基本概念 包括agent和event。 Agent 以下是数据流模型图，sourc ...
分类：
Web程序 时间：
2020-01-22 23:36:22
阅读次数：
130
本文的内容 如何用filebeat kafka es做一个好用，好管理的日志收集工具 放弃logstash，使用elastic pipeline gunicron日志格式与filebeat/es配置 flask日志格式与异常日志采集与filebeat/es配置 以上的配置 概况 我有一个HTTP请求 ...
分类：
Web程序 时间：
2019-12-24 18:55:28
阅读次数：
192
日志级别 debug、info、warn、error、critical五个级别 logging模块构成（四部分） logger（记录器，用于日志采集） Handler（处理器，将日志记录发送到合适的路径） Filter（过滤器，提供了更好的粒度控制，决定输出哪些日志记录） Formatter（格式化 ...
分类：
移动开发 时间：
2019-12-23 19:16:00
阅读次数：
197
ActiveMQ、RabbitMQ、RocketMQ、Kafka、Pulsar ActiveMQ： 单机吞吐量：万级 可用性：高，基于主从架构实现高可用性 消息可靠性：有较低的概率丢失数据 功能支持：MQ领域的功能极其完备 总结： 非常成熟，功能强大，在早些年业内大量的公司以及项目中都有应用 偶尔会 ...
分类：
其他好文 时间：
2019-12-14 19:11:44
阅读次数：
137
前情回顾 前文我们完成了日志采集系统的日志文件监控，配置文件热更新，协程异常检测和保活机制。 本节目标 本节加入kafka消息队列，kafka前文也介绍过了，可以对消息进行排队，解耦合和流量控制的作用，为什么一定要用kafka呢？主要原因就是在日志高并发读取后，如果直接将消息发给前端或者写入数据库， ...
分类：
其他好文 时间：
2019-12-06 17:38:39
阅读次数：
118
前文中已经完成了文件的监控，kafka信息读写，今天主要完成配置文件的读写以及热更新。并且规划一下系统的整体结构，然后将之前的功能串起来形成一套完整的日志采集系统。 前情提要 上一节我们完成了如下目标1 完成kafka消息读写2 借助tailf实现文件监控，并模拟测试实时写文件以及文件备份时功能无误 ...
分类：
其他好文 时间：
2019-12-02 17:08:53
阅读次数：
98
