第一层Flume 从 source-> KAFKA .[kafka作为channel] 1.安装的 Flume是1.7的版本 安装略 日志文件分为两种一种是启动日志，一种是事件日志. 通过selector选择器把这两个日志分开，并且过滤一些空数据. 我们先写选择器吧. 1. 建立一个工程. mave ...
分类：
Web程序 时间：
2020-06-28 00:08:11
阅读次数：
135
一、简介 Apache Flume 是一个分布式，高可用的数据收集系统，可以从不同的数据源收集数据，经过聚合后发送到分布式计算框架或者存储系统中。Spark Straming 提供了以下两种方式用于 Flume 的整合。 二、推送式方法 在推送式方法 (Flume-style Push-based ...
分类：
Web程序 时间：
2020-06-27 00:19:37
阅读次数：
77
需求：采集8类日志数据，并且进入es展示： 方案制定：目前数据采集通用flume+kafka模式，所以采用原有模式，一类服务进入一个topic，然后通过logstash进行数据清洗，最后进入es进行展示。 flume采用tadir 读取数据源，memory 进行缓存，kafka进行sink a1.s ...
分类：
Web程序 时间：
2020-06-26 22:29:32
阅读次数：
81
特性如下： 可线性伸缩至超过数百个节点； 实现亚秒级延迟处理； 可与Spark批处理和交互式处理无缝集成； 提供简单的API实现复杂算法； 更多的流方式支持，包括Kafka、Flume、Kinesis、Twitter、ZeroMQ等。 原理 Spark在接收到实时输入数据流后，将数据划分成批次（di ...
分类：
Web程序 时间：
2020-06-26 01:31:54
阅读次数：
136
一、作用 操作日志对于程序员或管理员而言，可以快速定位到系统中相关的操作，而对于操作日志的管理的实现不能对正常业务实现进行影响，否则即不满足单一原则，也会导致后续代码维护困难，因此我们考虑使用AOP切面技术来实现对日志管理的实现。使用SpringAOP动态代理，在不影响源代码的前提下，打印日志，源代 ...
分类：
编程语言 时间：
2020-06-25 21:39:53
阅读次数：
80
Nifi生产环境使用 1、服务器日志目录内的 log 文件中,我们使用 Apache Flume 这个工具将原始数据抽取出来 kafka sink , 2、Nifi接入kafka数据。 首先做验证,然后过滤格式错误记录,然后路由不同的日志类型. nifi能做到这些的关键在于它的 flowfile 这 ...
分类：
其他好文 时间：
2020-06-23 15:17:07
阅读次数：
98
采集数据到HDFS 安装flume在虚拟机hdp-1中, 打开SFTP-hdp-1窗口,将fllume压缩包导入到虚拟机hdp-1的/root/目录中. 解压flume压缩包到/root/apps/下,命令: tar -xvzf apache-flume-1.6.0-bin.tar.gz -C ap ...
分类：
其他好文 时间：
2020-06-23 13:03:55
阅读次数：
59
开发环境： IDE：IntelliJ IDEA 2017+ DB:? mysql5.7.4、PostgreSQL、mongoDB、redis JDK：JDK1.8+ ?Maven:Maven 3.2.3+ 技术框架：前后端分离、微服务等 ?核心框架：spring boot 2.0.0、springc ...
分类：
编程语言 时间：
2020-06-22 12:45:35
阅读次数：
159
数据来源层 数据库 日志 视频，ppt 数据传输层 Sqoop数据传递 Flume日志收集 kafka消息队列 数据存储层 HDFS文件存储 HBase非关系型数据库 kafka（存储少量数据） 资源管理层 YARN资源管理 数据计算层 MapReduce离线计算 Hive数据查询 Mahout数据 ...
分类：
其他好文 时间：
2020-06-22 00:56:04
阅读次数：
83
系统日志文件 rsyslog主要是用来收集系统产生的各种日志，日志文件默认放在/var/log目录下。 常用日志 /var/log/boot.log 存储服务启动与停止信息 /var/log/dmesg 存储系统启动时显示在屏幕的内核信息，包含了系统中硬件状态的检查信息。 /var/log/mess ...
分类：
系统相关 时间：
2020-06-21 10:11:34
阅读次数：
111
