需求：采集8类日志数据，并且进入es展示： 方案制定：目前数据采集通用flume+kafka模式，所以采用原有模式，一类服务进入一个topic，然后通过logstash进行数据清洗，最后进入es进行展示。 flume采用tadir 读取数据源，memory 进行缓存，kafka进行sink a1.s ...
分类：
Web程序 时间：
2020-06-26 22:29:32
阅读次数：
81
Nifi生产环境使用 1、服务器日志目录内的 log 文件中,我们使用 Apache Flume 这个工具将原始数据抽取出来 kafka sink , 2、Nifi接入kafka数据。 首先做验证,然后过滤格式错误记录,然后路由不同的日志类型. nifi能做到这些的关键在于它的 flowfile 这 ...
分类：
其他好文 时间：
2020-06-23 15:17:07
阅读次数：
98
1，kafka包含3个组件：source、channel、sink source：1.7以上的版本提供了 TaildirSource，支持断点续传，1.6前的版本，需要自己开发程序，存储flume读取的文件位置，以便后续接着读取数据。 channel： FileChannel：数据存储在磁盘上，稳定 ...
分类：
Web程序 时间：
2020-06-17 11:20:34
阅读次数：
72
1.自定义sink 在flink中，sink负责最终数据的输出。使用DataStream实例中的addSink方法，传入自定义的sink类 定义一个printSink()，使得其打印显示的是真正的task号（默认的情况是task的id+1） MyPrintSink package cn._51doi ...
分类：
其他好文 时间：
2020-06-16 23:19:16
阅读次数：
61
SinkProcessor共 有 三 种 类 型 ， 分 别 是DefaultSinkProcessor 、LoadBalancingSinkProcessor 和 FailoverSinkProcessor。DefaultSinkProcessor 对 应 的 是 单 个 的 Sink ， Loa ...
分类：
Web程序 时间：
2020-06-08 18:47:07
阅读次数：
80
场景 使用Flink，从阿里云的AMQP中获取数据，然后直接写入到InfluxDB中。即： source：amqp sink：influxdb 环境 Linux：Centos8.0 Hadoop：2.8.3 Flink：1.10.0 Java：1.8.0_77 InfluxDB：1.7.1 Rock ...
分类：
编程语言 时间：
2020-06-08 10:48:29
阅读次数：
55
概念 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 模型 a)Source：采集组件，用于跟数据源对接，以获取数据 b)Sink：下沉组件，用于往下一级agent传递数据或者往最终存储系统传递数据 c)Channel：传输通道组件，用于从source将数据传递到sink ...
分类：
Web程序 时间：
2020-06-07 21:04:35
阅读次数：
67
这几天由于项目的需要，需要将Flume收集到的日志插入到Hbase中，有人说，这不很简单么？Flume里面自带了Hbase sink，可以直接调用啊，还用说么？是的，我在本博客的《Flume-1.4.0和Hbase-0.96.0整合》文章中就提到如何用Flume和Hbase整合，从文章中就看出整个过 ...
分类：
Web程序 时间：
2020-06-04 10:26:08
阅读次数：
83
在Flink的官网写着：Stateful Computations over Data Streams。 基于状态计算的数据流。 在流式计算中，希望做一些聚合分析等。那么就需要保存当前日志的状态，以备与后来的日志做比较。 在Flink中每个操作都会有状态的保存无论是source、sink还是oper ...
分类：
其他好文 时间：
2020-05-26 12:38:24
阅读次数：
87
dom base_xss [toc] DOM XSS in sink using source 题目描述 搜索功能点调用了 函数，借此函数调用 解题步骤 看着语句写payload 包围 构造payload： DOM XSS in sink using source 题目描述 这道题的搜索功能点会使用 ...
分类：
Web程序 时间：
2020-05-23 14:57:01
阅读次数：
75
