1，kafka包含3个组件：source、channel、sink source：1.7以上的版本提供了 TaildirSource，支持断点续传，1.6前的版本，需要自己开发程序，存储flume读取的文件位置，以便后续接着读取数据。 channel： FileChannel：数据存储在磁盘上，稳定 ...
分类：
Web程序 时间：
2020-06-17 11:20:34
阅读次数：
72
scribe_百度百科 https://baike.baidu.com/item/scribe flume（日志收集系统）_百度百科 https://baike.baidu.com/item/flume/6250098 Kafka（科技术语）_百度百科 https://baike.baidu.com ...
分类：
其他好文 时间：
2020-06-16 20:48:33
阅读次数：
58
不同的视频APP可能和不同公司的ADX有股份关系，甚至，有的视频APP做大了，可以用自己的ADX，那从app到ADX的数据可以直接对接，否则就要有合作，然后ADX对接广告投放引擎 广告投放引擎（也就是媒体服务器）对接多个媒体的数据， （从广告投放引擎，怎么将数据Flume到hdfs，这个不清楚） 这 ...
分类：
其他好文 时间：
2020-06-14 23:24:11
阅读次数：
133
一、SPringAOP的使用 技术概述，描述这个技术是做什么？学习该技术的原因，技术的难点在哪里。 为了实现项目管理员端的操作数据库日志，便于方便所以利用Spring框架的AOP机制进行实现，项目的难点在于如果设置切入点，如何获取参数。 技术详述，描述你是如何实现和使用该技术的，要求配合代码和流程图 ...
分类：
编程语言 时间：
2020-06-14 16:30:18
阅读次数：
89
1.导入jar包 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-logging</artifactId> </dependency> 2.创建logback-sprin ...
分类：
编程语言 时间：
2020-06-14 12:33:53
阅读次数：
78
Hadoop权威指南 第四版 大数据越来越热。Hadoop技术是大数据技术的基础。 掌握了大数据技术，就意味着可以轻松找到高薪工作。 人工智能、机器学习都是基于大数据。 There are new chapters covering YARN (Chapter 4), Parquet (Chapte ...
分类：
其他好文 时间：
2020-06-13 10:25:14
阅读次数：
618
#概述 MySQL提供了丰富的日志 事务日志：transaction log 事务日志的写入类型为“追加”，因此其操作为“顺序IO”；通常也被称为：预写式日志 write ahead logging 事务日志文件： ib_logfile0， ib_logfile1 错误日志 error log 通用 ...
分类：
数据库 时间：
2020-06-10 18:49:23
阅读次数：
63
SinkProcessor共 有 三 种 类 型 ， 分 别 是DefaultSinkProcessor 、LoadBalancingSinkProcessor 和 FailoverSinkProcessor。DefaultSinkProcessor 对 应 的 是 单 个 的 Sink ， Loa ...
分类：
Web程序 时间：
2020-06-08 18:47:07
阅读次数：
80
概念 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 模型 a)Source：采集组件，用于跟数据源对接，以获取数据 b)Sink：下沉组件，用于往下一级agent传递数据或者往最终存储系统传递数据 c)Channel：传输通道组件，用于从source将数据传递到sink ...
分类：
Web程序 时间：
2020-06-07 21:04:35
阅读次数：
67
journalctl 日志查看方法 来源：https://www.cnblogs.com/leigepython/p/10302056.html 1 概述 日志管理工具journalctl是centos7上专有的日志管理工具，该工具是从message这个文件里读取信息。Systemd统一管理所有Un ...
分类：
系统相关 时间：
2020-06-05 10:21:24
阅读次数：
106
