如果现在要想将flume中的sink设置为kafka，因为在实际的开发中，可能会有若干个子系统或者若干个客户端进行flume日志采集，那么能够承受这种采集任务量的只有kafka来完成，可是需要注意一个问题，现在的kafka是采用了Kerberos认证，所以要想在flume之中去使用kafka操作，就 ...
分类：
Web程序 时间：
2020-07-03 01:11:20
阅读次数：
154
Kafka在实际的开发之中的确可以处理千万级别的数据，但是现在有一个问题，这些数据从哪里来呢？Kafka产生的初衷是进行数据的收集以及合理的消费，但是这些实际之中的数据我们应该如何获取，我们该用什么样的方式来获取，而且最关键的是，如果现在是一个已经成型的系统(SSH、SSM、Spring)，那么这个 ...
分类：
Web程序 时间：
2020-07-01 12:37:05
阅读次数：
61
事务简介 事物的定义 事务（Transaction）是由一系列对系统中数据进行访问或更新的操作所组成的一个程序执行逻辑单元（Unit）。在计算机术语中，事务通常就是指数据库事务 。 在数据库管理系统（DBMS）中，事务是数据库恢复和并发控制的基本单位。它是一个操作序列，这些操作要么都执行，要么都不执 ...
分类：
其他好文 时间：
2020-06-30 12:48:19
阅读次数：
48
大数据技术为决策提供依据，在政府、企业、科研项目等决策中扮演着重要的角色，在社会治理和企业管理中起到了不容忽视的作用，很多国家，如中国、美国以及欧盟等都已将大数据列入国家发展战略，微软、谷歌、百度以及亚马逊等大型企业也将大数据技术列为未来发展的关键筹码，可见，大数据技术在当今乃至未来的重要性！ 大数 ...
分类：
其他好文 时间：
2020-06-29 11:48:57
阅读次数：
47
一、概述 1.Flume是Apache提供的开源的、分布式的、可靠的日志收集系统 2.能够有效的收集、聚合、传输大量的日志数据 3.flume有2个版本：flume-og(flume09x)和flume-ng(flume1.x)，flume-og和flume-ng不兼容 二、基本概念 1.Event ...
分类：
Web程序 时间：
2020-06-28 15:19:31
阅读次数：
62
需求，将TEST1，TEST2用户下所有表授权给 test用户，包括往后新建的表。ps：生产库慎用，最好不用； create or replace trigger ddl_triafter create on databasedeclarePRAGMA AUTONOMOUS_TRANSACTION; ...
分类：
其他好文 时间：
2020-06-28 09:40:43
阅读次数：
127
第一层Flume 从 source-> KAFKA .[kafka作为channel] 1.安装的 Flume是1.7的版本 安装略 日志文件分为两种一种是启动日志，一种是事件日志. 通过selector选择器把这两个日志分开，并且过滤一些空数据. 我们先写选择器吧. 1. 建立一个工程. mave ...
分类：
Web程序 时间：
2020-06-28 00:08:11
阅读次数：
135
一、简介 Apache Flume 是一个分布式，高可用的数据收集系统，可以从不同的数据源收集数据，经过聚合后发送到分布式计算框架或者存储系统中。Spark Straming 提供了以下两种方式用于 Flume 的整合。 二、推送式方法 在推送式方法 (Flume-style Push-based ...
分类：
Web程序 时间：
2020-06-27 00:19:37
阅读次数：
77
需求：采集8类日志数据，并且进入es展示： 方案制定：目前数据采集通用flume+kafka模式，所以采用原有模式，一类服务进入一个topic，然后通过logstash进行数据清洗，最后进入es进行展示。 flume采用tadir 读取数据源，memory 进行缓存，kafka进行sink a1.s ...
分类：
Web程序 时间：
2020-06-26 22:29:32
阅读次数：
81
事务（transaction） 事务：一个最小的不可再分的工作单元；通常一个事务对应一个完整的业务(例如银行账户转账业务，该业务就是一个最小的工作单元)一个完整的业务需要批量的DML(insert、update、delete)语句共同联合完成。 事务只和DML语句有关，或者说DML语句才有事务。这个 ...
分类：
其他好文 时间：
2020-06-26 20:11:11
阅读次数：
53
