技巧 1、查看flume的metrics，确定每个flume节点数据是否被接收以及发送： {"SOURCE.src-1":{"OpenConnectionCount":"0", //目前与客户端或sink保持连接的总数量(目前只有avro source展现该度量)"Type":"SOURCE","A ...
分类：
Web程序 时间：
2020-07-08 15:23:06
阅读次数：
101
Linux部分 ①列举你使用的常用指令？ ②怎么查看服务是否开启？后面的参数都是什么意思？ ③怎么查看服务器内存使用情况？ ④日志查看指令？ ⑤跨机房怎么传输文件？ Hadoop部分 ①怎么搭建一个Hadoop集群？ ②Hadoop的Shuffer机制？ ③切片概念？文件256M时，几个切片？ ④M ...
分类：
其他好文 时间：
2020-07-08 13:03:03
阅读次数：
59
一.简单实现 需求：根据 flume 监控 exec 文件的追加数据，写入 kafka 的 test-demo 分区,然后启用 kafka-consumer 消费 test-demo 分区数据。 需求分析 1）flume的配置文件 在hadoop102上创建flume的配置文件 # define a ...
分类：
Web程序 时间：
2020-07-07 23:22:58
阅读次数：
79
MySQL5.6.37版本，某人在测试环境主库误操作执行删表操作，导致主从断开，在从库查看主从信息如下： Last_Errno: 1837 Last_Error: Worker 3 failed executing transaction '' at master log mysql-bin.013 ...
分类：
数据库 时间：
2020-07-07 19:32:13
阅读次数：
102
#TCL /* 事务控制语言 事务：一个或一组sql语句组成一个执行单元，每条sql语句相互依赖 这个执行单元要么全部执行、要么全部失败后回滚 案例：转账 事务的acid属性 1.原子性：事务时一个不可分割的工作单位 2.一致性：事务必须使数据库从一个一致性状态转换为另一个一致性状态 3.隔离性：一 ...
分类：
数据库 时间：
2020-07-07 17:52:20
阅读次数：
79
DROP PROCEDURE IF EXISTS proc_tempPro; CREATE PROCEDURE proc_tempPro () BEGIN START TRANSACTION; -- 学生表 DROP TABLE IF EXISTS student; CREATE TABLE stu ...
分类：
数据库 时间：
2020-07-06 16:32:46
阅读次数：
143
Agent的配置文件最好根据Flume的拓扑架构，依次写好每个节点的配置文件； 一.Agent 开头都是先要定义agent，sorce，channel，sink名 # Name the components on this agent（ 描述这个Agent，给各个组件取名字） a1.sources ...
分类：
Web程序 时间：
2020-07-06 01:18:20
阅读次数：
133
环境：cdh集群5.15 ，redhat7 有一台zookeeper无法启动，查看日志报错如下 2020-07-04 14:24:23,880 ERROR org.apache.zookeeper.server.persistence.Util: Last transaction was parti ...
分类：
数据库 时间：
2020-07-04 17:03:20
阅读次数：
125
一.Flume定义 ? Flume是Cloudera公司提供的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 ? Flume最主要的作用就是，实时读取服务器的本地磁盘的数据，将数据写入到HDFS。 二.Flume基础架构 ? Flume基本组成架构如下 ...
分类：
Web程序 时间：
2020-07-03 23:51:14
阅读次数：
112
OLTP（on-line transaction processing）翻译为联机事务处理， OLAP（On-Line Analytical Processing）翻译为联机分析处理。从字面上来看OLTP是做事务处理，OLAP是做分析处理。从对数据库操作来看，OLTP主要是对数据的增删改，OLAP是... ...
分类：
其他好文 时间：
2020-07-03 17:08:45
阅读次数：
52
