1、Flume简单介绍 Apache Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 2、Flume体系结构 ...
分类：
Web程序 时间：
2020-02-13 12:37:38
阅读次数：
78
RabbitMQ topic 在之前我们将交换器的类型从fanout设置为direct后能够根据我们的选择获得响应的消息，虽然改良我们的消息日志系统，但是还有很多局限性，比如它不能基于多个标准进行路由 在我们的日志系统中我们可能不仅仅是依据消息的严重性进行订阅，还有可能同时基于消息的危险等级和消息来 ...
分类：
其他好文 时间：
2020-02-12 18:15:15
阅读次数：
76
今天完成了实验六 安装了Flume，Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 2. 使用 Avro 数据 ...
分类：
其他好文 时间：
2020-02-05 23:06:48
阅读次数：
83
MySQL 数据库中的两阶段提交，不知道您知道不？这篇文章就简单的聊一聊 MySQL 数据库中的两阶段提交， 两阶段提交发生在数据变更期间（更新、删除、新增等），两阶段提交过程中涉及到了 MySQL 数据库中的两个日志系统：redo 日志和 binlog 文件 。 redo 日志前面已经介绍过了，就 ...
分类：
数据库 时间：
2020-02-03 14:01:27
阅读次数：
88
作者：roverliang 原文链接：MySQL备份与恢复 MySQL备份与恢复 上篇博客讲了MySQL的日志系统，这篇博客将系统的讲解MySQL备份与恢复。按照常理说这些内容都是属于DBA的职责，那么作为后端开发人员为什么要学习这些内容呢？是否与专业深度的思想相违背呢？其实作为WEB开发人员，一定 ...
分类：
数据库 时间：
2020-01-31 21:02:05
阅读次数：
114
前端 VUE 接入层 DNS：阿里云 负载均衡：lvs+nginx/SLB/ELB 逻辑层 Java、Ｃ、Ｃ++、PHP、C# 存储层 MySQL/Redis 消息中间件 nsq 代码管理 gitlab 持续集成 jenkins 项目管理 redmind 名字服务 qconf zk 日志系统 elk ...
分类：
其他好文 时间：
2020-01-28 17:31:52
阅读次数：
64
在之前的文章 "RabbitMQ入门（二）工作队列" 中，我们创建了一个工作队列。工作队列背后的假设是每一项任务都被准确地传送至一个worker。在本文中，我们将会做一些不同的事情——我们将会把一个消息发送至许多消费者中。这种模式被称为 。 为了解释这种模式，我们将会构建一个简单的日志系统。它包含两 ...
分类：
其他好文 时间：
2020-01-28 16:00:48
阅读次数：
77
redo log 和 bin log redo log 是innodb引擎特有，当有一条记录需要更新时，innodb先把记录写到redo log中，并更新内存，此时更新完成， 同时，innodb会在适当的时候把这个操作记录更新到磁盘中。 binlog（归档日志）是server层的日志 这两种日志有以 ...
分类：
数据库 时间：
2020-01-28 12:29:06
阅读次数：
86
Log4j是一种非常流行的日志框架，最新版本是2.x。 Log4j是一个组件化设计的日志系统，它的架构大致如下： log.info("User signed in."); │ │ ┌──────────┐ ┌──────────┐ ┌──────────┐ ┌──────────┐ ├──>│ Ap ...
分类：
其他好文 时间：
2020-01-09 20:52:20
阅读次数：
90
Kafka作为时下最流行的开源消息系统，被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于RocketMQ等其他常见消息系统，Kafka在保障了大部分功能特性的同时，还提供了超一流的读写性能。 针对Kafka性能方面进行简单分析，相关数据请参考：https://segmentfau ...
分类：
其他好文 时间：
2020-01-09 20:48:30
阅读次数：
79
