Kafka 的核心架构原理。 ##Kafka 分布式存储架构 那么现在问题来了，如果每天产生几十 TB 的数据，难道都写一台机器的磁盘上吗？这明显是不靠谱的啊！ 所以说，这里就得考虑数据的分布式存储了，我们结合 Kafka 的具体情况来说说。 在 Kafka 里面，有一个核心的概念叫做“Topic” ...
分类：
其他好文 时间：
2020-07-01 17:26:55
阅读次数：
67
日志主要包括系统日志、应用程序日志和安全日志等。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及故障发生的原因。分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误，因此日志的重要性不言而喻。 但是，在系统分布式后，日志通常被分散的储存不同的设备上。比如当系统 ...
基础概念 正所谓工欲善其事，必先利其器。我们先来了解一下kafka的基础构成。 producer 消息生产者，发布消息到kafka集群的终端或服务。 broker kafaka集群中包含的服务器 topic 每条发布到kafka集群的消息属于的类别，即kafka是面向topic的。 partitio ...
分类：
其他好文 时间：
2020-07-01 14:24:04
阅读次数：
73
Kafka在实际的开发之中的确可以处理千万级别的数据，但是现在有一个问题，这些数据从哪里来呢？Kafka产生的初衷是进行数据的收集以及合理的消费，但是这些实际之中的数据我们应该如何获取，我们该用什么样的方式来获取，而且最关键的是，如果现在是一个已经成型的系统(SSH、SSM、Spring)，那么这个 ...
分类：
Web程序 时间：
2020-07-01 12:37:05
阅读次数：
61
消息队列 首先做简单的引入。 MQ主要是用来： 解耦应用、 异步化消息 流量削峰填谷 目前使用的较多的有ActiveMQ、RabbitMQ、ZeroMQ、Kafka、MetaMQ、RocketMQ等。网上的资源对各种情况都有详细的解释，在此不做过多赘述。本文仅介绍如何使用Redis实现轻量级MQ的过 ...
分类：
其他好文 时间：
2020-07-01 11:03:49
阅读次数：
91
本文已收录GitHub，更有互联网大厂面试真题，面试攻略，高效学习资料等众所周知，消息队列在收发两端，主要是依靠业务代码，配合请求确认的机制，来保证消息不会丢失的。而在服务端，一般采用持久化和复制的方式来保证不丢消息。把消息复制到多个节点上，不仅可以解决丢消息的问题，还可以保证消息服务的高可用。即使某一个节点宕机了，还可以继续使用其他节点来收发消息。所以大部分生产系统，都会把消息队列配置成集群模式
分类：
其他好文 时间：
2020-07-01 09:56:57
阅读次数：
58
Linux概述 消息对列(Kafka、RabbitMQ、RockeetMQ)，缓存(Redis)，搜索引擎(ES) 集群分布式(需要购买多台服务器，如果没服务器我们就只能使用虚拟机) 我们为什么要学Linux Linux的几个优点 免费（这个是大多数人的喜欢的吧） 很多软件原生是在Linux运行的， ...
分类：
系统相关 时间：
2020-07-01 09:24:00
阅读次数：
122
本文代码使用的是Spring Boot 2.1.1.RELEASE 版本 <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version ...
分类：
编程语言 时间：
2020-06-30 13:00:18
阅读次数：
51
利用ELK搭建Docker容器化应用日志中心 概述 应用一旦容器化以后，需要考虑的就是如何采集位于Docker容器中的应用程序的打印日志供运维分析。典型的比如 SpringBoot应用的日志 收集。本文即将阐述如何利用ELK日志中心来收集容器化应用程序所产生的日志，并且可以用可视化的方式对日志进行查 ...
分类：
其他好文 时间：
2020-06-30 11:05:35
阅读次数：
50
