1. 概述 Kafka是一个分布式、支持分区的、多副本的,基于zookeeper协调的分布式消息系统。 2. Kafka的特性 (1)高吞吐量、低延迟:Kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒,每个主题topic可以分为多个分区partition,消费者组consumer grou ...
分类:
其他好文 时间:
2020-03-01 19:38:00
阅读次数:
72
序言 主要学习方向 Kafka 分布式消息系统 Redis 缓存数据库 Storm 流式计算 1.Storm 的基本概念 2.Storm 的应用场景 3.Storm 和Hadoop的对比 4.Storm 集群的安装的linux环境准备 5.zookeeper集群搭建 6.Storm 集群搭建 7.S ...
分类:
其他好文 时间:
2020-02-23 11:38:34
阅读次数:
61
该系列总览: Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览 紧接着上一篇文章: Hadoop3.1.1源码Client详解 : Packet入队后消息系统运作之DataStreamer(Packet发送) : 主干 本文均是对DataStreamer的proce ...
分类:
其他好文 时间:
2020-02-22 19:49:40
阅读次数:
61
背景 Javashop电商系统的消息总线使用的事rabbitmq,在订单创建、静态页生成、索引生成等等业务中大量采用异步消息系统,这个对于mq高可用的要求有两个重要的考量: 1、集群化 2、可扩容 3、冗灾 冗灾就要实现rabbitmq的持久化,要考虑到rabbitmq宕机的情况,当rabbitmq ...
分类:
Web程序 时间:
2020-02-22 15:38:52
阅读次数:
226
kafka 分布式,基于zookeeper协调的分布式消息系统,支持分区(partition)多副本(replica) 每秒10万的吞吐量,零拷贝,不经过内存 端口默认9092 1、消费者 producer 自己决定向哪个partition生产消息,两种机制:hash,轮询 2、partiton 分 ...
分类:
其他好文 时间:
2020-02-21 14:48:16
阅读次数:
76
该系列总览: Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览 在上一章(Hadoop3.1.1源码Client详解 : 写入准备-RPC调用与流的建立) 我们提到,在输出流DFSOutputStream创建后,DataStreamer也随之创建,并且被启动 下文主 ...
分类:
其他好文 时间:
2020-02-21 00:16:28
阅读次数:
103
软件质量管理-代码质量与规范圈复杂度(Cyclomatic complexity)是一种代码复杂度的衡量标准,在1976年由Thomas J. McCabe, Sr. 提出。 在软件测试的概念里,圈复杂度用来衡量一个模块判定结构的复杂程度,数量上表现为线性无关的路径条数,即合理的预防错误所需测试的最... ...
分类:
其他好文 时间:
2020-02-15 11:52:44
阅读次数:
106
"【MQ 系列】RabbitMq 核心知识点小结" 以下内容,部分取材于官方教程,部分来源网络博主的分享,如有兴趣了解更多详细的知识点,可以在本文最后的文章列表中获取原地址 RabbitMQ 是一个基于 AMQP 协议实现的企业级消息系统,想要顺畅的玩耍的前提是得先了解它,本文将主要介绍 rabbi ...
分类:
编程语言 时间:
2020-02-13 14:34:22
阅读次数:
75
Kafka是由Apache软件基金会开发的一个高吞吐量的分布式发布订阅消息系统,由Scala和Java编写。官网地址:http://kafka.apache.org 0.基本概念 Broker:Kafka集群包含一个或多个服务器,这种服务器被称为broker。 Topic:每条发布到Kafka集群的 ...
分类:
其他好文 时间:
2020-02-10 13:37:49
阅读次数:
83
Android核心分析 之十 Android GWES之基本原理篇 我这里的GWES这个术语实际上从Microsoft 的Window上移植过来的,用GWES来表示Android的窗口事件系统不是那么准确,在Android中Window是个弱化了的概念,更多的表现在View这个概念上。在很大程度上, ...
分类:
移动开发 时间:
2020-02-09 13:15:57
阅读次数:
103