最近工作中呢,频频用到消息中心,包括异步转同步的功能,分布式收集日志信息等功能,在面试中也常会问到候选人关于消息中心的知识点,但大多数程序员,尤其是工作两三年的,虽然平时工作中都有用到消息中心,但都总是不能够说明白其中的原理,于是觉得有必要把消息中心作为一个篇章,专门进行总结梳理一番~看的时候,建议大家不妨先看看问题,自己先尝试回答一下,再看答案。看看自己掌握得如何了那准备好了的话,我们就要开始啦啊~
分类:
其他好文 时间:
2020-09-17 20:18:18
阅读次数:
21
文章来源:https://zhuanlan.zhihu.com/p/121597412 本文仅供学术交流,如有侵权,请留言联系小编进行删除。 1、 请说明什么是Apache Kafka? Apache Kafka是由Apache开发的一种发布订阅消息系统,它是一个分布式的、分区的和重复的日志服务。 ...
分类:
其他好文 时间:
2020-09-17 17:15:09
阅读次数:
32
一、需求分析 1、需求 手机号136、137、138、139开头都分别放到一个独立的4个文件中,其它开头的放到一个文件中 2、分析 a、分区 继承 Partitioner b、排序 实现 WritableComparable 二、具体代码(结合上篇博客) 1、自定义Haoop序列化类、排序 pack ...
分类:
编程语言 时间:
2020-09-17 16:58:35
阅读次数:
26
CAP原则又称CAP定理,指的是在一个分布式系统中,一致性(Consistency)、可用性(Availability)、分区容错性(Partition tolerance)。CAP 原则指的是,这三个要素最多只能同时实现两点,不可能三者兼顾。
分类:
其他好文 时间:
2020-09-17 16:01:40
阅读次数:
21
1.裸设备与文件系统IO性能结合Oracle说明20问 裸设备,也叫裸分区(原始分区),是一种没有经过格式化,不被Unix通过文件系统来读取的特殊字符设备。本文收集裸设备和Oracle问答20例。 1.什么叫做裸设备? 裸设备,也叫裸分区(原始分区),是一种没有经过格式化,不被Unix通过文件系统来 ...
分类:
其他好文 时间:
2020-09-17 13:42:18
阅读次数:
38
1.kafka是一个分布式的消息队列,缓存系统,消息的发布和订阅系统。 2.始于Linkedin公司,开源于apache。 3.包含生产者,消费者,broker。 4.每秒支持百万消息处理。 5.支持多个生成者,多个消费者,多个broker 6.生成者产生数据,按topic分类数据,对数据进行分区, ...
分类:
其他好文 时间:
2020-09-17 13:42:05
阅读次数:
36
一、内存分几个区原因系统运行时不能所有数据都读取到CPU寄存器,所以需要有缓存,缓存不够用了所以有多级缓存。缓存的存储器毕竟还是相对昂贵的,所以还有内存(也叫外存)。但是数据在内存中的是怎样存放,这又是一个问题。首先从字节层面看:信息在计算机肯定是0/1的bit比特位形式存储,习惯是8bit作为一个... ...
分类:
编程语言 时间:
2020-09-17 13:36:44
阅读次数:
24
LVM管理 (1).LVM的工作原理 LVM(Logical Volume Manager)逻辑卷管理,是在硬盘分区和文件系统之间添加的一个逻辑层,为文件系统屏蔽下层硬盘分区布局,并提供一个抽象的盘卷,在盘卷上建立文件系统。管理员利用LVM可以在硬盘不用重新分区的情况下动态调整文件系统的大小,并且利 ...
分类:
其他好文 时间:
2020-09-17 13:34:41
阅读次数:
43
块存储主要是将裸磁盘空间整个映射给主机使用的,就是说例如磁盘阵列里面有5块硬盘(为方便说明,假设每个硬盘1G),然后可以通过划逻辑盘、做Raid、或者LVM(逻辑卷)等种种方式逻辑划分出N个逻辑的硬盘。
分类:
其他好文 时间:
2020-09-17 13:07:53
阅读次数:
31
开始前先来思考一个问题,如果一个文件的大小超过了一块磁盘的大小,该如何存储?
分类:
其他好文 时间:
2020-09-17 12:45:43
阅读次数:
30