文章来源:https://zhuanlan.zhihu.com/p/121597412 本文仅供学术交流,如有侵权,请留言联系小编进行删除。 1、 请说明什么是Apache Kafka? Apache Kafka是由Apache开发的一种发布订阅消息系统,它是一个分布式的、分区的和重复的日志服务。 ...
分类:
其他好文 时间:
2020-09-17 17:15:09
阅读次数:
32
一、需求分析 1、需求 手机号136、137、138、139开头都分别放到一个独立的4个文件中,其它开头的放到一个文件中 2、分析 a、分区 继承 Partitioner b、排序 实现 WritableComparable 二、具体代码(结合上篇博客) 1、自定义Haoop序列化类、排序 pack ...
分类:
编程语言 时间:
2020-09-17 16:58:35
阅读次数:
26
CAP原则又称CAP定理,指的是在一个分布式系统中,一致性(Consistency)、可用性(Availability)、分区容错性(Partition tolerance)。CAP 原则指的是,这三个要素最多只能同时实现两点,不可能三者兼顾。
分类:
其他好文 时间:
2020-09-17 16:01:40
阅读次数:
21
1.裸设备与文件系统IO性能结合Oracle说明20问 裸设备,也叫裸分区(原始分区),是一种没有经过格式化,不被Unix通过文件系统来读取的特殊字符设备。本文收集裸设备和Oracle问答20例。 1.什么叫做裸设备? 裸设备,也叫裸分区(原始分区),是一种没有经过格式化,不被Unix通过文件系统来 ...
分类:
其他好文 时间:
2020-09-17 13:42:18
阅读次数:
38
1.kafka是一个分布式的消息队列,缓存系统,消息的发布和订阅系统。 2.始于Linkedin公司,开源于apache。 3.包含生产者,消费者,broker。 4.每秒支持百万消息处理。 5.支持多个生成者,多个消费者,多个broker 6.生成者产生数据,按topic分类数据,对数据进行分区, ...
分类:
其他好文 时间:
2020-09-17 13:42:05
阅读次数:
36
一、内存分几个区原因系统运行时不能所有数据都读取到CPU寄存器,所以需要有缓存,缓存不够用了所以有多级缓存。缓存的存储器毕竟还是相对昂贵的,所以还有内存(也叫外存)。但是数据在内存中的是怎样存放,这又是一个问题。首先从字节层面看:信息在计算机肯定是0/1的bit比特位形式存储,习惯是8bit作为一个... ...
分类:
编程语言 时间:
2020-09-17 13:36:44
阅读次数:
24
LVM管理 (1).LVM的工作原理 LVM(Logical Volume Manager)逻辑卷管理,是在硬盘分区和文件系统之间添加的一个逻辑层,为文件系统屏蔽下层硬盘分区布局,并提供一个抽象的盘卷,在盘卷上建立文件系统。管理员利用LVM可以在硬盘不用重新分区的情况下动态调整文件系统的大小,并且利 ...
分类:
其他好文 时间:
2020-09-17 13:34:41
阅读次数:
43
df 参数 -a 显示所有文件系统信息,包括系统特有的 /proc、/sysfs 等文件系统; -m 以 MB 为单位显示容量; -k 以 KB 为单位显示容量,默认以 KB 为单位; -h 使用人们习惯的 KB、MB 或 GB 等单位自行显示容量; -T 显示该分区的文件系统名称; -i 不用硬盘 ...
分类:
系统相关 时间:
2020-09-17 12:09:30
阅读次数:
35
阿里云主机默认一般都不挂载数据盘的 需要手动 1添加数据盘 2分区 3格式化 4挂载 1 [liuqi@alicloud-hb3-flume13-192176 ~]$ df -h Filesystem Size Used Avail Use% Mounted on /dev/vda1 40G 5.5 ...
分类:
其他好文 时间:
2020-09-15 20:50:56
阅读次数:
24
UTF8编码转换为GB2312编码字符集时,需要明确以下两点: UTF8是编码格式,而GB2312是字符集,UTF8可以动态的表示1到6字节的编码范围,其还原后可以是双字节Unicode UTF16(USC2)字符集,也可以是四字节Unicode UTF32(USC4)字符集,四字节以上的很少用到可 ...
分类:
编程语言 时间:
2020-09-07 19:08:46
阅读次数:
94