一、基本原理?reduce执行完毕之后，每个reduce都会将KV输出到一个文件中。那么KV输出到文件中时是以什么格式输出的呢？这就涉及到两个抽象类：OutputFormat和RecordWriter。1、OutputFormatpublicabstractclassOutputFormat<K,V>{publicOutputFormat(){}publicabstractRecord
分类：
其他好文 时间：
2019-10-25 09:23:50
阅读次数：
108
一、基本原理?在map执行之前，需要将数据进行切片，每个切片对应一个map任务。而每个map任务并不是直接处理这些切片数据的，它是处理KV的。所以问题有两个：数据是如何切片的、切片是如何转为KV给map处理的。?这就涉及到两个抽象类，InputFormat以及RecordReader。具体为什么是这两个抽象类，请看之前input的源码分析1、InputFormatpublicabstractcla
分类：
其他好文 时间：
2019-10-25 09:16:26
阅读次数：
95
optional小结 java8使用Optional实现优美的npe判断 1、optional是那种初始化方法 2、使用optional.orElse可以实现兜底值 如果kv == null > key.orElse("123") == "123" 如果kv != null > key.orElse ...
分类：
编程语言 时间：
2019-10-22 21:56:06
阅读次数：
163
环境7.7.1908 最小化安装 1.安装tigervnc server 2.安装"GNOME Desktop" 3.检查是否支持虚拟化 grep vmx /proc/cpuinfo (INTEL 芯片 ) grep svm /proc/cpuinfo (AMD 芯片 ) cat /proc/cpu ...
分类：
其他好文 时间：
2019-10-07 23:19:59
阅读次数：
128
1. 序列化一条消息 消息有 key 和 value kafka 提供了基础数据类型的序列化工具，对于业务的自定义类需要自行实现序列化 ProducerRecord 是对象，含 KV 和 headers，此时的 KV 还是对象 在 KafkaProducer#doSend 中会对 KV 进行序列化， ...
分类：
其他好文 时间：
2019-10-06 13:00:24
阅读次数：
165
LevelDB是一个可持久化的KV数据库引擎，由Google传奇工程师Jeff Dean和Sanjay Ghemawat开发并开源。无论从设计还是代码上都可以用精致优雅来形容，非常值得细细品味。本文将从整体特性、架构和使用等几方面做一个解释，试图通过本文的介绍让大家对LevelDB有个整体的认识并能 ...
分类：
数据库 时间：
2019-09-26 12:07:50
阅读次数：
115
https://www.cnblogs.com/fqxy/p/9828796.html 本文围绕下面3个问题进行对虚拟化技术展开讨论： 1、虚拟化技术实现方式有哪些？虚拟化技术分哪些？ 2、请分别通过kvm、xen工具来实现虚拟化系统的部署？ 3、请描述openstack、kvmqemu-kv、li ...
分类：
其他好文 时间：
2019-09-20 19:01:25
阅读次数：
122
一、上节总结回顾 上一讲里，根据DMP系统的各个应用场景，我们从抽象的原理层面，选择了AeroSpike作为KV数据库，Kafka作为数据管道，Hadoop/Hive来作为数据仓库。 不过呢，肯定有不信邪的工程师会问，为什么MongoDB，甚至是MySQL这样的文档数据库或者传统的关系型数据库不适应 ...
分类：
数据库 时间：
2019-09-14 11:57:40
阅读次数：
138
redis介绍 redis作为一个开源的kv数据库在互联网公司被广泛应用。 作为nosql的一员redis有这几个优点： KV存储 支持多种数据结构 全内存存储 持久化 主从复制 集群模式 社区活跃，文档齐全 事物都不是完美的，redis也有不少缺点: 2.x时代原生的故障自动转移恢复功能比较弱（s ...
分类：
其他好文 时间：
2019-08-22 15:53:40
阅读次数：
80
今天用免费的KV羊毛盾统计了下：手机号绑定 12939 个用户恶意用户 4062 个 31.4%共发送 27690 个红包给恶意用户发了 8290 个红包 29.9%共发 61579.17 元损失 18620.00 30%打算晚上加班 把KV羊毛盾接到注册和提现环节阻挡羊毛盾注册或者减少奖励
分类：
其他好文 时间：
2019-08-21 09:26:34
阅读次数：
85
