1. 概述 在 Java8 之前，我们通常是通过 for 循环或者 Iterator 迭代来重新排序合并数据 ，又或者通过 重新定义 Collections.sorts 的 Comparator 方法 来实现，这两种方式对于大数据量系统来说，效率并不是很理想。 Java8 中添加了一个新的接口类 S ...
分类：
编程语言 时间：
2020-07-24 10:04:02
阅读次数：
60
HDFS主要解决什么问题，与IPFS有什么不同？近年，随着区块链、大数据等技术的推动，全球数据量正在无限制地扩展和增加。分布式存储的兴起与互联网的发展密不可分，互联网公司由于其大数据、轻资产的特点，通常使用大规模分布式存储系统。与传统的高端服务器、高端存储器和高端处理器不同的是，互联网公司的分布式存储系统由数量众多的、低成本和高性价比的普通PC服务器通过网络连接而成。由于互联网的业务发展迅猛，使得
分类：
其他好文 时间：
2020-07-23 22:53:39
阅读次数：
109
package com.zsins.risk.util; import java.io.Serializable; public class LongMap implements BitMap, Serializable { private static final long serialVersi ...
分类：
其他好文 时间：
2020-07-23 18:59:01
阅读次数：
90
目录： ** 0x01 达夫设备 ** 0x02 switch+goto ** 0x03 硬件加速 ** 0x04 O(1)大数据传输 ** 0x05 C语言的异常跳转 ** 0x06 非欧几里得引擎 ** 0x07 为什么现代软件开发令人伤心 ** 0x08 设计/内容/商业的交集=付费社区 ** ...
分类：
其他好文 时间：
2020-07-23 15:48:48
阅读次数：
84
客户打包买了很多阿里云的产品，但是阿里云不负责实施，基于阿里云产品与客户需求，拟采用的数据中台架构，有类似需求的，可以参考下，拿走不谢！
分类：
其他好文 时间：
2020-07-23 09:27:50
阅读次数：
178
namenode1 namenode2 datanode zk zkfc jnn node0001 * * * node0002 * * * * * node0003 * * * node0004 * * 1，两个namenode节点相互免密钥，以完成主备切换 node0002:cd .ssh ss ...
分类：
其他好文 时间：
2020-07-23 01:34:21
阅读次数：
110
一、Kafka 简介 1.基本概念 Kafka 是一个分布式的基于发布/订阅消息系统，主要应用于大数据实时处理领域，其官网是：http://kafka.apache.org/。Kafka 是一个分布式、支持分区的（Partition）、多副本的（Replica），基于 ZooKeeper 协调的发布 ...
分类：
编程语言 时间：
2020-07-22 15:56:17
阅读次数：
64
我们需要什么数据架构？ 在大数据和数据科学的新时代，对于企业而言，具有与业务流程一致的集中式数据体系结构至关重要，该体系结构随业务增长而扩展，并随技术进步而发展。 成功的数据架构可以使数据的各个方面清晰明了，从而使数据科学家能够高效地处理可信赖的数据并解决复杂的业务问题。 它还使组织做好准备，以利用 ...
分类：
其他好文 时间：
2020-07-22 15:37:19
阅读次数：
83
MySQL 性能 ①最大数据量 抛开数据量和并发数，谈性能都是耍流氓。MySQL 没有限制单表最大记录数，它取决于操作系统对文件大小的限《阿里巴巴 Java 开发手册》提出单表行数超过 500 万行或者单表容量超过 2GB，才推荐分库分表。 性能由综合因素决定，抛开业务复杂度，影响程度依次是硬件配置 ...
分类：
数据库 时间：
2020-07-21 14:21:22
阅读次数：
78
思考： 1，消息丢失是什么造成的，从生产端和消费端两个角度来考虑？ 2，消息重复是什么造成的，从生产端和消费端两个角度来考虑？ 3，如何保证消息有序？ 4，如果保证消息不重不漏，损失的是什么？ 1.为什么会发生消息丢失和消息重复？消息发送Kafka消息发送有两种方式：同步（sync）和异步（asyn ...
分类：
其他好文 时间：
2020-07-21 00:57:57
阅读次数：
177
