Copyset模块结合chunk的放置共同解决了集群数据如何分布的问题，这里主要的设计考虑点是数据分布的均衡性以充分利用磁盘空间和避免热点。 1. 背景 Curve是网易数帆在2020年7月份开源的一个高性能、高可用、高可靠的分布式存储系统，主打高性能、低延迟。 Github代码仓库：https:/ ...
分类：
其他好文 时间：
2021-05-24 04:54:22
阅读次数：
0
Spark SQL 及其 DataFrame 的基本操作 Q & A 1. Spark SQL 出现的原因是什么? 关系数据库已经流行多年，能较好的满足各类商业公司的业务数据管理需求，但关系数据库在大数据时代已经不能满足各种新增的用户需求。用户需要从不同数据源执行各种操作（包括结构化和非结构化数据） ...
分类：
数据库 时间：
2021-05-24 04:48:45
阅读次数：
0
1、什么是Redis Redis是一款内存高速缓存数据库。Redis全称为：Remote Dictionary Server （远程数据服务），使用C语言编写，Redis是一个key-value存储系统（键值存储系统），支持丰富的数据类型，如：String、list、set、zset、hash。 R ...
分类：
其他好文 时间：
2021-05-24 04:25:00
阅读次数：
0
本文从高可用的角度观察一下 RabbitMQ、Kafka、RocketMQ，看看它们各自的实现思路。 1. RabbitMQ RabbitMQ 有 3 种部署模式： 单机模式 普通集群模式 镜像集群模式 单机模式与高可用完全没关系，咱就不说了，直接看看这2种集群模式。 1.1 普通集群模式 某一个 ...
分类：
其他好文 时间：
2021-05-24 04:17:36
阅读次数：
0
# 发布订阅## subscribe订阅一个或者多个频道## publish给指定的频道发送消息## psubscribepsubscribe zzj.*订阅指定模式的频道，*代表所有## pubsub channels查看当前活跃的频道## pubsub numsub channels查看当前频道 ...
分类：
系统相关 时间：
2021-05-24 04:08:13
阅读次数：
0
前言 Elastic自身设计了集群分片的负载平衡机制，当有新数据节点加入集群或者离开集群，集群会自动平衡分片的负载分布。 需求背景 公司原有大数据平台基于公有云构建，由于种种原因，现在需要迁移到自建机房，Elasticsearch集群承担了大数据平台主要的对外查询需求，也有部分实时计算需求基于Ela ...
分类：
其他好文 时间：
2021-05-24 03:46:38
阅读次数：
0
1. Glue与Hudi简介 AWS Glue AWS Glue是Amazon Web Services(AWS)云平台推出的一款无服务器(Serverless)的大数据分析服务。对于不了解该产品的读者来说，可以用一句话概括其实质：Glue是一个无服务器的全托管的Spark运行环境，只需提供Spar ...
分类：
Web程序 时间：
2021-05-24 03:46:26
阅读次数：
0
Hbase的安装（详细步骤） 1、前提条件 1、得安装的有hdfs系统 2、得安装zookeeper集群 2、准备安装包 下载安装包并上传到node01服务器 安装包下载地址： [**https://www.apache.org/dyn/closer.lua/hbase/2.2.6/hbase-2. ...
分类：
其他好文 时间：
2021-05-24 02:19:29
阅读次数：
0
1、Ansible简介 定义：Ansible是一个开源部署工具 Ansible与Chef，Saltstack的不同： Chef Ruby语言编写，C/S架构，配置需要Git依赖，Recipe脚本编写规范，需要编程经验 Saltstack Python语言编写，C/S架构，模块化配置管理，YAML脚本 ...
分类：
其他好文 时间：
2021-05-24 02:10:44
阅读次数：
0
