【摘要】 external-shuffle-service是Spark里面一个重要的特性，有了它后，executor可以在不同的stage阶段动态改变数量，大大提升集群资源利用率。但是这个特性当前在k8s上并不能很好的运行。让我们来看看，在k8s上要实现这个external-shuffle-serv ...
分类：
其他好文 时间：
2020-02-29 16:18:30
阅读次数：
112
1、专用模式，实现90%空间利用率纠删码及副本模式是在分布式存储系统中广泛应用的横向扩展模式，副本模式存储空间损耗最大，其次纠删码模式，但Infortrend自主研发的专用扩展模式，优于前两者,能最大化的实现高IO吞吐率，将空间利用率提升至90%，RAID空间占比小,剩余可用空间多,也就间接减少了硬件采购需求，成为节约成本的一大助力。2、三重混合系统模式。按需选用InfortrendCS又可称之为
分类：
其他好文 时间：
2020-02-20 15:22:42
阅读次数：
81
一、vsan分布式存储故障情况介绍近期处理了一个vsan分布式存储的数据恢复案例，需要进行数据恢复的服务器是一套vsan超融合基础架构。由于客户的服务器供电异常导致异常关机，服务器管理员对服务器进行了重启，重启后发现vsan存储逻辑架构出现故障，虚拟磁盘文件丢失，虚拟机组件异常。客户的vsan存储服务器里面一共搭配了16块硬盘，其中固态硬盘有8块，机械硬盘8块。固态硬盘主要作为缓存盘使用。#二、v
分类：
其他好文 时间：
2020-02-14 09:14:50
阅读次数：
90
一、vsan分布式存储故障情况介绍近期处理了一个vsan分布式存储的数据恢复案例，需要进行数据恢复的服务器是一套vsan超融合基础架构。由于客户的服务器供电异常导致异常关机，服务器管理员对服务器进行了重启，重启后发现vsan存储逻辑架构出现故障，虚拟磁盘文件丢失，虚拟机组件异常。客户的vsan存储服务器里面一共搭配了16块硬盘，其中固态硬盘有8块，机械硬盘8块。固态硬盘主要作为缓存盘使用。#二、v
分类：
其他好文 时间：
2020-02-13 20:48:09
阅读次数：
72
Ceph可以说是当今最流行的分布式存储系统了，本文记录一下安装和配置Ceph的详细步骤。 提前配置工作 从第一个集群节点开始的，然后逐渐加入其它的节点。对于Ceph，我们加入的第一个节点应该是Monitor，我们设置为Monitor1。 我使用的操作系统是Ubuntu Server 19.10，目前 ...
分类：
其他好文 时间：
2020-02-06 14:46:58
阅读次数：
104
文档： https://ceph.io/install/ http://docs.ceph.org.cn/ ###中文翻译的 架构: 注意：新版本新增底层支持存储监控等信息(mgr)，下图仅为笼统的ceph架构！ 版本： 不同版本，操作的命令参数也是不同的，国内mirrror https://mir ...
分类：
其他好文 时间：
2020-02-05 09:51:29
阅读次数：
69
什么是Elasticsearch？ Elasticsearch is a real time, distributed storage, search, and analytics engine Elasticsearch 是一个实时的分布式存储、搜索、分析的引擎。 介绍那儿有几个关键字： 实时、分 ...
分类：
其他好文 时间：
2020-01-21 16:10:55
阅读次数：
72
什么是Elasticsearch？ Elasticsearch is a real time, distributed storage, search, and analytics engine Elasticsearch 是一个实时的分布式存储、搜索、分析的引擎。 介绍那儿有几个关键字： 实时、分 ...
分类：
其他好文 时间：
2020-01-19 22:14:47
阅读次数：
69
1、认识Hadoop和Hbase 1.1 hadoop简单介绍 Hadoop是一个使用java编写的Apache开放源代码框架，它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理。Hadoop框架工作的应用程序可以在跨计算机群集提供分布式存储和计算的环境中工作。Hadoop旨在从单一服务 ...
分类：
其他好文 时间：
2020-01-16 13:00:17
阅读次数：
97
一、ELK实用知识点总结 1、编码转换问题 这个问题，主要就是中文乱码。 input中的codec=>plain转码： codec => plain {charset => "GB2312"} 将GB2312的文本编码，转为UTF-8的编码。 也可以在filebeat中实现编码的转换（推荐）： fi ...
分类：
其他好文 时间：
2020-01-15 22:45:44
阅读次数：
134
