Hadoop是一个能够对海量数据进行分布式处理的系统架构,主要包含3大块:分布式存储系统HDFS(Hadoop Distributed File System)分布式存储层、分布式计算框架MapReduce分布式计算层、资源管理系统YARN(Yet Another Resource Negotiat... ...
分类:
其他好文 时间:
2020-06-27 11:40:19
阅读次数:
93
1.概述 redisson是一个支持分布式的redisson客户端,支持对象的分布式存储。它不仅提供了一系列的分布式的Java常用对象,还提供了许多分布式服务。 2.配置方法 redisson支持程序化的方式,yaml,xml,json等配置方式 Config config = new Config ...
分类:
其他好文 时间:
2020-06-11 00:35:43
阅读次数:
94
如今,互联网正在不断推动信息技术的建设,帮助行业发展的新模式为各个企业的发展提供了重要的基础支持。而企业云盘具有强大的弹性和高可扩展性,并成为数字时代的重要基础设施和智能引擎。
分类:
其他好文 时间:
2020-06-08 17:32:18
阅读次数:
81
Infortrend分布式存储横向扩展NAS可以作为更高效的备份和恢复解决方案,超大容量、性价比高,非常适合处理大量的企业数据。数据量特别大的应用在备份和恢复时极为关注成本投入,而Infortrend的解决方案,通过横向纵向两种扩展方式,有效解决这一问题,使用价值极高。在政府机构的文件备份,媒资归档,监控录像保存,以及HPC数据归档等领域应用广泛。作为VeeamReadyRepository认证的
分类:
其他好文 时间:
2020-06-04 23:15:46
阅读次数:
298
最近工作中用了了Hadoop,比如用Hadoop来处理广告的一些pv量数据、点击数据等,最后统计后给运营展示每个广告的数据报表 首先自己了解了一些关于Hadoop的概念知识 hadoop平台提供了分布式存储(hdfs),分布式计算(mapredduce),任务调度(YARN)、对象存储(Ozone) ...
分类:
其他好文 时间:
2020-05-30 20:22:33
阅读次数:
94
FastDFS分布式存储 fastdfs安装 主机名 IP地址 fastdfs01 10.0.1.130 fastdfs02 10.0.1.131 fastdfs03 10.0.1.132 web01 10.0.1.7 #所有服务器操作相同 [root@fastdfs01 ~]# yum -y in ...
分类:
其他好文 时间:
2020-05-30 20:18:16
阅读次数:
63
本地SSD盘(推荐)本地SSD盘是指与数据库引擎位于同一节点的SSD盘。将数据存储于本地SSD盘,可以降低I/O延时。SSD云盘SSD云盘是指基于分布式存储架构的弹性块存储设备。将数据存储于SSD云盘,即实现了计算与存储分离。ESSD云盘增强型(Enhanced)SSD云盘,是阿里云全新推出的超高性 ...
分类:
其他好文 时间:
2020-05-27 19:00:02
阅读次数:
354
入门级的超融合私有云开源解决方案ProxmoxVE之规划部署入门级的超融合私有云开源解决方案ProxmoxVE之传统存储入门级的超融合私有云开源解决方案ProxmoxVE之分布式存储Ceph入门级的超融合私有云开源解决方案ProxmoxVE之高可用集群入门级的超融合私有云开源解决方案ProxmoxVE之V2V迁移入门级的超融合私有云开源解决方案ProxmoxVE之日常运维
分类:
其他好文 时间:
2020-05-25 09:44:23
阅读次数:
97
Ceph天生带两地三中心概念,所谓的双活就是两个数据中心(multi-site)。Ceph两数据中心可以在一个集群也可以在不同的集群中。架构图(它山之石)如下所示:1、环境信息2、创建Masterzone在一个multi-site配置当中的所有rgw都会接收来自masterzonegroup中的materzone对应的ceph-radosgw的相关配置。因此必须先配置一个masterzonegro
分类:
其他好文 时间:
2020-05-22 17:40:40
阅读次数:
66
一、概述 Ceph是一个分布式存储系统,诞生于2004年,最早致力于开发下一代高性能分布式文件系统的项目。随着云计算的发展,ceph乘上了OpenStack的春风,进而成为了开源社区受关注较高的项目之一。Ceph有以下优势: 1. CRUSH算法 Crush算法是ceph的两大创新之一,简单来说,c ...
分类:
其他好文 时间:
2020-05-22 12:34:36
阅读次数:
47