HBase基本概念与基本使用 https://www.cnblogs.com/swordfall/p/8737328.html 分类: HBase undefined 1. HBase简介 1.1 什么是HBase HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术 ...
分类：
其他好文 时间：
2019-11-30 19:35:08
阅读次数：
98
一：Ceph基础介绍Ceph是一个可靠地、自动重均衡、自动恢复的分布式存储系统，根据场景划分可以将Ceph分为三大块，分别是对象存储、块设备存储和文件系统服务。Ceph相比其它存储的优势点在于它不单单是存储，同时还充分利用了存储节点上的计算能力，在存储每一个数据时，都会通过计算得出该数据存储的位置，尽量将数据分布均衡，同时由于Ceph的良好设计，采用了CRUSH算法、HASH环等方法，使得它不存在
分类：
其他好文 时间：
2019-11-30 12:05:24
阅读次数：
573
国内领先的超融合与分布式块存储产品提供商SmartX（北京志凌海纳科技有限公司）发布新版超融合软件SMTXOS 4.0，新版本依旧以“生产就绪”和“简单敏捷”为主线，在虚拟化、存储、运维管理等方面进一步提升。 另外，基于超融合产品成熟的分布式块存储模块，SmartX发布可与计算节点分离部署的分布式块 ...
分类：
其他好文 时间：
2019-11-22 10:42:39
阅读次数：
81
当今时代，企业数据越发膨胀。数据是企业的价值，但数据处理也是一种技术挑战。在海量数据处理的场景，即使单机计算能力再强，也无法满足日益增长的数据处理需求。所以，分布式才是解决该类问题的根本解决方案。而在分布式领域，有两类典型产品，分别是分布式存储和分布式计算。用户只有将两者的特性充分利用，才可以真正发 ...
分类：
数据库 时间：
2019-10-31 18:07:32
阅读次数：
126
HDFS是英文Hadoop Distributed File System的缩写，中文翻译为Hadoop分布式文件系统，它是实现分布式存储的一个系统，所以分布式存储有的特点，HDFS都会有，HDFS的架构图： 上图中HDFS的NameNode其实就是对应着分布式存储的Storage master，主 ...
分类：
其他好文 时间：
2019-10-28 10:45:47
阅读次数：
326
6.2 二进制数据格式 实现数据的高效二进制格式存储最简单的办法之一，是使用Python内置的pickle序列化。 pandas对象都有一个用于将数据以pickle格式保存到磁盘上的to_pickle方法： 通过pickle直接读取被pickle化的数据，或使用更为方便的pandas.read_pi ...
分类：
编程语言 时间：
2019-10-24 09:44:35
阅读次数：
123
一、部署准备 准备5台机器（linux系统为centos7.6版本），当然也可以至少3台机器并充当部署节点和客户端，可以与ceph节点共用： 1台部署节点（配一块硬盘，运行ceph-depoly） 3台ceph节点（配两块硬盘，第一块为系统盘并运行mon，第二块作为osd数据盘） 1台客户端（可以使 ...
分类：
其他好文 时间：
2019-10-18 21:50:52
阅读次数：
105
今天给大家介绍一的是一款常见存储设备-Vsan的结构原理，相对而言技术性文字较多。VSAN是一种以vSphere内核作为基础开发出来的一款可以扩展使用的分布式存储架构。这款存储在vSphere集群主机中安硬盘及闪存构建出VSAN存储层，通过存储进行管理与控制，最终形成一个共享存储层。伴随着计算机网络的快速发展，vsan的存储结构也在不断的更新换代过程中，传统的存储管理机制中的底层存储不了解虚拟化和
分类：
其他好文 时间：
2019-10-18 12:48:37
阅读次数：
90
确保集群状态正常（具体配置过程略）：可参照https://blog.51cto.com/jdonghong/244175上半部分配置。CEPH环境配置开始部署RBDorRADOSBlockDevice客户端安装ceph（本案例客户端为192.168.27.210，192.168.26.112）ceph-deployinstallbddb.com推送配置文件到客户端。[root@masteridc-
分类：
其他好文 时间：
2019-10-12 12:57:53
阅读次数：
1161
分布式、海量数据新摩尔定律，根据IDC作出的预测，数据一直都在以每年50%的速度增长，也就是说每两年增加一倍，这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。分布式环境下的RPC调用速度更慢，差不多是单机环境的100倍；但可以通过扩展，使性能线性增长。 分布式存储是云存储和大数据的基础 ...
分类：
其他好文 时间：
2019-10-06 13:42:40
阅读次数：
90
