背景：对于其他数据存储系统来说，统计表的行数是再基本不过的操作了，一般实现都非常简单；但对于HBase这种key-value存储结构的列式数据库，统计 RowCount 的方法却有好几种不同的花样，并且执行效率差别巨大！下面来研究下吧~ 测试集群：HBase1.2.0 - CDH5.13.0 四台服 ...
分类：
其他好文 时间：
2019-12-19 21:05:25
阅读次数：
127
GlusterFS简介开源的分布式文件系统由存储服务器，客户端以及NFS/Samba存储网关组成无元数据服务器GlusterFS特点扩展性和共性能高可用全局统一命名空间弹性卷管理基于标准协议GlusterFS概述Brick存储节点Volume卷fuse内核模块，用户端的交互性模块vfs虚拟Glusterd服务来理解一下这张图：上面一层虚拟化管理层，想当于一个应用。缓存，读写头，条带卷，代理想当于A
分类：
其他好文 时间：
2019-12-19 09:56:33
阅读次数：
185
redis模块用于调用操作redis，而redis是一个基于内存的高性能key-value的存储系统，支持存储的类型有string、list、set、zset和hash。在处理大规模数据读写或高效的缓存的场景下运用比较多。 redis模块中实现了两个类来操作数据库，分别是Redis和StricRed ...
分类：
其他好文 时间：
2019-12-18 21:54:53
阅读次数：
128
什么是Redis Redis是由意大利人Salvatore Sanfilippo（网名：antirez）开发的一款内存高速缓存数据库。Redis全称为：Remote Dictionary Server（远程数据服务），该软件使用C语言编写，Redis是一个key value存储系统，它支持丰富的数据 ...
分类：
编程语言 时间：
2019-12-18 12:51:52
阅读次数：
92
Sqoop （sqoop.apache.org）工具是hadoop环境下连接关系数据库，和hadoop存储系统的桥梁，支持多种关系数据源和hive,hdfs,hbase的相互导入。一般情况下，关系数据表存在于线上环境的备份环境，需要每天进行数据导入，根据每天的数据量而言，sqoop可以全表导入，对于 ...
分类：
其他好文 时间：
2019-12-15 16:13:22
阅读次数：
82
1. 基本原理 2.x版本中，HDFS架构解决了单点故障问题，即引入双NameNode架构，同时借助共享存储系统来进行元数据的同步，共享存储系统类型一般有几类，如：Shared NAS+NFS、BookKeeper、BackupNode 和 Quorum Journal Manager(QJM)，上 ...
分类：
其他好文 时间：
2019-12-12 12:57:17
阅读次数：
87
面对千亿量级的小文件，存储系统压力山大所谓小文件，指的是存储占用空间相对较小的文件，一般来说低于64MB的文件就可以被认定为小文件，而大量的小文件大小则在几KB到几十KB之间。在云计算、大数据业务中，文本、图片、音乐等是典型的小文件应用场景。随着数字化创新的加速，组织内部的数据呈现出指数级增长的趋势，特别是小文件更是随着业务增长到一个巨大的量级。与大文件的存储不同的是，大量磁盘在小文件存储场景中的
分类：
其他好文 时间：
2019-12-09 17:19:31
阅读次数：
110
面对千亿量级的小文件，存储系统压力山大 所谓小文件，指的是存储占用空间相对较小的文件，一般来说低于64MB的文件就可以被认定为小文件，而大量的小文件大小则在几KB到几十KB之间。在云计算、大数据业务中，文本、图片、音乐等是典型的小文件应用场景。 随着数字化创新的加速，组织内部的数据呈现出指数级增长的 ...
分类：
其他好文 时间：
2019-12-09 16:58:29
阅读次数：
127
面对千亿量级的小文件，存储系统压力山大所谓小文件，指的是存储占用空间相对较小的文件，一般来说低于64MB的文件就可以被认定为小文件，而大量的小文件大小则在几KB到几十KB之间。在云计算、大数据业务中，文本、图片、音乐等是典型的小文件应用场景。随着数字化创新的加速，组织内部的数据呈现出指数级增长的趋势，特别是小文件更是随着业务增长到一个巨大的量级。与大文件的存储不同的是，大量磁盘在小文件存储场景中的
分类：
其他好文 时间：
2019-12-09 16:54:59
阅读次数：
110
原文来源：Java碎碎念 原文地址：https://mp.weixin.qq.com/s/MIgbZV_ZoQ9zAzm6IgWEDA 1. Redis简介 Redis是一个开源的内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构，如 字符串（strings）， ...
分类：
编程语言 时间：
2019-12-09 10:19:13
阅读次数：
92
