【巨杉数据库SequoiaDB】巨杉?具系列之一 | ?对象存储?具sdblobtool

标签：文件导入   kettle   策略   ssl   网络   bar   体系   localhost   社区   

本文作为系列第一篇，将分享巨杉数据库大数据存储工具 sdblobtool 的基本介绍和应用实践。

巨杉工具矩阵

一、对象存储与自建存储对比
通俗地讲，自建存储就是自己购买服务器设备存储文件，通过运维人员手工进行文件的上传下载。而对象存储，则是使用不同的存储形态来存储文件。目前，对象存储独立的存储形态有三种：块存储、?件存储以及新出现的对象存储。

块存储：简单来说，块存储就是将硬盘直接挂载到主机，在主机上我们能够看到的就是一块块的硬盘以及硬盘分区。从存储架构的角度而言，块存储又分为DAS存储（Direct-Attached Storage，直连式存储）和SAN存储（Storage Area Network，存储区域网络）。

文件存储：指的是在文件系统上的存储，也就是主机操作系统中的文件系统。我们知道，文件系统中有分区，有文件夹，子文件夹，整体形成?个自上而下的?件结构，?户可以通过操作系统中的应?程序来打开和修改文件系统下的?件。

对象存储：指的是?向对象/?件的、海量的互联网存储对象。虽然它也是文件，但它是已经被封装的?件（编程中的对象就有封装性的特点）。在对象存储系统?，用户不能直接打开和修改?件，但可以像 ftp ?样上传和下载?件。另外，对象存储不像?件系统那样有?个很多层级的?件结构，而是只有?个“桶”的概念（也就是存储空间），“桶”??全部都是对象，是一种非常扁平化的存储方式。

二、巨杉数据库大对象存储
SequoiaDB 和各大云平台对象存储都提供存储服务，都具备分布式、可扩展、高可用等特性。各大云平台对象存储是专门为对象存储而设计的，而SequoiaDB的块存储引擎则针对非结构化数据存储。

SequoiaDB 的块存储字段类型叫做LOB（Large OBject，大对象），其核心机制是将内容文件打散成多个数据块，每个数据块被分别发送到不同分区独立存放。如下图所示：


LOB 文件逻辑结构

与其他解决方案相比，由于不存在独立中控元数据节点，SequoiaDB 提供的 LOB 存储机制理论上可以存放近乎无限数量的对象文件，并且不会由于元数据堆积而造成性能下降。同时，由于数据块被散列分布到所有数据节点，整个系统的吞吐量随集群磁盘数量的增加近乎线性提升。最后，SequoiaDB 提供原生的内容管理接口，通过 REST 访问方式支持批次管理、版本管理、流程管理等一系列基本CM特性。

基于LOB 存储机制的内容管理平台架构图

从使用方式上看，SequoiaDB的 LOB 机制可以使用原生 API 的访问形式，对底层 LOB 对象进行读写访问；同时，用户也可以通过高阶 CM API Java 接口，Java 驱动会将请求封装成 RESTful 形式，通过发送接收 HTTP 报文进行对象和批次级别读写更新操作。

相对于其他云存储平台，巨杉数据库对象存储具有以下优势：
安全性

SequoiaDB 提供基于本地化的对象存储，通过多副本数据备份，实现数据安全，安全性毋庸置疑。
支持全类型数据的覆盖

SequoiaDB 是?款以 JSON/BSON 数据类型作为底层存储格式的分布式关系型数据库，支持灵活的数据类型定义和存储，支持全类型数据的覆盖，可同时存储结构化、半结构化和非结构化数据，对大数据的存储与分析提供了了一个坚实、可靠、高效与灵活的底层平台。

更加灵活的一致性策略

目前，SequoiaDB 数据分区组的数据一致性是基于集合级别进行配置的。用户在使用SequoiaDB 的过程中，可以随时调整数据一致性的强度。在一个多副本的 SequoiaDB 集群中，集合默认的数据?致性行级别为“最终?致性”。

深度整合大数据体系组件

SequoiaDB 的企业版本不仅集成了 Hadoop 的 HDFS、MapReduce和Spark，还向客户提供完善的 SQL 解决方案和丰富的第三方插件，例如 ETL 工具 Kettle 的 SequoiaDB 插件，Spark SQL 的扩展包--支持 Spark SQL 自动同步操作 SequoiaDB 数据集等。

SequoiaDB 不仅通过了全球最大的 Hadoop 发行商 Cloudera 的官方认证（全球只有四家 NoSQL 数据库获得），还获得了了 DataBricks 的官方认证，同时，SequoiaDB 也是国内三家经过 DataBricks 授权，拥有发行 Spark 权利的厂商之?。

三、大对象存储工具 sdblobtool ?法
sdblobtool 是一款用于管理 SequoiaDB 集合中大对象的工具，具有大对象(lob)的导出、导?、迁移的功能。

1. 大对象的导出

导出功能是将集合中的?对象导出到本地?件。导出参数：

Note：
--prefer 的取值包括 M 或 m 指master(主节点); S 或 s(从节点); A 或 a 表示anyone; 通过1~255指定instanceid(实例id)

导出示例：

1. 连接主机名为 sdb 的数据库服务器中服务名为11810协调节点，将集合空间为 sample，集合为 employee 中的大对象导?到本地文件 mylob。
   [sdbadmin@sdb01]$ sdblobtool --operation export --hostname sdb --svcname 11810
   --collection sample.employee --file /opt/file/lobfile
   执行效果

[sdbadmin@sdb] sdblobtool --operation export --hostname sdb --svcname 11810 --collection sample.employee --file /home/sdbadmin/mylob
lob exporting has been done, total num:6

#查看当前目录下的日志文件
[sdbadmin@sdb] ls -lrt
总用量 104
-rw-r-----1 sdbadmin sdbadmin_group 99328 10月 27 18:24 myblog
-rw-r--r--1 sdbadmin sdbadmin_group 1497 10月 27 18:24 sdblobtool.log
导出日志

2019-10-27-18.24.33.252414 Level:EVENT
PID:23987 TID:23987
Function:main Line:323
Message:
Start sdblobtool [Ver:3.2, Re;ease: 42463, Build: 2019-07-27-20.55.27]...

2019-10-27-18.24.33.252848 Level:EVENT
PID:23987 TID:23987
Function:main Line:344
File:SequoiaDB/engine/pmd/sdblobtool.cpp
Message:
options:{省略}

2019-10-27-18.24.33.257633 Level:EVENT
PID:23987 TID:23987
Function:_exportLob
File:Sequoiadb/engine/mig/migLobTool.cpp
Message:
begin to export lob

2019-10-27-18.24.33.270184 Level:EVENT
PID:23987 TID:23987
Function:_exportLob
File:Sequoiadb/engine/mig/migLobTool.cpp
Message:
lob exporting has been done, total num:6

2019-10-27-18.24.33.270323 Level:EVENT
PID:23987 TID:23987
Function:_exportLob
File:Sequoiadb/engine/pmd/sdblobtool.cpp
Message:
sdblobtool quit. rc: 0, shell rc: 0.

2. 连接主机名为 sdb01 的数据库服务器?中服务名为 11810 协调节点，使用用户名 sdbadmin,密码 sdbadmin，将集合空间为 sample，集合为 employee 中的大对象导入到本地文件 lobfile。
   [sdbadmin@sdb01]$ sdblobtool --operation export --hostname sdb01 --svcname
   11810 --username sdbadmin --password sdbadmin --collection samole.employee --file
   /opt/file/lobfile

3. 将集合空间为bizz，集合为 img 中的大对象导入到本地文件 lobfile 中，并指定从主节点导出。
   [sdbadmin@sdb01]$ sdblobtool --operation export --hostname sdb01 --svcname
   11810 --collection bizz.img --prefer M --file /opt/file/lobfile

4. 大对象的导入
   ?对象导入是将本地文件中的大对象文件导入到集合中, 导入参数：
   
   Note:
   指定--ignorefe 时只需要添加 --ignorefe即可，不需要为其指定具体值。--file的本地?文件指使用 sdblobtool 导出?生成的文件。

导入示例：

1. 将本地文件 mylob 中的?对象导入至集合空间 sample，集合 employee2 中，当遇到已经存在的大对象时跳过。
   [sdbadmin@sdb01]$ sdblobtool --operation import --hostname sdb --svcname 11810
   --collection sample.employee2 --file /home/sdbadmin/mylob --ignorefe
   执行效果

[sdbadmin@sdb] ls lrt
总用量 100
-rw-r-----1 sdbadmin sdbadmin_group 99328 10月 27 18:27 mylobbr/>[sdbadmin@sdb]
[sdbadmin@sdb] sdblobtool --operation import --hostname sdb --svcname 11810 --collection sample.employee2 --file /home/sdbadmin/mylob --ignoref
File version: 1 TotalNum: 6 CreateTime: 2019-10-27-18.27.27.894000
lob importing has been done, total num: 0br/>[sdbadmin@sdb]
[sdbadmin@sdb] ls -lrt
总用量 104
-rw-r-----1 sdbadmin sdbadmin_group 99328 10月 27 18:27 mylob
-rw-r--r--1 sdbadmin sdbadmin_group 1492 10月 27 18:30 sdblobtool.log
导出日志

其他问题可参照巨杉数据库错误码文档进行对照
错误码参考文档：
http://doc.sequoiadb.com/cn/sequoiadb-cat_id-1432190985-edition_id-0

四、总结
巨杉数据库对象存储通过多副本备份机制实现数据安全，并且具备更加灵活的?致性策略，支持全类型数据覆盖，深度整合大数据体系组件。
sdblobtool 是一款用于管理 SequoiaDB 集合中大对象的工具，具有大对象(lob)的导出、导入、迁移的功能，使用便捷高效。

【巨杉数据库SequoiaDB】巨杉?具系列之一 | ?对象存储?具sdblobtool

标签：文件导入   kettle   策略   ssl   网络   bar   体系   localhost   社区   

原文地址：https://blog.51cto.com/13722387/2451856