码迷,mamicode.com
首页 > 其他好文 > 详细

leofs存储总结

时间:2016-01-05 12:41:16      阅读:275      评论:0      收藏:0      [点我收藏+]

标签:

1、leofs角色

Account(账户)、Bucket(对象桶)、Object(对象),

gateway、manager0、manager1、storage

Account

一个account可以创建多个bucket,一个bucket可以有无限数量的object,它们之间关系如下:

技术分享

 

Bucket

是object的容器,第个Object必须存储到Bucket里面。Bucket是Leofs里的一个高层命名空间,它在Leofs存储系统中是唯一的,每个Account最多可创建10个Bucket。但是Bucket里面的Object数量没有限制。Bucket命名规则:

只能包括小写字母,数字,短横线(-)

必须以小写字母或者数字开头

 长度必须在 3-63 字节之间

Object

是LeOSS的基本实体。Objects由object data和metadata组成。用户存储在LeOSS中的文件是无格式化的。他们可以是任意格式的文件,比如:视频,音频,图像,文本等格式。支持Object的大小从1字节到5T字节。

AccessKeyID和AccessSecretKey

用户注册LeOSS时,系统会给用户分配一对Access Key ID和Access Key Secret,称为 ID 对,用于标识用户,为访问 LeOSS 做签名验证。

Leofs GateWay

LeOSS Gateway由一个高性能webserver,API处理器和缓存机制组成。用户能够非常容易通过S3 Client(例如:s3cmd, DragonDisk),或者自己通过Java、Ruby、PHP语言编码访问LeOSS。

一个Client发送请求操作某个Object或者Bucket到LeOSS Gateway,Gateway将这个请求转发到一个Storage节点。

目标Storage节点是通过路由表决定的。路由表被叫做RING,它被LeOSS Manager产生和维护。

另外,为了保持高性能和减少Gateway和Storage直接的流量,LeOSS也内建了对象缓存机制。

 

Leofs Storage

LeOSS Storage包含Object和Meta Storage。另外,为了保证最终一致性,它还包括复制系统和修复系统。

在写操作情况下,LeOSS Storage从LeOSS Gateway接收请求后自动复制对象到LeOSS Storage集群。最后由LeOSS Storage确认这个被存储的Object是否满足一致性规则。

另外,在读操作的情况下,LeOSS Gateway向LeOSS Storage存储节点发送请求。然后,LeOSS Storage存储节点从本地或者远程LeOSS Storage存储节点检索这个对象。最后,LeOSS Storage发送响应给发送请求的LeOSS Gateway。

如果,LeOSS Storage存储节点发现一个不一致的Object,它将启动一个后台进程来修复这种不一致的情况。这个Object最终会保持一致状态

LeOSS Manager

LeOSS Manager产生和管理一个基于一致性hash的被叫做RING的路由表。为了保持LeOSS的持续运行和RING的一致性,LeOSS Manager一直监控每个LeOSS Gateway和LeOSS Storage的状态。另外,它也分发RING到LeOSS Gateway和LeOSS Storage。

2、Leofs的配置

双台部署,151 : manager0 , storage , gateway,   160 : manager1 , storage 

(1)下载leofs地址:http://leo-project.net/leofs/

(2)登录192.168.1.151 把lefs-1.2.12.tar.gz文件解压到/opt/目录下

 登录192.168.1.160 把lefs-1.2.12.tar.gz文件解压到/opt/目录下

(3)在151的/opt/lefs-1.2.12执行./setup_manager0.sh ,输入manager1的ip即192.168.1.160

(4)在160的/opt/lefs-1.2.12执行./setup_manager1.sh ,输入manager0的ip:192.168.1.151和manager1的ip即192.168.1.160

(5)在151的/opt/lefs-1.2.12目录下执行./setup_storage.sh,输入manager0的ip和manager1的ip,输入storage的存储路径

(6)在160的/opt/lefs-1.2.12目录下执行./setup_storage.sh,输入manager0的ip和manager1的ip,输入storage0的ip,注意是160,输入storage的存储路径

(7)在151的/opt/lefs-1.2.12目录下执行./setup_gateway.sh,,输入manager0的ip和manager1的ip,输入gateway的存储路径

(8)在151的/opt/lefs-1.2.12目录下执行./startup_manager0.sh

(9)在160的/opt/lefs-1.2.12目录下执行./startup_manager1.sh

(10)在151的/opt/lefs-1.2.12目录下执行./startup_storage.sh

(11)在160的/opt/lefs-1.2.12目录下执行./startup_storage.sh

(12)在151的/opt/lefs-1.2.12目录下执行./startup_gateway.sh

(13)执行完上面的命令后,leofs会安装到/usr/local/lefs/1.2.12目录下,进入此目录

执行

l ./leofs-adm    create-user  accountName  password,创建完会返回accessKey和secretKey,如图

 技术分享

l  ./leofs-adm   get-users 查看已添加的用户

添加bucket,参数是bucket名和accessKey

l ./leofs-adm   add-bucket   buckettest   19515aeed1846146f166

 技术分享

l ./leofs-adm start启动storage集群

l ./leofs-adm status查看状

 技术分享

状态是running,就可正常使用。

l  ./leofs-adm  get-bucket <access-key-id> 根据access-key-id获取bucket

l  ./leofs-adm  get-buckets 获取bucket列表

 

3、

有时候manager1和manager0不能同时启动,需要安装nmap-ncat-6.40-4.el7.x86_64.rpm包,并且修改/etc/selinux/config

SELINUX=disabled,重启机器

 

leofs存储总结

标签:

原文地址:http://www.cnblogs.com/fubaizhaizhuren/p/leofs.html

踩
(0)
赞
(0)
   
举报
评论 一句话评论(0)
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!