码迷,mamicode.com
首页 > 其他好文 > 详细

centos7快速部署ceph

时间:2017-04-21 21:50:28      阅读:346      评论:0      收藏:0      [点我收藏+]

标签:ceph   centos7     

1、机器:

10.39.3.22-26 




2.优化

  tcp参数优化 

   

  ntp时间同步配置


  requiretty准备

执行命令visudo修改suoders文件:

1. 注释Defaults requiretty

Defaults requiretty修改为 #Defaults requiretty, 表示不需要控制终端。

否则会出现sudo: sorry, you must have a tty to run sudo

2. 增加行 Defaults visiblepw

否则会出现 sudo: no tty present and no askpass program specified

 



3、ceph用户添加


adduser  ceph -u 2000  

#必须要添加密码,否则无法配置ssh互信

(echo "123321";sleep 1;echo "123321")|passwd ceph --stdin

增加sudo权限

echo  "ceph ALL = (root) NOPASSWD:ALL"| sudo tee /etc/sudoers.d/ceph

chmod 0440 /etc/sudoers.d/ceph  



 

4、修改主机名:

将主机名添加到/etc/hosts文件中

hostnamectl  set-hostname cephnode0

hostnamectl  set-hostname cephnode1

hostnamectl  set-hostname cephnode2





5、 生成密钥文件,默认回车即可

ssh-keygen -t rsa


cat .ssh/id_rsa.pub .ssh/authorized_keys


如果希望ssh公钥生效需满足至少下面两个条件:

     1) .ssh目录的权限必须是700 

     2) .ssh/authorized_keys文件权限必须是600



7、为admin-node节点安装ceph-deploy


第一步:增加 yum配置文件

yum clean all


wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo


sed -i ‘/aliyuncs/d‘ /etc/yum.repos.d/CentOS-Base.repo

sed -i ‘/aliyuncs/d‘ /etc/yum.repos.d/epel.repo

sed -i ‘s/$releasever/7.2.1511/g‘ /etc/yum.repos.d/CentOS-Base.repo


添加163源:

vim /etc/yum.repos.d/ceph.repo

[ceph]

name=ceph

baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/x86_64/

gpgcheck=0

[ceph-noarch]

name=cephnoarch

baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/noarch/

gpgcheck=0



进行yum的makecache

yum makecache



第二步:更新软件源并安装ceph-deploy


sudo yum update && sudo yum install ceph-deploy



开始节点安装:


第一步:创建集群设置Monitor节点

在admin节点上用ceph-deploy创建集群,new后面跟的是monitor节点的hostname,如果有多个monitor,则它们的hostname以为间隔,多个mon节点可以实现互备。

ceph-deploy  new cephnode0 cephnode1 cephnode2



第二步:利用ceph-deploy为节点安装ceph

ceph-deploy install  cephnode0  cephnode1 cephnode2

 

  如install未成功,亦可手动安装:

在每个节点单独运行安装ceph软件:yum install ceph -y  

osd节点: yum install ceph-radosgw -y

 初始化monitor节点

初始化监控节点并收集keyring:

ceph-deploy mon create-initial 

 (可添加--overwrite-conf参数)

ceph-deploy admin cephnode0 cephnode0 cephnode1 cephnode2

sudo chmod 755 /etc/ceph/ceph.client.admin.keyring

 



 第三步: osd部署

 

ceph-deploy osd prepare cephnode0:/data11/ceph-osd  cephnode2:/data11/ceph-osd   cephnode3:/data11/ceph-osd   cephnode4:/data11/ceph-osd   cephnode5:/data11/ceph-osd 

ceph-deploy osd activate cephnode0:/data11/ceph-osd  cephnode2:/data11/ceph-osd   cephnode3:/data11/ceph-osd   cephnode4:/data11/ceph-osd   cephnode5:/data11/ceph-osd 


(此处直接挂载的目录,由于分区默认使用的ext4格式,osd日志中会有报错,在ceph.conf文件中添加指定参数解决)




添加一个元数据服务器

ceph-deploy mds create cephnode2 cephnode3



创建ceph pg:


ceph osd pool create cephfs_data 1000

ceph osd pool create cephfs_metadata 1000

 

 ceph -s

 ceph fs new cephfs cephfs_metadata cephfs_data



创建完成后,就可以使用ceph-fuse挂载了。



 #ceph rbd 客户端部署:

 客户端需要安装组件、 /etc/ceph/配置文件才能访问rbd?

 yum install rbd-mirror.x86_64



报错处理:

#############################################

[ceph@cephnode0 cluster]$ ceph -w

2017-03-24 18:58:29.832395 7fb5d6222700 -1 auth: unable to find a keyring on /etc/ceph/ceph.client.admin.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin: (2) No such file or directory

2017-03-24 18:58:29.832414 7fb5d6222700 -1 monclient(hunting): ERROR: missing keyring, cannot use cephx for authentication

2017-03-24 18:58:29.832417 7fb5d6222700  0 librados: client.admin initialization error (2) No such file or directory

Error connecting to cluster: ObjectNotFound

[ceph@cephnode0 cluster]$


权限问题,修改为sudo chmod 755 /etc/ceph/ceph.client.admin.keyring




安装不过去的时候:

  yum -y install epel-release




# ** ERROR: osd init failed: (36) File name too long


修改?/etc/ceph/ceph.conf文件,在文件中添加如下配置


osd max object name len = 256  

osd max object namespace len = 64  





#安装ceph时出错[ceph_deploy][ERROR ] RuntimeError: NoSectionError: No section: ‘ceph‘,是为什么呢

yum remove ceph-release  先执行这个,把这个东西卸了,应该是这个的版本不兼容 亲测有效





################3

clock skew detected on mon.cephnode3 

 在admin结点上,修改ceph.conf,添加:

mon_clock_drift_allowed = 5

mon_clock_drift_warn_backoff = 30

ceph-deploy --overwrite-conf admin ceph1 ceph2 ceph3


 重启monitor

systemctl restart ceph-mon@ceph1.service



osd进程过多,需要修改ceph用户的最大文件打开数:

 /etc/security/limits.d/20-nproc.conf  


当您运行每台主机上运行多个OSD进程时(如>20)会产生很多的线程,特别是进行recovery和relalancing操作。

许多Linux内核默认线程限最大数量比较小(例如,32k的)。

如果您遇到这方面的问题,可以考虑把kernel.pid_max设置的高一点。理论上的最大值为4,194,303


本文出自 “Devops” 博客,请务必保留此出处http://devops9527.blog.51cto.com/2419132/1918347

centos7快速部署ceph

标签:ceph   centos7     

原文地址:http://devops9527.blog.51cto.com/2419132/1918347

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!