数据平衡
当在集群中新增一个OSD设备时，整个集群将会发生数据迁移使数据重新分布达到均衡。在Ceph集群中数据迁移的的基本单位是PG。其实在迁移过程中是将PG中的所有对象作为一个整体来进行迁移。
数据迁移触发流程：
1、当新加入一个OSD时，会改变系统的CRUSH Map，从而引起对象映射过程中的变化；
2、PG到OSD的映射关系发生了变化，从而引发数据的迁移。
当ceph集群中出现组件故障时（通常是指OSD，当然也有可能是网络），ceph会将OSD标记为Down，如果在300秒内MON没有收到回复，集群就会进入恢复状态。这个等待时间可以修改ceph配置文件中“mon osd down out interval = xxx”项来调整等待时间。
Peering
当新的OSD启动或者某个OSD失效时，OSD上的主PG会发起一个Peering的过程；Peering过程是指一个PG内的所有副本通过PG日志来达成数据一致的过程，当Peering完成后，PG就可以对外提供读写服务。
Recovery&Backfill
Ceph的Recovery过程是根据在Peering的过程中产生的PG日志推算出的不一致对象列表来修复其他副本上的数据。
Recovery过程的依据是根据PG日志来推测出不一致的对象进行修复；当某个OSD长时间损坏后重新将新的OSD加入集群，它已经无法根据PG日志来修复，这个时候则需要执行Backfill（回填）过程。Backfill过程是通过逐一对比两个PG的对象列表来修复。当新的OSD加入集群产生的数据迁移，也是通过Backfill过程来完成数据一致。
本文出自 “無詺IT小站” 博客，谢绝转载！
原文地址：http://opencloud.blog.51cto.com/1041438/1952356
