背景
ceph 最新版本(jewel)中添加了对单机群多文件系统的支持, 官方表示虽然一直的 bug 均已得到修复, 但是这部分代码还不是非常稳定, 所以不是特别推荐使用. 在我们目前使用的版本(hammer)中, 每个 ceph 集群只能创建一个文件系统, 这当然很不理想. 但是 ceph 提供的一些特性使得我们也没必要建立多个文件系统. 而且维护多个文件系统也未必是好事儿.
-
目录挂载
在操作系统上挂载 cephfs 的时候我们可以只挂载文件系统的一部分----某个目录.
-
基于 pool 的权限控制
用户的读写权限可以基于 pool 来设置
-
针对目录的 pool 设置(layout)
可以指定某个目录及其子目录(文件)保存的 pool.
综合以上三个特性, 我们就可以将不同的目录绑定到不同的 data pool, 然后将不同的用户授予相应的 pool 的权限, 从而达到隔离的目的. 这有点类似于 mysql 中"数据库"的概念.
/mount/point/dirA --> poolA --> userA
/dirB --> poolB --> userB
/dir... --> pool... --> user...
/dirN --> poolN --> userN
用到的命令
create pool
ceph osd pool create sns_data 64
add pool to mds
ceph mds add_data_pool sns_data
list pool detail
ceph osd pool ls detail
list fs detail
ceph fs ls
get layout of file or dir
# layout of dir
# 需要修改 stripe_count 才能参看目录的相关属性
$ setfattr -n ceph.dir.layout.stripe_count -v 2 /mnt/cephfs/trade
$ getfattr -n ceph.dir.layout /mnt/cephfs/trade/
# file: mnt/cephfs/bbb/
ceph.dir.layout="stripe_unit=4194304 stripe_count=2 object_size=4194304 pool=cephfs_data"
# 这里我们比较关注 layout 中的 pool 属性, 表示该目录所在的 pool
# layout of file
$ getfattr -n ceph.file.layout /mnt/cephfs/trade/a
# file: mnt/cephfs/sns/sns
ceph.file.layout="stripe_unit=4194304 stripe_count=1 object_size=4194304 pool=cephfs_data"
# 同样需要关注 pool 属性的值
change layout
setfattr -n ceph.dir.layout.pool -v sns_data /mnt/cephfs/sns/
add user
ceph auth get-or-create client.trade mon 'allow r' mds 'allow r, allow rw path=/trade' osd 'allow rw pool=cephfs_data'
# mds caps 可以针对路径进行授权, 但是如果两个目录存储在同一个 pool 上的话, 即便针对 path 授权似乎也没什么效果( hammer 不支持mds caps 中的 path 设置).
# osd caps 可以针对 pool 进行授权, 这个还是比较好使的, 但是要注意与前面的 path 保持一致.
modify user caps
# 添加用户的时候, 如果权限配置有问题, 不用担心, 可以修改的
ceph auth caps client.sns mds 'allow rw path=/sns/' mon 'allow r' osd 'allow rw pool=sns_data'
list user
# 可以查看用户权限以及 key string
ceph auth list
mount
mount -t ceph 192.168.80.136:6789:/ /mnt/cephfs/sns -o name=sns,secret=AQBaiwBYOAfbNBAA//etKk4yxgvNP7T+v0J63g==
get realtime status of ceph
ceph -w