rbd对象探究

1. rbd镜像的创建与使用

为了更直观的感受rbd对象，本文从创建rbd池开始，构建了一个模拟的rbd使用环境，并以此探究rbd的对象。

首先是rbd池的创建与使用：

服务端：

1.创建rbd池

[root@node-1 ~]# ceph osd pool create rbd-pool 64 64 && rbd pool init rbd-pool

2.创建块设备镜像

[root@node-1 ~]# rbd create --size 1024 rbd-pool/rbd-pool-image-1

3.拷贝密钥文件，或者创建新用户，这里直接拷贝admin密钥及配置

[root@node-1 ~]# scp –r /etc/ceph 192.168.159.132:/etc/

客户端：

1.注意更新ceph yum源

2.安装ceph-common

[root@192.168.159.132 ~]# yum install ceph-common –y

3.挂载块设备镜像

[root@192.168.159.132 ~]# rbd map rbd-pool/rbd-pool-image-1

4.格式化，仅第一次挂载需要，块设备名称注意更改

[root@192.168.159.132 ~]# mkfs.xfs /rbd /dev/rbd0

5.挂载到目录

[root@192.168.159.132 ~]# mkdir /mnt/rbd0 && mount /dev/rbd0 /mnt/rbd0

6.卸载

[root@192.168.159.132 ~]# umount /mnt/rbd0 && rbd unmap rbd-pool/rbd-pool-image-1

注意：在rbd map时可能会报错，因为内核特性不支持。

rbd: sysfs write failed

RBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable rbd-pool/rbd-pool-image-1 object-map fast-diff deep-flatten".

In some cases useful info is found in syslog - try "dmesg | tail".

rbd: map failed: (6) No such device or address

这里根据提示关闭某些特性即可。

2. 当我们创建镜像时，创建了什么？

[root@node-1 ~]# rados -p rbd-pool ls

rbd_object_map.20cc292949764 # rbd特性信息

rbd_header.20cc292949764 #image元数据

rbd_directory # 记录该rbd池中含有的image_name，id

rbd_info # rbd信息

rbd_id.rbd-pool-image-1 #此镜像的id号

通过以上命令及其结果可以看出，相关含义在《Ceph设计原理与实现》一书中有详细介绍，当我们创建完镜像后，rbd-pool中多了几个对象。其含义可在src/include/rbd_types.h文档中查看。

/* New-style rbd image 'foo' consists of objects

• rbd_id.foo - id of image

• rbd_header.<id> - image metadata

• rbd_object_map.<id> - optional image object map

• rbd_data.<id>.00000000

• rbd_data.<id>.00000001

• ... - data

*/

目前rbd镜像中还没有文件，因此大部分对象是空的。通过“rados -p rbd-pool get <obj_name> <output_file_name>”命令可以导出对象。

经过查看，发现rbd_id.rbd-pool-image-1保存了镜像的id：20cc292949764。

rbd_info中保存了：overwrite validated。

rbd_object_map.20cc292949764中保存了：

{

"size": 256,

"bit_table": [

"0x00",

"0x00",

…

}//用于支持 object-map特性，具体作用在实践中遇到再来补充。

这里给出查看rbd_object_map命令： ceph-dencoder import ./rbd_object_map.20cc292949764 type BitVector<2> decode dump_json。

3. 向rbd写入一个文件后，实际写入的是什么？

在mkfs块设备后，我们查看下rbd-pool中的对象。

[root@node-1 data]# rados -p rbd-pool ls

rbd_data.20e5ff0224ec0.00000000000000e0 #image对象信息

rbd_directory #rbd管理image对象信息

rbd_header.20e5ff0224ec0 #image元数据

rbd_data.20e5ff0224ec0.0000000000000060 #

rbd_info #rbd信息

rbd_data.20e5ff0224ec0.0000000000000001

rbd_data.20e5ff0224ec0.00000000000000ff

rbd_data.20e5ff0224ec0.0000000000000080

rbd_id.rbd-pool-image-1 #记录image_name和image_id的映射关系

rbd_data.20e5ff0224ec0.00000000000000c0

rbd_data.20e5ff0224ec0.0000000000000082

rbd_data.20e5ff0224ec0.0000000000000020

rbd_data.20e5ff0224ec0.0000000000000040

rbd_data.20e5ff0224ec0.0000000000000081

rbd_data.20e5ff0224ec0.0000000000000000

rbd_data.20e5ff0224ec0.00000000000000a0

发现增加了12个rbd_data对象。rbd被xfs格式化以后会产生一些对象，这些对象是以16进制名称的方式存储在后台的，也就是rbd大小一定的情况下对象数目是一定的，也就是名称也是一定的。在后续的向文件中写入操作的过程中，还会发现，对象依然是从rbd_data.*****00的对象开始写入。这个实际和客户端格式化的文件系统有关。在《从ceph对象中提取rbd中的指定文件》一文中可以得知：rbd存储对象和文件系统的sectors是一一对应的。

客户端查看分区设备信息：

[root@localhost ~]# parted -s /dev/rbd0 unit s print

Model: 未知 (unknown)

Disk /dev/rbd0: 2097152s

Sector size (logical/physical): 512B/512B

Partition Table: loop

Disk Flags:

Number Start End Size File system 标志

• 1 0s 2097151s 2097152s xfs*

上面结果中“Start”对应的“0s”表示该分区设备从第0块sector开始写入，每块sector大小512B，共有2097152s 块。

服务端查看镜像信息：

[root@node-1 ~]# rbd info rbd-pool/rbd-pool-image-1

rbd image 'rbd-pool-image-1':

size 1 GiB in 256 objects #大小1GB，平均分配给256个对象

order 22 (4 MiB objects) # 每个对象大小4MB

snapshot_count: 0

id: 20e5ff0224ec0

block_name_prefix: rbd_data.20e5ff0224ec0

format: 2 # image 1 基本上不用

features: layering, exclusive-lock

op_features: # 该image支持的特性

flags:

create_timestamp: Wed May 26 16:42:36 2021

access_timestamp: Wed May 26 16:42:36 2021

modify_timestamp: Wed May 26 16:42:36 2021

上述结果可知镜像对应的块设备大小1GB，平均分配到256个对象，每个4MB。

简单计算可以得出：sector数量 * 单个sector大小 = 镜像大小

2097152 * 512 / 1024 / 1024 = 1024 MB = 1GB。

因此2097152个sector和image中的256个对象存在对应关系。已知sector从0块开始写入，那么obj应该也从0开始增长，写满4MB后，换到新的obj。

我在这里使用dd命令在客户端写入一个4MB对象，然后再去查看pool中对象信息。

这里我们在客户端上挂载镜像后，向该目录中写入一个无意义对象。

[root@localhost mnt]# dd if=/dev/zero of=/mnt/rbd0/file1 count=1 bs=4MB

然后，观察rbd-pool对象情况。

[root@node-1 ~]# rados -p rbd-pool ls

rbd_data.20e5ff0224ec0.00000000000000e0

rbd_directory

rbd_header.20e5ff0224ec0

rbd_data.20e5ff0224ec0.0000000000000060

rbd_info

rbd_data.20e5ff0224ec0.0000000000000001

rbd_data.20e5ff0224ec0.00000000000000ff

rbd_data.20e5ff0224ec0.0000000000000080

rbd_id.rbd-pool-image-1

rbd_data.20e5ff0224ec0.00000000000000c0

rbd_data.20e5ff0224ec0.0000000000000082

rbd_data.20e5ff0224ec0.0000000000000020

rbd_data.20e5ff0224ec0.0000000000000040

rbd_data.20e5ff0224ec0.0000000000000081

rbd_data.20e5ff0224ec0.0000000000000000

rbd_data.20e5ff0224ec0.00000000000000a0

似乎没有变化，但其实rbd_data.******00对象的大小增加了，先按下不表，我们看下此时rbd_data.******00对象的大小。

[root@node-1 ~]# rados -p rbd-pool stat rbd_data.20e5ff0224ec0.0000000000000000

rbd-pool/rbd_data.20e5ff0224ec0.0000000000000000 mtime 2021-05-26 18:22:26.000000, size 4034560

经查询，rbd_data.******00对象大小为4034560B。

我们再向客户端挂载的文件目录中写入一个有意义的小对象。

[root@localhost rbd0]# vi hellorbd

hello rbd

然后，查看hellorbd文件在块设备中的位置，顺便也可以看下file1的位置。

[root@localhost rbd0]# xfs_bmap -lvp /mnt/rbd0/hellorbd

/mnt/rbd0/hellorbd:

• EXT: FILE-OFFSET BLOCK-RANGE AG AG-OFFSET TOTAL FLAGS*

0: [0..7]: 7880..7887 0 (7880..7887) 8 01111

[root@localhost rbd0]# xfs_bmap -lvp /mnt/rbd0/file1

/mnt/rbd0/file1:

• EXT: FILE-OFFSET BLOCK-RANGE AG AG-OFFSET TOTAL FLAGS*

0: [0..7815]: 64..7879 0 (64..7879) 7816 01111

可以看出hellorbd在sector中分布在[7880~7887]，file1为[64~7879]。hellorbd紧跟着file1，并且file1并非从0开始，而是从64开始，说明前面的sector已经被使用，这段64个sector（即 64 * 512 B）长度空间在格式化文件系统的时候已经被占用了。还有一点值得吐槽的是：dd命令中的4MB，实际写入大小只有4000000B。

根据hellorbd的位置信息，可以计算出它存储在在rbd-pool/rbd-pool-image-1中的对象的具体位置。

计算方法：

1.计算出hellorbd到rbd-pool对象的映射

sectors数量 / 对象数量 = 单个对象的sectors范围

2097152/256 = 8192

根据 hellorbd：[7880~7887]，可以得出hellorbd在第0个对象中：rbd_data.******00。

2.计算出hellorbd在rbd_data对象中偏移量

（7880 - （0 * 8192））* 512B = 4030560

4034560！还记得我们上文中在写入file1之后，查看过rbd_data.******00对象的大小吗？就是4034560。

接下来使用rados命令和dd命令在服务端还原出rbdhello。

[root@node-1 ~]# rados -p rbd-pool get rbd_data.20e5ff0224ec0.0000000000000000 ./rbd_data.20e5ff0224ec0.0000000000000000

[root@node-1 ~]# dd if=rbd_data.20e5ff0224ec0.0000000000000000 of=hellorbd bs=512 count=8 skip=7880

• [root@node-1 ~]# cat hellorbd*

hello rbd

或者，

[root@node-1 ~]# dd if=rbd_data.20e5ff0224ec0.0000000000000000 of=hellorbd-1 bs=1 count=4096 skip=4034560

[root@node-1 ~]# cat hellorbd-1

hello rbd

可以得出，块设备在rbd中被切割成一个个对象，保存在rbd_data对象中，这样使得rbd管理起块设备的数据极为方便，而且也达到到了瘦分配的特性。rbd_data中还保存着客户端中这个设备的信息（文件系统，大小等），这个客户端在挂载时，可以直接把image映射为一个块设备，其所有读写操作的本质都是rbd_data。