ceph分布式存储-检查集群健康状态

作者: lihanglucien | 来源:发表于2018-12-18 13:30 被阅读1次

1. 检查集群

1.1 检查集群的状态

#主要检查集群状态是否是 HEALTH_OK
 
ceph -s
    cluster aa7e0345-87a9-4860-a6b5-3158fd00b5a9
     health HEALTH_WARN
            nodeep-scrub,sortbitwise flag(s) set
     monmap e3: 3 mons at {op-xxx-ceph00=10.69.1.1:6789/0,op-xxx-ceph01=10.69.1.2:6789/0,op-xxx-ceph02=10.69.1.3:6789/0}
            election epoch 264, quorum 0,1,2 op-xxx-ceph02,op-xxx-ceph00,op-xxx-ceph01
      fsmap e12557: 1/1/1 up {0=op-xxx-ceph05=up:active}, 1 up:standby
     osdmap e24858: 59 osds: 59 up, 59 in
            flags nodeep-scrub,sortbitwise
      pgmap v50468419: 28832 pgs, 14 pools, 34479 GB data, 41212 kobjects
            101 TB used, 112 TB / 214 TB avail
               28822 active+clean
                  10 active+clean+scrubbing
  client io 329 kB/s wr, 0 op/s rd, 51 op/s wr

输出信息里包含：

集群的 ID
集群健康状况
monitor map 版本和 mon 法定人数状态
OSD map 版本和 OSD 状态摘要
PG map 版本
PG 和 Pool 的数量
集群存储的数据量，对象的总量，以及集群的已用容量/总容量/可用
容量
客户端的 iops 信息

1.2 检查集群的容量情况

#查看集群容量使用情况 %RAW USED
 
ceph df
GLOBAL:
    SIZE     AVAIL     RAW USED     %RAW USED
    214T      112T         101T         47.45
POOLS:
    NAME                          ID     USED       %USED     MAX AVAIL     OBJECTS
    rbd                           0         115         0        31508G            4
    cephfs_data                   1      31252G     42.67        31508G     13821502
    cephfs_metadata               2      46967k         0        31508G        31385
    .rgw.root                     5        1636         0        31508G            4
    default.rgw.control           6           0         0        31508G            8
    default.rgw.data.root         7        6892         0        31508G           22
    default.rgw.gc                8           0         0        31508G           32
    default.rgw.log               9           0         0        31508G          127
    default.rgw.users.uid         10       1492         0        31508G            6
    default.rgw.users.swift       11         12         0        31508G            1
    default.rgw.users.keys        12         51         0        31508G            4
    default.rgw.meta              13      28985         0        31508G           87
    default.rgw.buckets.index     14          0         0        31508G           26
    default.rgw.buckets.data      15      3226G      4.41        31508G     28351099

输出的 GLOBAL 段展示了数据所占用集群存储空间的概要：

SIZE：集群的总容量。
AVAIL：集群的可用空间总量。
RAW USED：已用存储空间总量。
% RAW USED：已用存储空间比率。用此值对比 full ratio 和 near full ratio 来确保不会用尽集群空间。
输出的 POOLS 段展示了存储池列表及各存储池的大致使用率。本段没有反映出副本、克隆和快照的占用情况。例如，如果你把 1MB 的数据存储为对象，理论使用率将是 1MB ，但考虑到副本数、克隆数、和快照数，实际使用量可能是 2MB 或更多。
NAME：存储池名字。
ID：存储池唯一标识符。
USED：大概数据量，单位为 KB 、MB 或 GB ；
%USED：各存储池的大概使用率。
Objects：各存储池内的大概对象数。

2. 检查osd

2.1 检查osd状态

#所有OSD状态为up且in
ceph osd stat
     osdmap e24858: 59 osds: 59 up, 59 in

2.2 检查osd crushmap是否一致

#检查WEIGHT列，以及REWEIGHT 权重是否一致
 
ID WEIGHT    TYPE NAME               UP/DOWN REWEIGHT PRIMARY-AFFINITY
-1 218.21495 root default
-2  43.64299     host op-xxx-ceph00
 0   3.63699         osd.0                up  1.00000          1.00000
 1   3.63699         osd.1                up  1.00000          1.00000
 2   3.63699         osd.2                up  1.00000          1.00000
 3   3.63699         osd.3                up  1.00000          1.00000
 4   3.63699         osd.4                up  1.00000          1.00000
 5   3.63699         osd.5                up  1.00000          1.00000
 6   3.63699         osd.6                up  1.00000          1.00000
 7   3.63699         osd.7                up  1.00000          1.00000
 8   3.63699         osd.8                up  1.00000          1.00000
 9   3.63699         osd.9                up  1.00000          1.00000
10   3.63699         osd.10               up  1.00000          1.00000
11   3.63699         osd.11               up  1.00000          1.00000
-3  43.64299     host op-xxx-ceph01
13   3.63699         osd.13               up  1.00000          1.00000
14   3.63699         osd.14               up  1.00000          1.00000
15   3.63699         osd.15               up  1.00000          1.00000
16   3.63699         osd.16               up  1.00000          1.00000
17   3.63699         osd.17               up  1.00000          1.00000
18   3.63699         osd.18               up  1.00000          1.00000
19   3.63699         osd.19               up  1.00000          1.00000
20   3.63699         osd.20               up  1.00000          1.00000
21   3.63699         osd.21               up  1.00000          1.00000
22   3.63699         osd.22               up  1.00000          1.00000
23   3.63699         osd.23               up  1.00000          1.00000
24   3.63699         osd.24               up  1.00000          1.00000

2.3 检查osd容量是否均衡

#1. 检查%USE 查看每个osd容量情况是否一致
#2. 检查rack机架下面的host数量是否均衡
 
ceph osd df tree
ID   CLASS WEIGHT     REWEIGHT SIZE   USE    AVAIL  %USE VAR  PGS TYPE NAME
  -1       1394.89197        -  1394T 45797G  1350T 3.21 1.00   - root default
-118        348.72299        -   348T 11544G   337T 3.23 1.01   -     rack xxx-18
  -3         87.18100        - 89274G  2888G 86385G 3.24 1.01   -         host ceph-xxx-hdd00
   0   hdd    7.26500  1.00000  7439G   252G  7186G 3.40 1.06  81             osd.0
   1   hdd    7.26500  1.00000  7439G   235G  7203G 3.17 0.99  78             osd.1
   2   hdd    7.26500  1.00000  7439G   262G  7177G 3.52 1.10  94             osd.2
   3   hdd    7.26500  1.00000  7439G   284G  7155G 3.82 1.19 107             osd.3
   4   hdd    7.26500  1.00000  7439G   236G  7203G 3.18 0.99  85             osd.4
   5   hdd    7.26500  1.00000  7439G   245G  7193G 3.30 1.03  83             osd.5
   6   hdd    7.26500  1.00000  7439G   231G  7207G 3.11 0.97  91             osd.6
   7   hdd    7.26500  1.00000  7439G   257G  7181G 3.46 1.08 100             osd.7
   8   hdd    7.26500  1.00000  7439G   190G  7249G 2.56 0.80  75             osd.8
   9   hdd    7.26500  1.00000  7439G   212G  7227G 2.85 0.89  79             osd.9
  10   hdd    7.26500  1.00000  7439G   248G  7190G 3.34 1.04  88             osd.10
  11   hdd    7.26500  1.00000  7439G   231G  7207G 3.11 0.97 102             osd.11
-119        348.72299        -   348T 11196G   337T 3.14 0.98   -     rack xxx-19
 -11         87.18100        - 89274G  2830G 86443G 3.17 0.99   -         host ceph-xxx-hdd04
  48   hdd    7.26500  1.00000  7439G   223G  7215G 3.01 0.94  78             osd.48
  49   hdd    7.26500  1.00000  7439G   279G  7160G 3.75 1.17  99             osd.49
  50   hdd    7.26500  1.00000  7439G   198G  7241G 2.66 0.83  76             osd.50
  51   hdd    7.26500  1.00000  7439G   230G  7209G 3.09 0.97  87             osd.51
  52   hdd    7.26500  1.00000  7439G   257G  7181G 3.46 1.08  89             osd.52
  53   hdd    7.26500  1.00000  7439G   193G  7246G 2.60 0.81  76             osd.53
  54   hdd    7.26500  1.00000  7439G   222G  7216G 2.99 0.93  81             osd.54
  55   hdd    7.26500  1.00000  7439G   237G  7201G 3.20 1.00  90             osd.55
  56   hdd    7.26500  1.00000  7439G   234G  7205G 3.15 0.98  85             osd.56
  57   hdd    7.26500  1.00000  7439G   251G  7187G 3.38 1.05 104             osd.57
  58   hdd    7.26500  1.00000  7439G   244G  7195G 3.28 1.02  88             osd.58
  59   hdd    7.26500  1.00000  7439G   257G  7182G 3.46 1.08  98             osd.59
-120        348.72299        -   348T 11582G   337T 3.24 1.01   -     rack xxx-20
  -5         87.18100        - 89274G  3066G 86207G 3.43 1.07   -         host ceph-xxx-hdd01
  12   hdd    7.26500  1.00000  7439G   302G  7137G 4.07 1.27 104             osd.12
  13   hdd    7.26500  1.00000  7439G   241G  7197G 3.25 1.01 105             osd.13
  14   hdd    7.26500  1.00000  7439G   318G  7120G 4.29 1.34 123             osd.14
  15   hdd    7.26500  1.00000  7439G   229G  7210G 3.08 0.96  74             osd.15
  16   hdd    7.26500  1.00000  7439G   272G  7167G 3.66 1.14 101             osd.16
  17   hdd    7.26500  1.00000  7439G   264G  7174G 3.56 1.11  94             osd.17
  18   hdd    7.26500  1.00000  7439G   241G  7197G 3.25 1.01  93             osd.18
  19   hdd    7.26500  1.00000  7439G   245G  7193G 3.30 1.03  98             osd.19
  20   hdd    7.26500  1.00000  7439G   211G  7227G 2.84 0.89  74             osd.20
  21   hdd    7.26500  1.00000  7439G   264G  7174G 3.56 1.11  92             osd.21
  22   hdd    7.26500  1.00000  7439G   264G  7175G 3.55 1.11  93             osd.22
  23   hdd    7.26500  1.00000  7439G   208G  7230G 2.81 0.88  83             osd.23
-121        348.72299        -   348T 11474G   337T 3.21 1.00   -     rack xxx-21
  -7         87.18100        - 89274G  2844G 86429G 3.19 0.99   -         host ceph-xxx-hdd02
  24   hdd    7.26500  1.00000  7439G   212G  7226G 2.86 0.89  77             osd.24
  25   hdd    7.26500  1.00000  7439G   258G  7180G 3.48 1.08  85             osd.25
  26   hdd    7.26500  1.00000  7439G   223G  7216G 3.00 0.94  83             osd.26
  27   hdd    7.26500  1.00000  7439G   216G  7222G 2.91 0.91  86             osd.27
  28   hdd    7.26500  1.00000  7439G   252G  7187G 3.39 1.06  85             osd.28
  29   hdd    7.26500  1.00000  7439G   190G  7249G 2.56 0.80  82             osd.29
  30   hdd    7.26500  1.00000  7439G   255G  7183G 3.44 1.07  92             osd.30
  31   hdd    7.26500  1.00000  7439G   260G  7178G 3.51 1.09  90             osd.31
  32   hdd    7.26500  1.00000  7439G   241G  7198G 3.24 1.01  95             osd.32
  33   hdd    7.26500  1.00000  7439G   252G  7187G 3.39 1.06 102             osd.33
  34   hdd    7.26500  1.00000  7439G   279G  7160G 3.75 1.17  92             osd.34
  35   hdd    7.26500  1.00000  7439G   201G  7237G 2.71 0.85  79             osd.35

2.4 检查osd三副本是否分散机架

#抽查osd[31,38,1] 检查31，38，1是否分开多个rack，如果没有机架则分散多个host
 
ceph pg dump pgs|grep ^1|awk 'BEGIN {print "PG \t\t OBJECTS \t\t BYTES \t\tosd"} {print $1 "\t\t" $2 "\t\t" $7 "\t\t" $15}' | head
dumped pgs in format plain
PG       OBJECTS         BYTES      osd
1.f9f       3339        8198351373      [31,38,1]
1.f9e       3352        8060814080      [48,7,52]
1.f9d       3484        8460769474      [32,3,18]
1.f9c       3283        8113961689      [0,60,26]
1.f9b       3408        7863461676      [60,14,42]
1.f9a       3454        8449437644      [42,7,19]
1.f99       3326        8301474267      [8,18,39]
1.f98       3414        8259614607      [52,30,14]
1.f97       3373        8180890502      [2,19,52]
 
 
#三副本全量检查是否分配在多机架
master=""
slave1=""
slave2=""
ceph pg dump pgs|grep ^1|awk ' {print $15}' > pgs.log
sed -i "s/\[//g" pgs.log
sed -i "s/\]//g" pgs.log
for line in `cat pgs.log`
do
    master_num=`echo $line | cut -d "," -f 1`
    slave1_num=`echo $line | cut -d "," -f 2`
    slave2_num=`echo $line | cut -d "," -f 3`
 
    master=`ceph osd tree | grep  "osd.$master_num" -B 12 | grep host | tail -1 | awk -F  ' ' '{print $4}'`
    slave1=`ceph osd tree | grep  "osd.$slave1_num" -B 12 | grep host | tail -1 | awk -F  ' ' '{print $4}'`
    slave2=`ceph osd tree | grep  "osd.$slave2_num" -B 12 | grep host | tail -1 | awk -F  ' ' '{print $4}'`
    echo " master:" $master " slave1 " $slave1 " slave2 " $slave2
    master_ip=`host $master | awk -F ' ' '{print $4}' | cut -d "." -f 1,2`
    slave1_ip=`host $slave1 | awk -F ' ' '{print $4}' | cut -d "." -f 1,2`
    slave2_ip=`host $slave2 | awk -F ' ' '{print $4}' | cut -d "." -f 1,2`
    echo " master:" $master_ip " slave1 " $slave1_ip " slave2 " $slave2_ip
    if [[ "$master_ip" = "$slave1_ip" ]] || [[ "$slave1_ip" = "$slave2_ip" ]] || [[ "$master_ip" = "$slave2_ip" ]]; then
        echo "failed"
    break
    else
        echo "ok"
    fi
done

2.5 检查恢复限速配置

#检查恢复限速参数是否生效
#osd recovery max active = 3 （default : 15)
#osd recovery op priority = 3 (default : 10)
#osd max backfills = 1 (default : 10)
 
ceph daemon osd.6 config show | grep  -E 'osd_recovery_max_active|osd_recovery_op_priority|osd_max_backfills'
"osd_max_backfills": "1",
"osd_recovery_max_active": "1",
"osd_recovery_op_priority": "1",

2.6 检查数据清洗时间段

#检查恢复限速参数是否生效,凌晨0点-5点
#osd_scrub_begin_hour = 0
#osd_scrub_end_hour = 5
  
ceph daemon osd.6 config show | grep  -E 'osd_scrub_begin_hour|osd_scrub_end_hour'
"osd_scrub_begin_hour": "0",
"osd_scrub_end_hour": "5",

3. 检查mon

3.1 检查mon状态

#检查mon是否都是在线
 
ceph mon stat
e3: 3 mons at {op-xxx-ceph00=10.9.1.1:6789/0,op-xxx-ceph01=10.9.1.2:6789/0,op-xxx-ceph02=10.9.1.3:6789/0}, election epoch 264, quorum 0,1,2 op-xxx-ceph02,op-xxx-ceph00,op-xxx-ceph01

3.2 检查mon机架分布

#检查mon是否分布在多个机架
 
ceph mon dump
dumped monmap epoch 3
epoch 3
fsid aa7e0345-87a9-4860-a6b5-3158fd00b5a9
last_changed 2016-07-27 16:51:39.275244
created 2016-07-27 02:42:27.838682
0: 10.9.1.1:6789/0 mon.op-xxx-ceph02
1: 10.9.1.2:6789/0 mon.op-xxx-ceph00
2: 10.9.1.3:6789/0 mon.op-xxx-ceph01

3.3 mon法定人数状态

要检查监视器的法定人数状态，执行下面的命令：

ceph quorum_status -f json-pretty

4. 检查 MDS

4.1 检查MDS状态

元数据服务器为 Ceph 文件系统提供元数据服务，不过在当前生产环境中并未部署 MDS 。

元数据服务器有两种状态： up | down 和 active | inactive ，执行下面的命令查看元数据服务器状态为 up 且 active ：

ceph mds stat
e12557: 1/1/1 up {0=op-xxx-ceph05=up:active}, 1 up:standby

要展示元数据集群的详细状态，执行下面的命令：

ceph mds dump

5. 检查PG

5.1 检查PG状态

PG 把对象映射到 OSD 。监控 PG 时，我们希望它们的状态是 active 且 clean。

ceph pg stat
v50681978: 28832 pgs: 9 active+clean+scrubbing, 28823 active+clean; 34497 GB data, 101 TB used, 112 TB / 214 TB avail; 198 kB/s rd, 182 kB/s wr, 55 op/s

6. 使用管理套接字

Ceph 管理套接字允许你通过套接字接口查询守护进程，它们默认存在于 /var/run/ceph 下。要通过管理套接字访问某个守护进程，先登录它所在的主机、再执行下列命令：

ceph daemon {daemon-name}
ceph daemon {path-to-socket-file}

比如，这是下面这两种用法是等价的：

ceph daemon osd.0 foo
ceph daemon /var/run/ceph/ceph-osd.0.asok foo

用下列命令查看可用的管理套接字命令：

ceph daemon {daemon-name} help

管理套接字命令允许你在运行时查看和修改配置。

另外，你可以在运行时直接修改配置选项（也就是说管理套接字会绕过 Mon，不要求你直接登录宿主主机，不像 ceph {daemon-type} tell {id} injectargs 会依赖监视器）。