ceph-fuse客户端问题排查流程

本文讲述了ceph-fuse客户端问题排查基本流程：)

首先查看集群的整体情况

ceph -s

是否有osd挂掉，是否有pg非active

ceph-fuse进程是否存在?

ps -ef |grep ceph-fuse

ceph-fuse进程不存在
需查看日志看什么原因，log文件默认为 /var/log/ceph/ceph-client.${user_id}.log

ceph-fuse进程存在，但是访问卡
ceph-fuse客户端的unix socket文件为：

/var/run/ceph/ceph-client.${user_id}.asok

其中${user_id} 一般为admin，可以通过查看ceph-fuse进程获取，或通过查看ceph.conf获得

1. 检查下该客户端与mds的连接session是否正常：

ceph daemon /var/run/ceph/ceph-client.${user_id}.asok mds_sessions 

如果mds session 的state不是open，通过netstat -anp 查看下客户端到mds的网络连接是否存在，状态是否正常，并根据情况决定是否往网络方向进行进一步检查

2. 访问卡住，说明客户端有正在进行中的请求，该请求可能是发往mds，也有可能是发往osd，通过如下命令查看：

• 查看客户端发往mds的请求：

ceph daemon /var/run/ceph/ceph-client.${id}.asok mds_requests  

• 查看客户端发往osd的请求：

ceph daemon /var/run/ceph/ceph-client.${id}.asok objecter_requests  

• 如果卡住的请求是发往mds的，去到active的mds上，查看mds收到的正在处理的请求：

ceph daemon /var/run/ceph/ceph-mds.${id}.asok ops  

通过该命令可以查看卡住的op卡住哪个阶段，比如 [ initiated ]、[ failed to wrlock, waiting ]、[ failed to xlock, waiting ]等阶段

• 如果卡住的请求是发往osd的：
  • 可以通过netstat -anp 来查看到客户端到osd的网络连接是否正常
  • 登录到osd的机子，通过osd的unix socket来查看该osd正在处理的op：

ceph daemon /var/run/ceph/ceph-osd.${osd_id}.asok dump_ops_in_flight 

通过该命令可以查看卡住的op卡住哪个阶段，可以通过iostat查看该osd的磁盘的ioutil是否高，来确定磁盘是否繁忙

关注笔者