今天晚上，有同学给我报了一个内部网络协议包 stpclient 的 bug，如下：
File "/data/apps/column-web/eggs/snow-3.2.1-py2.7.egg/snow/client.py", line 146, in service
stp_response = self._client.call(stp_request.argv)
File "/data/apps/column-web/eggs/snow-3.2.1-py2.7.egg/snow/client.py", line 51, in call
self.send_request(request)
File "/data/apps/column-web/eggs/stpclient2-0.0.15-py2.7.egg/stpclient2/client.py", line 221, in send_request
self._timeout)
ValueError: filedescriptor out of range in select()
这个异常已经发生过好几次了，所以我决定弄清楚原因。
寻找原因
首先，坊间流传的版本是，当 select 中监听的 fd 个数超过 1024 的时候，就会出现这个异常，我分析了一下，这个异常是 stp 的客户端抛出的，因为这个版本的客户端是我写的，所以我清楚的知道，不可能有超过1024个fd，同时被 select，那么问题就来了，到底是因为啥呢？
这个时候，能想到的问题就是，肯定就是坊间的版本有问题，于是首先我看了一下，select 系统调用中的说明，如下：
An fd_set is a fixed size buffer. Executing FD_CLR() or FD_SET() with a value of fd that is negative or is equal to or larger than FD_SETSIZE will result in undefined behavior. Moreover, POSIX requires fd to be a valid file descriptor.
select 的 notes 中写到：
fd_set 是一个固定大小的 buffer，当设置的 fd 为负或者是超过 FD_SETSIZE 的时候，就会产生 undefined behavior，POSIX 要求 fd 是一个合法的 fd
从这面来看，和坊间的传闻是有差别的，并不是同时监听的 fd 超过 FD_SETSIZE 就会有问题，而是 fd 大小超过 FD_SETSIZE 就会有问题，FD_SETSIZE 是定义在 select.h 中的，大小为1024(出问题的机器上)，所以应该是 fd 大小超过 1024 就会有问题.
/usr/include/linux/posix_types.h
#undef __FD_SETSIZE
#define __FD_SETSIZE 1024
但是，到这里，并没有知道我们看到的那行异常是怎么抛出来的
ValueError: filedescriptor out of range in select()
明显，这是 python 抛出来的异常，系统调用只是说会产生 undefined behavior 而已。
这个时候，顺着 python 的 socket 模块，找到了 select 模块 的 python 源代码，我们发现了如下几行：
Modules/selectmodule.c
#if defined(_MSC_VER)
max = 0; /* not used for Win32 /
#else / !_MSC_VER /
if (!_PyIsSelectable_fd(v)) {
PyErr_SetString(PyExc_ValueError,
"filedescriptor out of range in select()");
goto finally;
}
if (v >= max)
max = v;
#endif / _MSC_VER */
然后我们发现，当调用 _PyIsSelectable_fd 返回 false 的时候，会产生我们上面的那个异常，接下来我们看一下 _PyIsSelectable_fd 的实现:
Include/fileobject.h
#ifdef HAVE_SELECT
#define _PyIsSelectable_fd(FD) (((FD) >= 0) && ((FD) < FD_SETSIZE))
#else
#define _PyIsSelectable_fd(FD) (1)
#endif /* HAVE_SELECT */
因为 POSIX 里面仅仅规定了 select 系统调用传入的 fd 需要合法，那就需要调用方检测 fd，所以在 python 里面，当 fd 为负，或者是超过 FD_SERSIZE 就会被当做不合法，抛出 ValueError
那么现在问题明确了，肯定是<strong>因为执行 select 调用的时候，传入了大于 1024 或者是小于 0 的fd，导致了上面异常的出现</strong>，接下来的问题就是需要找到为啥会出现大于1024的 fd 了
解释现象
通过基础架构的同学了解到，我们对于进程最大能开启的进程数做了调整，supervisor 里面每个进程最大能开启的 fd 个数是 655360，所以完全有可能出现 fd 超出 1024 的情况.
这个异常是出现在 web 机器上，因为一部分 zone 的服务使用了短链接，所以会导致单进程拥有的 fd 个数很高，超过 1024.
至此，这个问题算是得到了一个合理的解释，<strong>因为大量使用短链接，所以导致单进程的 fd 个数升高，超出了 1024 限制，出现了最开始的异常</strong>
解决方法
- 因为这个值是定义在内核里面，所以如果在维持目前方案不变的前提下，解决这个问题就需要重新编译 Linux-kernel，将这个值提高
- 修改 stpclient 的客户端，使用epoll，代替比较老旧的 select，当时使用 select 的原因是，fd 个数很少，性能上没有问题，同时 select 在其他平台上也可以得到支持
网友评论