之前写过一篇 《闹心的Broken pipe》,nginx导致的请求超时,但是今天又碰到个奇葩事儿,容我喝一口82年的白开水慢慢道来
源起
项目中用到视频上传,两种上传方式,一种直接表单提交,一种内嵌到UEditor中提交,视频文件上传到第三方视频点播服务器,此为前提。
问题一
代码写好,测试,提交,发布,没毛病。因为网速不好,所以测试为了方便都使用的大小几M的小视频,上线测试,没问题。第二天得到反馈,上传100M的视频会出现“上传失败,请重试”,而小视频则不会。

问题排查
-
先看浏览器返回错误,preview和response下都是空白,明显没返回值。
2.png
- 查看后台http请求,往第三方发送,是否超时
发现请求还在发送中时候前端已经返回超时 - 用表单直接提交100M视频文件,没问题
问题定位
以上排查将问题定位在了UEditor,继续查找UEditor的上传,项目使用的ACE-admin,查找关联,UEditor上传使用了webuploader.js,继续跟下去,看到如下代码:
Transport.options = {
server: '',
method: 'POST',
// 跨域时,是否允许携带cookie, 只有html5 runtime才有效
withCredentials: false,
fileVal: 'file',
timeout: 6 * 1000, // 6 s
formData: {},
headers: {},
sendAsBinary: false
};
猜测是这里的问题,于是将timeout改长一点,60min(由于网速原因,100M文件单独上传测试10min左右),修改后重新测试,成功
然而,你以为这就结束了吗?至少我以为是的,BUT!!!
问题二、生产环境
生产环境测试上传也没问题,但是第二天突然出现整个服务越来越慢,最后直接整个服务垮掉的情况。生产环境采用微服务架构,nginx代理,由于上次的教训,迅速猜测nginx问题导致。
测试:不通过nginx直接访问网站等,没问题,通过nginx访问挂掉
日志:查看nginx/logs/error.log,出现大量“Too many open files”错误
定位:由于太多的http连接没释放导致卡死
nginx配置
keepalive_timeout 600000;
keepalive_timeout (单位:s): 简单说,就是一个请求结束后多久超时,被释放。以上60w秒≈7天释放,手动“我的天啊.gif”,改为默认60s,问题解决
总结
在写每一行代码,改每一个配置之前,一定要知道他是干什么用的,不能盲改。
一切你认为没问题的问题,都是能力不足的表现。
网友评论