美文网首页
python请求状态码的问题

python请求状态码的问题

作者: 星辰大海的碎片 | 来源:发表于2018-12-15 23:14 被阅读0次

背景是用scrapy来抓取一个网站的列表页的时候有一个url是404,其它url是200,但是我在判断状态码的时候发现了一些问题

def start_requests(self):
      yield Request(url=self.url,callback=self.parse_project,errback=self.errback_httpbin))#这个url是200

def parse_project(self, response):
    UrlModel().update_url_status((self.name, self.source, self.url, self.ch_area, self.ch_city, self.ch_region,
                                  self.en_area, self.en_city, self.en_region, response.status, self.type))
    for i in range(10):
         detail_url='http://www.bac.xn/im/'+str(i)+'html' #假设其中九个200其中一个url状态码是404
         yield self.make_requests_from_url(detail_url)

def make_requests_from_url(self, url):
    return Request(url,callback=self.parse_info)

def parse_info(self, response):
    print response.status  
    print requests.get(response.url).status_code

这是基本逻辑demo(别傻了,我会提交完整代码才怪)。
理想状态下response.status的状态码是response.url的。
现在的问题是在parse_info函数中response.status的状态码全部都是200,但是requests.get(response.url).status_code的状态码有一个会显示404。
我要的结果也是9条200一条404。很明显requests.get(response.url).status_code是对的,但是response.status 在一个不知道的地方出现了错误


requests。它是一个Python第三方库

相关文章

  • python请求状态码的问题

    背景是用scrapy来抓取一个网站的列表页的时候有一个url是404,其它url是200,但是我在判断状态码的时候...

  • 2.HTTP状态码/web服务器/HTTP首部

    HTTP状态码 状态码职责描述返回的请求结果 1** | informationl(信息状态码) | 接受的请求正...

  • urllib、request 网络请求包使用

    什么是urllib: Urllib是python内置的HTTP请求库 常用模块 获取状态码 头部信息 获得响应的内容

  • urllib、request 网络请求包使用

    什么是urllib: Urllib是python内置的HTTP请求库 常用模块 获取状态码 头部信息 获得响应的内容

  • HTTP状态码

    作者:李成文;标签: HTTP状态码 HTTP状态码的职责是当客户端发送请求时,描述返回的请求结果。通过状态码可以...

  • jQuery ajax请求错误返回status 0和错误erro

    分析问题,发现以上代码没有问题,请求根本没有发送到后台,状态码是0表示没有发出ajax请求。各个状态含义: 0 -...

  • HTTP 状态码以及其含义

    当前端向后台发送请求后,会根据不同的状态,返回对应的http状态码,用于定位问题所在。 1XX - 信息状态码 1...

  • HTTP常见状态码

    状态码类别 1xx:信息类状态码,接受的请求正在处理。 2xx:成功状态码,请求正常处理完毕。 3xx:重定向状态...

  • restful api

    api 请求方法 完成请求后返回状态码 200 OK完成请求后需要返回被请求的资源详细信息 创建完成后返回状态码 ...

  • HTTP协议

    状态码 200 服务器已成功处理了请求 状态码 400 客户端的请求语法错误 服务器无法解析 状态码 40...

网友评论

      本文标题:python请求状态码的问题

      本文链接:https://www.haomeiwen.com/subject/azwozftx.html