美文网首页
pyspider框架爆599证书问题

pyspider框架爆599证书问题

作者: 小憧憬 | 来源:发表于2018-11-12 16:34 被阅读0次

真的是一波未平一波又起,降低自己的python版本后,进入pyspider框架之后,输入网址就立马报错。也只能立即找寻谷歌了

报599错:
HTTP 599: SSL certificate problem: unable to get local issuer certificate 
[E 161018 21:56:36 base_handler:195] HTTP 599: SSL certificate problem: unable to get local issuer certificate 
Traceback (most recent call last): 
File “C:\Python27\lib\site-packages\pyspider\libs\base_handler.py”, line 188, in run_task 
result = self._run_task(task, response) 
File “C:\Python27\lib\site-packages\pyspider\libs\base_handler.py”, line 167, in _run_task 
response.raise_for_status() 
File “C:\Python27\lib\site-packages\pyspider\libs\response.py”, line 190, in raise_for_status 
raise http_error 
HTTPError: HTTP 599: SSL certificate problem: unable to get local issuer certificate
原因分析:

因为https协议需要对证书进行验证导致,对访问https网络需要证书

解决方法:

在两个抓取函数中加入不要检验证书:validate_cert=False

self.crawl('https://www.tripadvisor.cn/Attractions-g255060-Activities-c47-Sydney_New_South_Wales.html',validate_cert=False, callback=self.index_page)
self.crawl(each.attr.href,validate_cert=False, callback=self.detail_page)

问题解决!!!

相关文章

  • pyspider框架爆599证书问题

    真的是一波未平一波又起,降低自己的python版本后,进入pyspider框架之后,输入网址就立马报错。也只能立即...

  • Pyspider的使用

    pyspider用pyquery来获取元素在抓取时如果报下边错误 HTTP 599: SSL certificat...

  • Pyspider - HTTP 599: SSL certifi

      Pyspider 的 599 问题由来已久,网上解决方案也是五花八门,试了很多也不一定能解决你的问题。废话不多...

  • pyspider | Exception: HTTP 599:

    解决方法:每次调用crawl的时候加入参数 validate_cert=False

  • python: pyspider Error 599

    遇到HTTP 599: SSL certificate problem: self signed certific...

  • pyspider web爬虫框架的使用

    一、为什么要使用pyspider? 我们很好奇,我们明明有了Scrapy框架,为什么还要使用pyspider框架呢...

  • PySpider HTTP 599: SSL certifica

    最近发现许多小伙伴在用 PySpider 爬取 https 开头的网站的时候遇到了HTTP 599: SSL ce...

  • 2019-06-21爬虫框架

    爬虫框架: scrapy pyspider crawley scrapy框架介绍 https://doc.scra...

  • Pyspider基本使用

    pyspider web爬虫框架简单使用 pip3 install pyspider 在桌面创建一个pyspide...

  • 07 pyspider

    01 pyspider 一、什么是Pyspider框架 python 脚本控制,可以用任何你喜欢的html解析包(...

网友评论

      本文标题:pyspider框架爆599证书问题

      本文链接:https://www.haomeiwen.com/subject/jvycfqtx.html